Nous Research Open-Source Fine-Tune Arete-27B beserta Data Evaluasi

Nous Research merilis Arete-27B, fine-tune open-weight dari Qwen3.8-27B milik Alibaba yang diproduksi sepenuhnya melalui supervised fine-tuning, tanpa reinforcement learning maupun perubahan arsitektur. Bobot model, set evaluasi berisi 803 prompt, dan aset komposisi data dipublikasikan di bawah lisensi Apache-2.0 di Hugging Face.

Menurut pengukuran yang dilaporkan Nous Research, menggunakan judge berbasis LLM pada set evaluasinya sendiri, jawaban dengan pola propaganda turun dari 22% menjadi 0,9%, sementara hasil benchmark kapabilitas umum relatif tidak berubah. Perusahaan menyatakan fine-tune menggunakan sekitar 53 juta token dalam dua epoch, dengan prompt pelatihan yang dihasilkan model open-source Inkling. Angka-angka ini merupakan klaim vendor dan belum diverifikasi secara independen.

Rilis ini mengindikasikan bahwa alignment perilaku pada model open-weight dapat bersifat relatif tipis dan dapat disesuaikan melalui supervised training berukuran kecil. Di luar model itu sendiri, set evaluasi dan metodologi yang dipublikasikan menyediakan pendekatan terbuka untuk mengukur perilaku model, yang dapat relevan bagi organisasi yang mengevaluasi model open-weight untuk penerapan yang teregulasi atau menghadapi pelanggan.