NVIDIA Publikasikan Resep Kuantisasi yang Memampatkan GLM-5.3-Flash 321B ke Satu GPU 288GB

Tim NVIDIA Model Optimizer mempublikasikan resep post-training quantization untuk GLM-5.3-Flash, model mixture-of-experts berparameter 321 miliar dengan 304B parameter di 288 routed experts. Resep IQ2_S penuh pada 2,56 bit per weight menghasilkan model sekitar 130GB tetapi kehilangan 2,3 poin rerata di enam benchmark versus FP8. Resep hibrida yang direkomendasikan menerapkan NVFP4 hanya pada down-projection expert, dengan 3,21 bit per weight efektif, menghasilkan sekitar 155GB dengan delta rerata hanya -0,1 plus minus 0,3 poin, setara FP8 tanpa pelatihan ulang apa pun.

Analisis tim menemukan mayoritas error kuantisasi terkonsentrasi di down-projection expert, sehingga memindahkan hanya jenis tensor itu memangkas error NLL sekitar 40%. Quantization-Aware Distillation memperbaiki perilaku runaway long-context tetapi tidak memulihkan knowledge recall, sehingga rekomendasi resmi adalah resep PTQ murni. Serving FP8 membutuhkan dua GPU 288GB, sementara model terkuantisasi cukup satu. Hasil ini mengubah estimasi biaya on-premise untuk serving MoE kelas frontier.