Edge0 Rilis Model Open-Weight 145B dan 120B yang Diklaim Jalan di Satu GPU Konsumen via Streaming SSD
Model latent-MoE turunan Qwen3.8-Flash-Next ini men-streaming bobot Q3_K dari SSD agar muat di RTX 5090 24 GB, memakai engine penjadwalan dan speculative decoding MTP 1,26B; semua angka performa adalah klaim vendor.
Edge0 merilis Edge0-145B dan Edge0-120B, model latent mixture-of-experts turunan Qwen3.8-Flash-Next, dengan bobot di Hugging Face dan repositori framework Apache-2.0 di GitHub. Klaim utamanya: model 145B berjalan di satu GPU NVIDIA konsumen, karena varian Q3_K dengan bobot 40,81 GiB di-streaming dari SSD sesuai kebutuhan sehingga memori puncak tetap dalam batas RTX 5090 D 24 GB.
Pendekatan ini melanjutkan framework streaming-MoE yang dipublikasikan Edge0 sejak September, yang meng-offload expert ke SSD dan memprediksi routing untuk mengambilnya lebih awal. Engine penjadwalan bernama edge0-strata mengoordinasikan lalu lintas CPU, GPU dan PCIe, sementara head MTP berparameter 1,26 miliar menyediakan speculative decoding. Keduanya dilengkapi jendela konteks 256K dan KV cache int8.
Bila klaimnya terbukti, karya ini menggeser asumsi bahwa jumlah parameter besar selalu berarti kebutuhan memori besar, karena memori puncak dibatasi oleh set expert aktif, bukan total parameter. Itu akan mengubah kalkulasi inference on-premise di kantor dengan perangkat terbatas. Benchmark independen belum ada, dan throughput streaming dari SSD sangat sensitif terhadap kecepatan disk, sehingga angka-angka ini untuk saat ini masih harus diperlakukan sebagai klaim vendor yang belum terverifikasi.