vLLM v0.33.0 Melompat ke CUDA 13 dengan Speculative Decoding Lebih Cepat dan Model OCR Baru

Proyek vLLM merilis versi 0.33.0 pada 2 November 2026, pembaruan besar yang menggabungkan 927 commit dari 389 kontributor. Stack serving berpindah ke PyTorch 2.14 dan Triton 3.8, dan rilis ini hanya menyediakan wheel untuk CUDA 13.0, mengakhiri lini CUDA 12.9. Sebelas arsitektur model baru didukung, termasuk parser dokumen MiniCPM-OCR 1.0, Nemotron Parse 3.5, dan retriever dokumen visual ColUltraVBERT. Tambahan di sisi serving mencakup endpoint /v1/decisions yang kompatibel dengan OpenAI, token embeddings late-chunking, dan concurrent worker startup untuk tensor parallelism di atas satu.

Stack speculative decoding yang diperbarui membawa angka utama: benchmark pull-request proyek melaporkan output DeepSeek-V4.1-Flash naik dari 1.373 menjadi 3.390 token per detik pada konfigurasi NVIDIA GB300, plus kenaikan decode 18 persen dari draft lm-head terkuantisasi pada concurrency permintaan tunggal. Rilis ini juga menghapus spekulators Medusa dan MLP serta legacy Ray executor, sehingga tim dengan pipeline lama perlu melakukan migrasi sebelum melakukan upgrade.