Buoyant meluncurkan Kinference, control plane open-source untuk inferensi vLLM di Kubernetes

Buoyant, perusahaan di balik Linkerd, memperkenalkan Kinference, control plane open-source untuk membangun platform inferensi produksi di atas vLLM dalam Kubernetes. Proyek yang diterbitkan di bawah lisensi Apache 2.0 pada 4 November ini menyediakan token rate limiting, pelacakan usage dan biaya per tenant, intelligent load balancing, serta inference policies yang didefinisikan lewat Kubernetes custom resources.

Fitur pembedanya adalah load balancer yang membaca isi KV-cache GPU melalui dynamo-kv-router milik NVIDIA, sehingga setiap request diarahkan ke worker yang sudah menyimpan state terkait. Pada satu workload benchmark, Buoyant melaporkan median time-to-first-token turun 95 persen dan median latensi end-to-end turun 45 persen dibanding load balancing standar Kubernetes — angka yang masih berupa klaim vendor sebelum direproduksi secara independen. Proyek ini menyediakan endpoint kompatibel OpenAI dan dokumentasi GitHub yang aktif, memposisikan infrastruktur open-source sebagai alternatif platform inferensi komersial untuk deployment multi-tenant.