Google Rilis LiteRT-LM v0.19.0 dengan Constrained Decoding Terakselerasi GPU dan Model Speech Terpadu
Rilis runtime baru ini mempercepat decoding yang dipaksa skema di GPU, menambah Web SDK, dan membawa dukungan Qwen3-ASR, Qwen3-TTS, serta Kokoro untuk stack LLM dan speech lokal.
Tim AI Edge Google merilis LiteRT-LM v0.19.0 pada 30 Oktober, pembaruan untuk runtime LLM on-device dan on-premise-nya. Perubahan utamanya adalah accelerated logit masking: constrained decoding yang memaksa output model mengikuti skema JSON atau grammar tertentu kini dipercepat di GPU, dengan dukungan penuh decoding multi-token prediction. Web SDK baru (@litert-lm/core) melakukan stream-load semua model, menjadikan backend GPU sebagai default, dan menerima input gambar serta audio.
Rilis ini juga menambahkan dukungan model speech Qwen3-ASR, Qwen3-TTS, dan Kokoro, menaikkan C API ke versi 1.0.0 — breaking change dengan penanganan error berbasis status code — serta membuat sampling GPU deterministik identik dengan CPU untuk seed yang sama, ditambah struktur ModelInfo yang lebih hemat memori.
Signifikansi praktisnya ada pada ekstraksi terstruktur dan deployment yang sensitif privasi: output yang dijamin sesuai skema mengurangi kegagalan parsing pasca-LLM, dan dukungan speech yang menyatu memungkinkan model kecil plus ASR dan TTS berjalan sepenuhnya di satu server dalam jaringan klien. Integrator perlu mencatat breaking change C API 1.0.0 serta ekosistem model yang masih terbatas, saat ini terpusat pada keluarga Gemma dan Qwen.