Studi Datalab Menemukan Banyak Benchmark Parsing Dokumen Tidak Andal

Datalab menerbitkan studi berjudul "Which Document-Parsing Benchmarks Can You Trust?" yang mengevaluasi 15 benchmark parsing dokumen dengan metode terbuka. Tim menjalankan tujuh model pada tiga belas benchmark berdata publik, masing-masing sekitar 200 halaman, lalu membandingkan urutan parser dari tiap benchmark dengan tingkat error riil yang dihitung menggunakan tiga model judge ditambah inspeksi halaman manual.

Menurut studi tersebut, tujuh dari tiga belas benchmark yang dijalankan menunjukkan kesesuaian yang memadai dengan error teramati, sementara sisanya bekerja tidak lebih baik dari peluang acak dalam mengurutkan parser. Skor pada kelompok atas saling berdekatan, dengan peringkat dua hingga enam hanya terpisis sekitar lima poin, sehingga tidak ada satu pemenang yang menonjol. Datalab mengungkapkan secara terbuka bahwa OmniParseBench miliknya sendiri menempati peringkat pertama, sebuah konflik kepentingan yang diakui perusahaan.

Seluruh rubrik, skor, dan data pengujian dipublikasikan secara terbuka bersama studi ini. Temuannya mengindikasikan bahwa angka leaderboard pihak ketiga tidak boleh diperlakukan otomatis sebagai proksi akurasi parsing di dunia nyata, dan pemilihan parser lebih tepat didasarkan pada set uji yang dibangun dari domain dokumen organisasi sendiri.