NUSA TENGGARA TIMUR — Sebanyak delapan dari 11 percobaan mengemudi yang dilakukan empat model AI besar gagal menuntaskan lintasan dan berhenti di tikungan pertama. Pengujian bertajuk DrivingBench ini memberi Claude, GPT, dan Grok kendali penuh atas pedal gas, rem, serta setir sebuah Toyota Corolla. Hanya GPT-6 Astra yang berhasil menyelesaikan seluruh lintasan, dan itu pun pada percobaan kedua.
Aditya Ramabadran, Simon Mahns, dan Tobias Gessler merancang DrivingBench sebagai pengujian sederhana bagi model AI umum untuk menavigasi lintasan pendek di sebuah lahan parkir. Lintasan itu dibatasi kerucut kecil dan memiliki beberapa tikungan. Setiap agen AI menerima perintah yang sama, panduan serupa, serta kendali penuh atas Toyota Corolla. Komunikasi berjalan melalui hotspot nirkabel ke pusat data, sehingga prosesnya sering terhenti di tengah jalan.
Setiap agen diberi tiga kesempatan untuk menyelesaikan lintasan. Hasilnya jauh dari kata mulus. Delapan dari 11 percobaan yang dijalankan empat agen berbeda berhenti sebelum menempuh 11 persen lintasan, dengan kegagalan terjadi di tikungan pertama.
Grok mengira celah di antara kerucut pembatas adalah gerbang yang harus dilewati. Pada percobaan pertama, ia langsung melaju keluar lintasan dan berhenti setelah dua perintah. Kesalahan itu bersifat persepsi dasar, bukan sekadar soal kontrol setir.
Model GPT lain gagal karena menciptakan aturan sendiri. Ia menganggap kerucut di satu sisi lintasan memiliki warna yang sama, padahal perintah awal yang ditulis manusia secara eksplisit menyatakan sebaliknya. Sebagian besar agen lain tidak berbelok cukup tajam karena tidak mampu menghitung sudut setir yang dibutuhkan untuk melewati tikungan.
GPT-6 Astra menjadi satu-satunya agen yang menyelesaikan seluruh lintasan, dan itu terjadi pada percobaan kedua. Jalur yang ditempuhnya tidak rapi. Astra menempel terlalu dekat pada tikungan kanan panjang sebelum hampir keluar lintasan di sisi luar, tepat sebelum kotak finis. Meski demikian, finis tetap finis.
Biaya percobaan sukses Astra tercatat 7,74 dolar AS, hampir empat kali lipat biaya percobaan sebelumnya yang hanya menempuh setengah lintasan. Jumlah token yang dikonsumsi juga jauh lebih besar. Angka ini menunjukkan bahwa keberhasilan mengemudi lewat model AI umum masih mahal dan tidak efisien.
Pengujian ini berbeda dari sistem self-driving yang memang dirancang khusus untuk mengemudi. DrivingBench memakai perangkat visi Comma dan OpenPilot, lalu menyerahkan pengambilan keputusan kepada model AI serbaguna seperti Claude, GPT, dan Grok. Setiap sesi direkam dalam video dengan riwayat percakapan yang bergulir real-time, sehingga proses berpikir AI bisa dilihat langsung.
Percakapan satu arah itu memperlihatkan sisi menarik: agen AI yang cerdas di banyak tugas ternyata kewalahan saat harus mengemudikan kendaraan. Mereka bisa menjelaskan apa yang mereka lihat, tetapi gagal menerjemahkannya menjadi keputusan setir yang tepat.
DrivingBench menempatkan pengujian ini sebagai gambaran awal, bukan kesimpulan final. Namun hasilnya cukup jelas: menyerahkan kendali kendaraan kepada model AI umum masih jauh dari aman, dan biayanya pun belum masuk akal untuk dipakai sehari-hari.