Para peneliti dari Tiongkok dan Singapura baru-baru ini menerbitkan makalah yang membahas tantangan mengajarkan kecerdasan buatan (AI) bermain Red Dead Redemption 2 (RDR2). Makalah berjudul “Menuju Kontrol Komputer Umum: Agen Multimoda untuk Red Dead Redemption 2 sebagai Studi Kasus” ini mengulas konsep Kontrol Komputer Umum (GCC) untuk AI dan kerangka kerja agen enam modul bernama CRADLE yang menghubungkan GPT-4V dengan RDR2.
Penelitian ini bertujuan melihat sejauh mana AI telah berkembang menuju Kecerdasan Umum Buatan (AGI). Para peneliti menggunakan AI yang didukung GPT-4V buatan OpenAI untuk berinteraksi dengan komputer, memproses informasi visual dan audio layaknya manusia. Dengan ini, mereka ingin menunjukkan keberhasilan AI dalam menguasai GCC yang kompleks.
Pilihan RDR2 sebagai game uji coba didasarkan pada “sistem kontrol kotak hitam yang rumit, mewakili tugas komputer paling menantang, sehingga memungkinkan evaluasi batas performa kerangka kerja kami dalam lingkungan virtual.” RDR2 menawarkan lingkungan kaya dan situasi beragam yang harus dihadapi pemain. Selain itu, elemen UI seperti dialog, ikon unik, petunjuk, dan instruksi dalam game memastikan AI dapat belajar tanpa bergantung pada pengetahuan latar belakang. Terakhir, kontrol RDR2 melalui mouse dan keyboard dinilai lebih menantang bagi GCC dibandingkan kebanyakan software lainnya.
CRADLE dirancang sebagai kerangka kerja yang dapat diperluas untuk mendukung berbagai game simulasi, strategi, dan program aplikasi lain. Inovasi utama hadir dari kerangka kerja CRADLE ini.
Para peneliti berharap CRADLE dapat mempelajari game dari awal (tanpa akses ke status internal game atau API) seperti halnya manusia. Agen AI kemudian diharapkan bisa menyelesaikan misi dan menjelajahi dunia game, mengikuti jalan cerita utama RDR2.
Performa
Secara keseluruhan, CRADLE terbilang sukses dalam memainkan RDR2. Para peneliti menilai agen AI ini mampu menyelesaikan semua tugas dalam alur cerita utama secara konsisten. Namun, pengecualian terjadi pada tugas tertentu seperti “Lindungi Dutch” yang melibatkan baku tembak cepat, “Cari Rumah” yang membutuhkan eksplorasi lingkungan indoor rumit, dan misi terbuka jangka panjang.
Penelitian ini menekankan pentingnya penalaran dan refleksi tugas dalam CRADLE. Hal ini krusial untuk pergerakan agen dalam game dan pemahamannya ketika tugas selesai. Salah satu kesulitan berulang yang dihadapi CRADLE dikaitkan dengan GPT-4V. Kemampuan mengenali objek visual secara spasial dinilai tidak cukup presisi untuk kontrol detail. Selain itu, GPT-4V kesulitan memahami konsep spesifik game seperti ikon unik, minimap, dan rintangan lingkungan.
Sumber: Arxiv via TomsHardware
