Karyawan OpenAI secara terbuka menuduh hasil uji tolok ukur model AI terbaru xAI, Grok3, menyesatkan

Baru-baru ini, seorang karyawan OpenAI secara publik menuduh perusahaan xAI milik Elon Musk merilis hasil tes benchmark yang menyesatkan untuk model AI terbarunya, Grok3. Sebagai tanggapan, Igor Babushkin, salah satu pendiri xAI, menegaskan bahwa tidak ada ketidakwajaran.

Grafik xAI menunjukkan bahwa dua versi Grok3 - Grok3 Reasoning Beta dan Grok3 mini Reasoning - mengungguli model terkuat OpenAI yang saat ini tersedia, o3-mini-high, pada AIME 2025. Namun, seorang karyawan OpenAI dengan cepat menunjukkan di platform X bahwa grafik xAI tidak menyertakan skor o3-mini-high di bawah kondisi "cons@64" dalam AIME 2025.

Di platform X, Babushkin berargumen bahwa OpenAI juga pernah merilis grafik benchmark yang menyesatkan serupa di masa lalu. Meskipun grafik-grafik ini digunakan untuk membandingkan kinerja model mereka sendiri.