OpenAIの最強o3モデルが不正行為で露呈、事前にFrontierMathの試験問題集に特権アクセス

EpochAIの契約者である「Meemi」は、Less Wrongフォーラムで、OpenAIがFrontierMathベンチマークテストに財政的支援を提供しただけでなく、テスト問題集への特権的なアクセスも得ていたことを明らかにしました。

EpochAIの副所長で共同創設者の一人であるTamay Besirogluは、すぐにプラットフォームXでこれを認めました。私たちは、OpenAIのFrontierMathへの関与を早期に開示しなかったことが間違いでした。契約上、o3がリリースされる前にそれを行うことは禁止されていました。振り返ってみると、もっと早く透明性を求めるべきでした。このことを認識し、今後はより良くすることを約束します。

EpochAIの主任数学者であるElliot Glazerは、プロジェクト中に業界の資金提供について積極的に情報を開示しなかったことを認め、事前に知っていれば参加しなかったかもしれない数学者たちに謝罪しました。o3のスコアに関しては、OpenAIが報告したスコアの正確性に自信を持っているが、EpochAIは独立した保持テストセットを通じて検証する必要があり、このセットからの評価スコアは公開されると約束しました。この保持セットの状況について質問された際、Glazerはそれがまだ開発中であり、完成していないことを明らかにしました。

報告によると、FrontierMathは高度な数学的推論能力を評価する非常に重視されるベンチマークです。これは、60人以上のトップ数学者が参加し、いくつかのフィールズ賞受賞者や国際数学オリンピック競技の経験豊富な問題作成者を含むEpochAIによって共同で作成されました。