AIは本当に速く進化しているのか——再現性の二つの危機がベンチマークを壊した

『AI研究の再現性問題』というThe Guardianの記事を、学界内輪の作法論として読むと本質を取り逃がす。複数の研究を重ねると、いま起きているのは独立した二つの再現性危機が同じ一点を指す事態だと分かる。第一は、Kapoor & Narayananが多数の論文で示した科学分野のML漏洩だ。テストデータが学習側に混入していると、第三者は結果を再現できず、誤りを補正すると最新の複雑なMLモデルが数十年前の単純な手法と大差ない性能に落ちる。第二は大規模言語モデルのベンチマーク汚染で、公開テストは既定で学習データに含まれ、スコアは推論能力でなく暗記を測る。SWE-bench Verifiedでは、課題IDだけを手がかりに正解パッチや問題文を逐語再現できる例が報告された。

束ねて初めて見える核心は、『公開テストの数字が能力でなく暗記を測り始めた』という共通の欠陥だ。MMLUのような定番ベンチは上位モデルが天井に張り付いて飽和し、もはやモデルを区別できない。すると皮肉な帰結に行き着く。誰もが称賛する『AI進化の速さ』の一部は、壊れた測定系が生む見かけの伸びでもある、ということだ。これはAIが偽物だという話ではない。実需での有用性は別途確かめられる。問題は、リーダーボードが購買判断の信号として機能を失ったこと、そして信頼できる評価が汚染耐性のあるeval（LiveCodeBench型のローリング更新）か、保持データ・自社データでの検証に限られてきたことだ。NeurIPS系の再現性チェックリストやコード・多シード公開の規範化はこの是正の動きだが、公開ベンチが原理的に学習に流れ込む以上、根治には至っていない。