AnthropicはClaude Opus 4.8のコーディング精度を69.2%と自己申告した。独立系のLM Councilもコーディングでの首位を認めており、この部分は一致する。だが総合スコアではGPT-5.5が上——自己申告は『どこで』第三者評価と一致するかまで見て初めて意味を持つ。
背景
AnthropicはClaude Opus 4.8についてSWE-bench Verifiedで69.2%、欠陥見落とし率が前世代比4分の1という自己申告値を公表した。同時期に独立系のLM Councilが発表したフロンティアモデル比較では、コーディングタスクに限りClaude Opus 4.8が首位という評価が出ており、この点はベンダーの自己申告と一致する。ただし総合スコアではGPT-5.5が上回っており、自己申告と第三者評価が一致するのはコーディング領域に限られる。
Anthropicは、Claude Opus 4.8がSWE-bench Verifiedで69.2%(前世代64.3%から向上)、コードの潜在的欠陥見落とし率が前世代比4分の1になったと自己申告した。ベンダーの自己申告値は、それ単体では『自社に都合の良い数字を選んだだけ』という疑いを免れない。この疑いを晴らせるかどうかは、独立した第三者評価と突き合わせられるかにかかっている。
同時期に独立系のLM Councilが発表したフロンティアモデル比較では、コーディングタスクに限りClaude Opus 4.8が首位という評価が出た。この点はAnthropicの自己申告と一致する。だが同じLM Councilの総合スコアでは、GPT-5.5が首位でClaude Opus 4.8は2位という結果も同時に示されている。つまり自己申告と第三者評価が一致するのは『コーディング領域に限って』であり、Anthropicの発表を全面的に検証するものではない。この『どこで一致し、どこで一致しないか』を見ることこそが、ベンダー発表を読み解く際の本当の作業だ。
AnthropicのClaude Opus 4.8公式発表を、LM Councilの独立系フロンティアモデル比較と重ねて読むと、一件の自己申告ベンチマークが『コーディング領域では裏付けられるが総合性能では誇張がある』という構造として像を結ぶ。単一ソースの自己申告値だけでは、この一致・不一致の境界線は見えない。
深堀り視点
なぜ重要か
ベンダーの自己申告値は単体では検証不能ですが、独立系のLM Councilがコーディング領域に限ってClaude Opus 4.8を首位と評価したことで、この部分は第三者的に裏付けられました。同時に総合スコアではGPT-5.5が上という不一致も明らかになっています。
