数学スコアの上昇は、AI 業務の改善と同じではない
MathArena の新結果が示す能力と費用の差を、誤りの重要性と検証方法を踏まえて読み解く。

MathArena は 2026 年 11 月 13 日、Carbon と Fable の結果を追加した。総合点は実測と推定を組み合わせる。評価の更新であり、今日の新モデル発表ではない。更新と方法
現在のモデル別ページでは、期待性能と 1 問当たり期待費用は、Gemini 4 Carbon(high) が 85.4%・15.70 ドル、Claude Fable 5.2(max) が 82.8%・40.20 ドル、GPT-6.1 Sol(max) が 80.6%・1.07 ドルとなっている。ベンチマーク上の推定であり、顧客の業務に対する見積価格でも、物理的な計算資源の消費量でもない。
以下は Open Market Notes の分析である。重要なのは最高の数字だけではない。難問をもう一つ解ける可能性に、どのような場合なら追加料金を払う価値があるのか。そして、支払う前にその場合を見分けられるのか、という問題だ。
ランキングは請求書ではない
難しい証明を一つ探究する研究チームと、日常的な依頼を大量処理するアプリケーションでは、判断の目的が異なる。前者は新たな推論の方向性に、推論料金を大きく上回る価値を認めるかもしれない。後者には予測可能な待ち時間、安定した予算、未解決案件の引き継ぎ方法が必要になる。能力と価格の図は試験候補を選ぶ助けにはなるが、目的を代わりに決めてはくれない。
スコアは試験設定にも属する。許容時間、利用可能なツール、再試行回数、停止条件を変えれば、モデル名が同じでも別の実験になる。最大の推論強度で得た結果を、再検証せずに低コストの本番設定へ当てはめると、知りたいはずのトレードオフが見えなくなる。評価単位はブランド名ではなく、運用条件を含むシステム全体である。
費用の倍率にも同じ注意が必要だ。二つの集計費用を割れば、その推定値の比率は得られる。しかし、一方がその倍数の計算資源を使うことも、すべての仕事でその倍数だけ高いことも証明できない。トークン単価、出力の長さ、試行する作業量、実行方針は、いずれも費用に影響しうる。公開値だけでは各要因の因果的な寄与を切り分けられない。
平均点では、何の失敗を減らせるか分からない
MathArena の 2026 年 5 月の論文は、最終答案に加え、証明、研究数学、Lean による形式化を評価対象として説明している。それぞれ数学的作業の異なる側面を調べるものだ。研究論文
平均点が等しい二つの仮想的なシステムを考えてみる。一方は特定の種類の問題で必ず失敗し、他方は散発的に誤る。学習支援、定理証明、検証工程では、両者の評価が異なって当然だ。平均値からは、誤りを発見しやすいか、修復が高くつくか、次回も繰り返すかは分からない。
総合点の差も、すべての問題における同じ幅の改善を実測したものではない。統計的集計は評価範囲の異なる試験を比較しやすくするが、推定には仮定が必要だ。異なるベンチマークを結び付ける研究は、この比較可能性の問題を明示している。予測値を実際に得られた解答に変えるわけではない。ベンチマーク統合の研究
調達では、同じ未使用の問題群を候補システムに解かせ、条件を記録した上で結果の違いを見る比較試験が有用だ。高価なシステムだけが解ける問題は何か。その問題は対象業務で頻出するのか。評価者は正誤を信頼できる形で判別できるのか。こうした問いが、一般的な順位を個別の判断材料へ変える。
採点しやすい作業を、最も価値の高い作業と混同してもいけない。定義が曖昧で文脈が不足する依頼が中心なら、数学の確定的な正答は能力の一部しか示さない。試験集合は実際の仕事を反映し、難しい事例も明示的な重みで含めるべきだ。特定の強みを見せるために分布全体を置き換えるべきではない。
安い初回実行には、適切な振り分けが必要
低コストのシステムから始め、未解決の案件だけを高価なシステムへ送る設計は考えられる。ただし、それは検証すべき仮説であり、ランキングが証明した節約ではない。最初のシステムが自信を持って誤答し、振り分け機構が受け入れれば、上位システムは呼ばれない。ほぼすべてを転送するなら、最初の実行は費用と待ち時間を加えるだけになる。
したがって振り分け自体にも評価が要る。数学的に有効な証明書は、モデル自身による確信度の申告より強い根拠になりうる。しかし、形式的な対象を検証することと、現実の問いを正しく表現したと確認することは異なる。誤った仕様を完全に検証してしまう可能性もある。利用者の意図と形式化された課題の境界では、人の確認がなお必要な場合がある。
費用には初回実行、上位システムへの転送、再試行、検査、手戻りを含める。独立した検査を経て受理された作業を分母とし、待ち時間や残存する誤りも併記する方が有用だ。すべての用途に形式検証が必要という意味ではない。好みのモデルが勝った後ではなく、費用比較の前に受入基準を定めるということだ。
見栄えのよくない結果も残す必要がある。一定の予算では、信頼できる形で完了できない課題もある。回答の保留や人への引き継ぎを認めると、表面的な自動化率は下がるかもしれない。それでも、未発見の失敗を成功として数えずに済む。この会計の方が長期の予算管理にも、モデル更新後の再評価にも適している。
後から変えられる判断にする
今回の更新は再評価の理由にはなるが、順位だけで製品全体を作り直す理由にはならない。代表的な試験集合を保ち、プロンプト、ツール、停止規則を記録し、失敗出力を診断用に保存することはできる。難問は意識して含めるべきだが、日常業務を密かに置き換えてはいけない。
妥当な結論には条件が付く。難しい誤りの損失が大きいなら追加能力に価値があり、出力を検査できて限界を管理できるなら低コスト設定が適する可能性がある。普遍的な勝者を意味するものではない。良い評価は今日の選択だけでなく、業務構成、許容できる誤り、価格がどう変われば選択を見直すべきかまで示す。
情報提供を目的とした内容です。投資・法律・税務・財務上の助言には該当しません。