SWE-Bench ProにおけるGPT-5.6 Sol vs Claude Fable 5 vs Gemini 3.1 Pro

ショートリストを変える数字

公表されているSWE-Bench Proの行で、Claude Fable 5は倒すべきモデルです。スコアは80.0%。GPT-5.6 Solは64.6%。Gemini 3.1 Pro Previewは54.2%。この3つの数字は、OpenAIが2026年7月9日に公開したGPT-5.6ローンチ表の、CodingセクションにあるSWE-Bench Proの項目に基づいています（OpenAI）。

Claude Fable 5とGPT-5.6 Solの差は15.4ポイント、Claude Fable 5とGemini 3.1 Pro Previewの差は25.8ポイントです。コーディングエージェントを作る側にとって、これは軽く見過ごせる差ではありません。

ただし、正しい読み方は見出しほど広いものではありません。これはリポジトリレベルのエージェント型コーディングです。Terminal-Benchではありません。Aiderのリーダーボードでもありません。雰囲気で作ったUIを測るベンチマークでもありません。あなたのプロダクトが実在のリポジトリにパッチを当て、ファイルを開き、テストを実行し、複数モジュールにまたがって編集し、入り組んだ依存関係グラフを乗り切る必要があるなら、SWE-Bench Proは多くの汎用的なコーディング行よりも実ワークロードに近いはずです。プロダクトの中心がチャット補完、コードスニペット、CLIパズル解決なら、この行はあくまで1つのシグナルにすぎません。

比較表

ベンチマークの行を他のコーディングエージェント系の数字と分けた、整理版です。

Model	Vendor family	SWE-Bench Pro reported score	Source for score	API price checked
Claude Fable 5	Claude	80.0%	OpenAI GPT-5.6 table（OpenAI）	100万トークンあたり入力$10 / 出力$50（Anthropic）
GPT-5.6 Sol	GPT	64.6%	OpenAI GPT-5.6 table（OpenAI）	100万トークンあたり入力$5 / 出力$30（OpenAI）
Gemini 3.1 Pro Preview	Gemini	54.2%	OpenAI GPT-5.6 table（OpenAI）。GoogleのGemini 3.5 Flashモデルカードにある、SWE-Bench Pro PublicでのGemini 3.1 Proの値と照合（Google DeepMind）	標準ティア、200kトークンまでのプロンプトで100万トークンあたり入力$2 / 出力$12（Google AI）

Geminiの数字は最も裏取りがしやすいものです。GoogleのGemini 3.5 Flashモデルカードには「2026年5月時点」の結果として、「Single attempt」設定で「SWE-Bench Pro (Public)」におけるGemini 3.1 Proの54.2%が掲載されています（Google DeepMind）。OpenAIの7月の表では「Gemini 3.1 Pro Preview」として同じ54.2%が使われています。細部まで同一のハーネス設定だったと証明するものではありませんが、Geminiのスコアは単一ベンダーの引用だけの場合よりも疑わしさが小さくなります。

この比較におけるClaude Fable 5の80.0%というスコアは、Anthropicのベンチマーク表ではなくOpenAIの表を出典としています。一方で、Anthropic自身のFableページはリリース文脈と価格を確認するうえで有用です。Fable 5は「最も難しい知識・コーディング作業」向けに位置づけられ、claude-fable-5というAPI名を使い、価格は100万入力トークンあたり$10、100万出力トークンあたり$50です（Anthropic）。Anthropicはまた、Fable 5とMythos 5を6月9日にリリースし、米国政府の指令を受けて6月12日に停止し、輸出規制が解除された後の7月1日に全世界で復旧したと述べています（Anthropic）。

SWE-Bench Proが実際に測るもの

SWE-Bench Proは、従来のSWE-Bench Verifiedの上限を押し広げるために作られました。Scaleはこれを、より現実的なリポジトリにおける長期的なソフトウェアエンジニアリングタスクのベンチマークと説明しています。合計1,865タスクが41リポジトリにまたがり、その内訳は公開731、ホールドアウト858、商用276です（Scale）。公開セットは強いコピーレフトライセンスを持つオープンソースリポジトリを使い、非公開サブセットはプロプライエタリなスタートアップのコードベースを使っています。

主要な指標は解決率です。提出されたパッチが新しいfail-to-passテストを通過し、pass-to-passテストを壊さなかった場合、そのタスクは解決済みとみなされます（Scale）。この点は重要です。もっともらしいパッチ、見栄えのよいdiff、親切な説明ではモデルにクレジットは与えられません。ベンチマーク環境が受け入れる形でリポジトリを変更する必要があります。

だからこそ、SWE-Bench Proはリポジトリエージェントのカテゴリに属します。現実的なエージェント実行は、「関数を書く」というより、次のような流れに近くなります。

1. inspect issue and requirements
2. search repository conventions
3. edit one or more files
4. run targeted tests
5. debug failures
6. rerun regression tests
7. return a patch

このフローこそ、コンテキスト処理、ツール利用、エラーリカバリ、テスト規律が効き始める場所です。孤立したコード生成で光るモデルでも、依存関係ツリーが厄介だったり、失敗するテストがフレームワーク固有のエッジケースに隠れていたりすると、簡単に崩れることがあります。

注意点：ベンチマークはストレス下にある

気まずい点があります。OpenAIは2026年7月9日にGPT-5.6の表を公開しましたが、その前日の7月8日に、SWE-Bench Proに関する詳細な監査を公開していました。その監査でOpenAIは、SWE-Bench Proタスクの約30%が壊れていると推定し、このベンチマーク採用に関する以前の推奨を撤回すると述べています（OpenAI）。

監査では2種類の推定が示されています。自動処理とレビューを組み合わせたパイプラインでは200件、つまり27.4%の壊れたタスクが検出され、人手によるアノテーションでは249件、つまり34.1%が特定されました（OpenAI）。挙げられている失敗カテゴリは、ベンチマーク利用者がまさに恐れるものです。厳しすぎるテスト、仕様が不十分なプロンプト、カバレッジの低いテスト、誤解を招くプロンプトです。

だからといって、この表が無用になるわけではありません。ただし、小数第2位、あるいは数パーセントポイントの差でさえ、エンジニアリング上の真実として扱うべきではないということです。Claude Fable 5とGPT-5.6 Solの15.4ポイント差は、なお調査に値するだけの意味があります。一方で、2026年7月時点のこのベンチマークで1〜2ポイント差なら、弱い証拠にとどまるでしょう。

実務的な姿勢はこうです。SWE-Bench Proは公表されたリポジトリレベルのシグナルとして使い、そのうえで、それを前提にアーキテクチャを組む前に自社のハーネスで再実行してください。

Terminal-BenchやAiderと混ぜない

OpenAIの同じGPT-5.6表にはTerminal-Bench 2.1も掲載されています。そこではGPT-5.6 Solが88.8%、GPT-5.6 Sol Ultraが91.9%、Claude Fable 5が83.1%、Gemini 3.1 Pro Previewが70.7%です（OpenAI）。これは異なる物語を示します。タスクの形が違うからです。Terminal-Benchはターミナルワークフローを重視します。SWE-Bench Proはリポジトリのパッチ解決を重視します。

これらのスコアを1つの「最高のコーディングモデル」数値に混ぜると、チームは自分たちを欺くことになります。Aider風のベンチマークには、さらに別のハーネス層が加わります。プロンプト形式、編集モード、リトライポリシー、モデル固有のアダプタによって結果は動きます。それらは有用ですが、独自のタスク構成と採点ルールを持つリポジトリベンチマークと交換可能ではありません。

コーディングエージェントを作るなら、評価シートをレーンに分けてください。

repo_patch_resolution:
  benchmark: SWE-Bench Pro
  metric: resolve_rate
terminal_workflows:
  benchmark: Terminal-Bench
  metric: task_success
interactive_editing:
  benchmark: Aider-style runs
  metric: accepted_patch_or_tests_passed
internal_repos:
  benchmark: private eval set
  metric: merged_patch_after_review

そのうえで、各レーン内でモデルを比較します。重みを明示しない限り、レーンを平均しないでください。マイグレーションエージェント、テスト作成ボット、ターミナル運用エージェントでは、失敗コストが異なります。

結論

SWE-Bench Proが対象レーンなら、この3モデルの中で公表上のリーダーはClaude Fable 5です。GPT-5.6 Solの64.6%、Gemini 3.1 Pro Previewの54.2%に対して、Claude Fable 5は80.0%です。GPT-5.6 SolはAPIの定価ではFable 5より安く、100万トークンあたり$5/$30に対して$10/$50です。そのため、あなたのエージェントが公表解決率の低さを許容できるなら、コスト調整後のスループットではなお勝つ可能性があります。Gemini 3.1 Pro Previewは200kトークンまでのプロンプトでさらに安く$2/$12ですが、公表SWE-Bench Proの差は大きいため、経済的な選択肢だと呼ぶ前に自社リポジトリで検証すべきです。

最も鋭い教訓は「Claudeがすべてに勝つ」ではありません。こういうことです。リポジトリレベルのエージェントにはリポジトリレベルのベンチマークを使い、ハーネスを明記し、ベンチマークの健全性を視野に入れ続けること。SWE-Bench Proは現時点で、この比較においてFable 5がリードしていると示しています。しかしベンチマーク自体に十分な品質問題が文書化されているため、真剣なチームはこれをデプロイ判断ではなく、ショートリストのフィルタとして扱うべきです。

これらのモデルを実際に試したい読者は、OpenAI互換APIを使ってonehop経由でClaudeや他のモデルを呼び出せます。base_urlを1つ変更するだけで実行を比較でき、ハーネスは安定させたままにできます（onehopでClaudeや他のモデルを呼び出す）。新規アカウントにはカード不要で$10の無料クレジットが付与され、価格はファーストパーティアクセスよりも安くなっています（$10の無料クレジットに登録）。