GPT-5.6 Sol vs. Claude Fable 5 vs. Gemini 3.1 Pro auf SWE-Bench Pro

Die Zahl, die die Shortlist verändert

Claude Fable 5 ist in der gemeldeten SWE-Bench-Pro-Zeile das Modell, das es zu schlagen gilt: 80,0 %. GPT-5.6 Sol liegt bei 64,6 %. Gemini 3.1 Pro Preview liegt bei 54,2 %. Diese drei Zahlen stammen aus OpenAIs Launch-Tabelle zu GPT-5.6 vom 9. Juli 2026, im Abschnitt Coding für SWE-Bench Pro (OpenAI).

Das ist ein Abstand von 15,4 Punkten zwischen Claude Fable 5 und GPT-5.6 Sol sowie ein Abstand von 25,8 Punkten zwischen Claude Fable 5 und Gemini 3.1 Pro Preview. Für Entwickler von Coding-Agenten ist das zu groß, um es einfach wegzuwinken.

Die richtige Lesart ist aber enger als die Überschrift. Hier geht es um agentisches Coding auf Repository-Ebene. Es ist nicht Terminal-Bench. Es ist nicht Aiders Leaderboard. Es ist kein vibe-coded UI-Benchmark. Wenn Ihr Produkt echte Repos patcht, Dateien öffnet, Tests ausführt, über mehrere Module hinweg editiert und unübersichtliche Dependency-Graphen überstehen muss, liegt SWE-Bench Pro näher an Ihrer Workload als viele generische Coding-Zeilen. Wenn Ihr Produkt hauptsächlich Chat-Completions, Code-Snippets oder CLI-Rätsel löst, ist diese Zeile nur ein Signal unter mehreren.

Die Vergleichstabelle

Hier ist die bereinigte Version, wobei die Benchmark-Zeile von anderen Coding-Agent-Zahlen getrennt bleibt.

Modell	Anbieterfamilie	Gemeldeter SWE-Bench-Pro-Score	Quelle für den Score	Geprüfter API-Preis
Claude Fable 5	Claude	80,0 %	OpenAI-GPT-5.6-Tabelle (OpenAI)	$10 Eingabe / $50 Ausgabe pro 1 Mio. Tokens (Anthropic)
GPT-5.6 Sol	GPT	64,6 %	OpenAI-GPT-5.6-Tabelle (OpenAI)	$5 Eingabe / $30 Ausgabe pro 1 Mio. Tokens (OpenAI)
Gemini 3.1 Pro Preview	Gemini	54,2 %	OpenAI-GPT-5.6-Tabelle (OpenAI); gegengeprüft mit Googles Gemini-3.5-Flash-Model-Card für Gemini 3.1 Pro auf SWE-Bench Pro Public (Google DeepMind)	$2 Eingabe / $12 Ausgabe pro 1 Mio. Tokens für Prompts bis zu 200k Tokens, Standard-Tier (Google AI)

Die Gemini-Zahl hat den besten Cross-Check. Googles Gemini-3.5-Flash-Model-Card listet Ergebnisse „as of May, 2026“ und berichtet für Gemini 3.1 Pro 54,2 % auf „SWE-Bench Pro (Public)“ mit einem „Single attempt“-Setup (Google DeepMind). OpenAIs Juli-Tabelle verwendet „Gemini 3.1 Pro Preview“ und dieselbe Zahl von 54,2 %. Das beweist nicht, dass die Harness-Einstellungen in jedem Detail identisch sind, macht den Gemini-Score aber weniger verdächtig als eine einzelne, nur vom Anbieter stammende Quelle.

Der 80,0-%-Score von Claude Fable 5 stammt in diesem Vergleich aus OpenAIs Tabelle und nicht aus einer Benchmark-Tabelle von Anthropic. Anthropics eigene Fable-Seite ist dennoch nützlich für Release-Kontext und Preise: Fable 5 wird für „hardest knowledge and coding work“ positioniert, verwendet den API-Namen claude-fable-5 und kostet $10 pro Million Input-Tokens und $50 pro Million Output-Tokens (Anthropic). Anthropic sagt außerdem, dass Fable 5 und Mythos 5 am 9. Juni veröffentlicht, am 12. Juni nach einer Anordnung der US-Regierung ausgesetzt und am 1. Juli nach Aufhebung der Exportkontrollen weltweit wiederhergestellt wurden (Anthropic).

Was SWE-Bench Pro tatsächlich misst

SWE-Bench Pro wurde entwickelt, um über die ältere Obergrenze von SWE-Bench Verified hinauszugehen. Scale beschreibt es als Benchmark für langfristige Software-Engineering-Aufgaben in realistischeren Repositories, mit insgesamt 1.865 Aufgaben über 41 Repositories hinweg: 731 öffentlich, 858 zurückgehalten und 276 kommerziell (Scale). Das öffentliche Set verwendet Open-Source-Repositories mit starken Copyleft-Lizenzen; die private Teilmenge nutzt proprietäre Codebasen von Startups.

Die primäre Metrik ist die Resolve Rate. Eine Aufgabe gilt als gelöst, wenn der eingereichte Patch die neuen Fail-to-Pass-Tests besteht und keine Pass-to-Pass-Tests bricht (Scale). Dieses Detail ist wichtig. Ein Modell bekommt keine Punkte für einen plausiblen Patch, ein hübsches Diff oder eine hilfreiche Erklärung. Es muss das Repo so ändern, dass die Benchmark-Umgebung es akzeptiert.

Deshalb gehört SWE-Bench Pro in den Bucket für Repository-Agenten. Ein realistischer Agentenlauf sieht weniger nach „Schreib eine Funktion“ aus und eher so:

1. inspect issue and requirements
2. search repository conventions
3. edit one or more files
4. run targeted tests
5. debug failures
6. rerun regression tests
7. return a patch

Genau in diesem Ablauf beginnen Context Handling, Tool-Nutzung, Fehlererholung und Testdisziplin wirklich zu zählen. Ein Modell, das bei isolierter Codegenerierung glänzt, kann trotzdem auseinanderfallen, wenn der Dependency-Tree feindlich ist oder der fehlschlagende Test in einem framework-spezifischen Edge Case steckt.

Der Haken: Der Benchmark steht unter Druck

Der unbequeme Teil: OpenAI veröffentlichte die GPT-5.6-Tabelle am 9. Juli 2026, einen Tag nachdem es am 8. Juli ein detailliertes SWE-Bench-Pro-Audit veröffentlicht hatte. In diesem Audit schätzte OpenAI, dass etwa 30 % der SWE-Bench-Pro-Aufgaben defekt sind, und erklärte, seine frühere Empfehlung zur Übernahme des Benchmarks zurückzuziehen (OpenAI).

Das Audit ergab zwei unterschiedliche Schätzungen: Eine automatisierte Pipeline mit Review markierte 200 defekte Aufgaben, also 27,4 %, während eine Human-Annotation-Kampagne 249 identifizierte, also 34,1 % (OpenAI). Die aufgeführten Fehlerkategorien sind genau die, vor denen Benchmark-Nutzer Angst haben: zu strenge Tests, unterspezifizierte Prompts, Tests mit geringer Abdeckung und irreführende Prompts.

Das macht die Tabelle nicht nutzlos. Es bedeutet aber, dass Sie die zweite Nachkommastelle oder sogar ein paar Prozentpunkte nicht als technische Wahrheit behandeln sollten. Ein Abstand von 15,4 Punkten zwischen Claude Fable 5 und GPT-5.6 Sol ist immer noch aussagekräftig genug, um ihn zu untersuchen. Ein Abstand von 1 oder 2 Punkten wäre auf diesem Benchmark im Juli 2026 ein schwaches Signal.

Die praktische Haltung lautet: Nutzen Sie SWE-Bench Pro als gemeldetes Signal auf Repository-Ebene und führen Sie anschließend Ihren eigenen Harness erneut aus, bevor Sie Architekturentscheidungen darauf aufbauen.

Nicht mit Terminal-Bench oder Aider vermischen

OpenAIs gleiche GPT-5.6-Tabelle berichtet auch Terminal-Bench 2.1, wo GPT-5.6 Sol bei 88,8 %, GPT-5.6 Sol Ultra bei 91,9 %, Claude Fable 5 bei 83,1 % und Gemini 3.1 Pro Preview bei 70,7 % liegt (OpenAI). Das erzählt eine andere Geschichte, weil die Aufgabenform eine andere ist. Terminal-Bench betont Terminal-Workflows. SWE-Bench Pro betont Repo-Patch-Resolution.

Diese Scores zu einer einzigen Zahl für das „beste Coding-Modell“ zu vermischen, ist genau die Art, wie Teams sich selbst täuschen. Benchmarks im Aider-Stil fügen eine weitere Harness-Ebene hinzu: Prompt-Format, Edit-Modus, Retry-Policy und modellspezifische Adapter können Ergebnisse verschieben. Sie sind nützlich, aber nicht austauschbar mit einem Repository-Benchmark, der seine eigene Aufgabenkonstruktion und eigene Bewertungsregeln verwendet.

Für Entwickler von Coding-Agenten: Trennen Sie Ihr Eval-Sheet in Spuren:

repo_patch_resolution:
  benchmark: SWE-Bench Pro
  metric: resolve_rate
terminal_workflows:
  benchmark: Terminal-Bench
  metric: task_success
interactive_editing:
  benchmark: Aider-style runs
  metric: accepted_patch_or_tests_passed
internal_repos:
  benchmark: private eval set
  metric: merged_patch_after_review

Vergleichen Sie Modelle dann innerhalb jeder Spur. Bilden Sie keinen Durchschnitt über die Spuren, es sei denn, Sie machen die Gewichtungen explizit. Ein Migrationsagent, ein Bot zum Schreiben von Tests und ein Terminal-Ops-Agent haben unterschiedliche Fehlerkosten.

Fazit

Wenn SWE-Bench Pro die Spur ist, ist Claude Fable 5 unter diesen drei Modellen der gemeldete Spitzenreiter: 80,0 % gegenüber 64,6 % für GPT-5.6 Sol und 54,2 % für Gemini 3.1 Pro Preview. GPT-5.6 Sol ist zu Listenpreisen für die API günstiger als Fable 5, $5/$30 pro Million Tokens gegenüber $10/$50, sodass es beim kostenbereinigten Durchsatz trotzdem gewinnen kann, wenn Ihr Agent die niedrigere gemeldete Resolve Rate toleriert. Gemini 3.1 Pro Preview ist mit $2/$12 bis zu 200k-Token-Prompts nochmals günstiger, aber der gemeldete SWE-Bench-Pro-Abstand ist groß genug, dass Sie ihn auf Ihren eigenen Repositories validieren sollten, bevor Sie es als wirtschaftliche Wahl bezeichnen.

Die wichtigste Erkenntnis ist nicht „Claude gewinnt alles“. Sondern: Verwenden Sie für Repo-Level-Agenten Repo-Level-Benchmarks, zitieren Sie den Harness und behalten Sie die Benchmark-Gesundheit im Blick. SWE-Bench Pro sagt derzeit, dass Fable 5 diesen Vergleich anführt, aber der Benchmark selbst hat genügend dokumentierte Qualitätsprobleme, dass seriöse Teams ihn als Shortlist-Filter behandeln sollten, nicht als Deployment-Entscheidung.

Leser, die diese Modelle praktisch ausprobieren möchten, können Claude und andere Modelle über onehop mit einer OpenAI-kompatiblen API aufrufen: Ändern Sie eine base_url, vergleichen Sie Läufe und halten Sie Ihren Harness stabil (Claude und andere Modelle auf onehop aufrufen). Neue Accounts erhalten $10 kostenloses Guthaben ohne erforderliche Karte, und die Preise sind günstiger als beim First-Party-Zugriff (für $10 kostenloses Guthaben registrieren).