Le 9 juillet, OpenAI sort la famille GPT-5.6 — Luna, Terra, Sol — et annonce battre Claude Fable 5 « de 13,1 points ». Le 24 juillet, Anthropic réplique avec Claude Opus 5 et ses 96 % au SWE-bench Verified. Deux semaines, deux communiqués, une avalanche de pourcentages… et une question légitime : ces chiffres, on doit en faire quoi ? C’est là qu’il faut comprendre ce qu’est un benchmark — et surtout comment le lire. Vous allez voir : c’est pas sorcier.
Le crash-test des modèles
Un benchmark, c’est le crash-test Euro NCAP des LLM : une épreuve standardisée, identique pour tous les candidats, qui produit une note comparable. Comme pour les voitures, il repose sur trois ingrédients :
- Un jeu d’épreuves figé : des centaines ou milliers de tâches, toujours les mêmes — le mur en béton est au même endroit pour tout le monde.
- Une métrique automatique : un critère binaire ou chiffré qui ne demande pas d’avis humain — le mannequin a des capteurs, pas des opinions.
- Un harnais d’exécution : le protocole qui présente la tâche au modèle et récolte sa réponse — la rampe de lancement du crash-test.
La note finale est un pourcentage de réussite. « Fable 5 : 95 % au SWE-bench Verified » signifie : sur les 500 tâches du jeu d’épreuves, le modèle en a résolu 95 %.
Comment ça marche, concrètement
Prenons SWE-bench, le benchmark roi du code. Ses épreuves sont de vraies issues GitHub tirées de projets open source : « corrige ce bug dans Django », avec le dépôt complet à disposition. Le déroulé :
- Le modèle reçoit l’issue et le code du dépôt.
- Il produit un patch.
- Le harnais applique le patch et lance la suite de tests du projet — ceux qui échouaient avant et doivent passer après.
- Tests verts = tâche résolue. Le score, c’est le pourcentage d’issues résolues.
La beauté du système : la correction est objective et automatisable. Pas de juge, pas de subjectivité — les tests passent ou ne passent pas. C’est le même principe pour les benchmarks agentiques (OSWorld fait piloter un vrai bureau Linux, Terminal-Bench un vrai terminal) : on mesure un résultat vérifiable, pas une impression.
Détail qui compte : la plupart des scores publiés sont en pass@1 — une seule tentative par tâche. Un « pass@8 » (huit essais, on garde le meilleur) gonfle mécaniquement la note ; vérifiez toujours la petite ligne sous le tableau.
Les chiffres du moment
Deux familles fraîchement sorties, et ce que les annonces mettent en avant :
| Modèle | Prix (in/out par MTok) | SWE-bench Verified | SWE-bench Pro |
|---|---|---|---|
| Claude Fable 5 | 10 $ / 50 $ | 95,0 % | 80,3 % |
| Claude Opus 5 | 5 $ / 25 $ | 96,0 % | 79,2 % |
| GPT-5.6 Sol | 5 $ / 30 $ | — | 64,6 % |
| GPT-5.6 Terra | 2,50 $ / 15 $ | — | — |
| GPT-5.6 Luna | 1 $ / 6 $ | — | — |
Côté OpenAI, la communication se joue sur d’autres terrains : Sol revendique l’état de l’art sur BrowseComp (92,2 %) et OSWorld 2.0 (62,6 %), la tête du Coding Agent Index d’Artificial Analysis (80, soit 2,8 points devant Fable 5), et 53,6 sur « Agents’ Last Exam » — les fameux « 13,1 points devant Fable 5 » du communiqué.
Vous voyez le motif ? Chaque éditeur brandit le benchmark où il gagne. Anthropic met SWE-bench en avant ; OpenAI, l’agentique web et le rapport qualité-prix — Luna délivrerait environ 24 points de benchmark par dollar d’API contre 3,2 pour Fable 5. Les deux ont raison… sur leur terrain.
Le mot d’honnêteté : quatre pièges à connaître
1. Le score maison n’est pas le score indépendant. Les 80,3 % de Fable 5 au SWE-bench Pro ont été obtenus avec le harnais d’Anthropic — prompts optimisés, outillage maison. Le harnais peut valoir plusieurs points à lui seul. Les 95 % au SWE-bench Verified, eux, sont confirmés par vals.ai, un classement tiers. Réflexe à acquérir : chercher le chiffre répliqué par un tiers avant de citer celui du communiqué.
2. La contamination. Les modèles s’entraînent sur le web… où les benchmarks sont publiés. Un modèle qui a « vu » les réponses pendant son entraînement passe l’examen avec les annales dans la poche. C’est pour ça que les benchmarks se renouvellent sans cesse (Verified → Pro → épreuves privées) : dès qu’une épreuve traîne trop longtemps en ligne, sa valeur prédictive s’érode.
3. La saturation. Quand tout le monde frôle les 95 %, le benchmark ne discrimine plus — l’écart entre 95 et 96 % relève du bruit de mesure, pas d’une hiérarchie. MMLU a connu ce destin, SWE-bench Verified y arrive. Un benchmark saturé est un crash-test que toutes les voitures réussissent : il est temps d’en construire un plus dur.
4. La guerre des benchmarks. Épisode savoureux de juillet : après la publication des 80,3 % de Fable 5 au SWE-bench Pro (contre 64,6 % pour Sol), OpenAI a publié une étude estimant qu’« environ 30 % des tâches de SWE-bench Pro sont cassées ». Peut-être vrai ! Mais la critique méthodologique qui n’arrive qu’après une défaite sur ce benchmark précis mérite votre scepticisme — dans les deux sens.
Comment les lire intelligemment
- Cherchez le benchmark qui ressemble à votre besoin. Vous faites du refactoring .NET ? SWE-bench multilingue parle plus que BrowseComp. De l’automatisation de navigateur ? L’inverse.
- Divisez par le prix. Un modèle à 2 points de moins pour 5× moins cher gagne souvent en production — c’est tout l’argument de Luna et Terra, et il est recevable.
- Préférez les classements indépendants aux chiffres des communiqués, et vérifiez le harnais et le pass@k.
- Le benchmark vous dit quel modèle choisir au départ — on en parlait déjà pour choisir son modèle dans Copilot. Mais pour savoir si votre fonctionnalité marche, rien ne remplace vos propres évals : un benchmark est un examen générique, vos évals sont l’examen de votre métier.
En résumé
| Concept | À retenir |
|---|---|
| Benchmark | Épreuves figées + métrique automatique + harnais |
| pass@1 / pass@k | 1 essai vs k essais — comparez à protocole égal |
| Score maison | Harnais optimisé par l’éditeur — à répliquer |
| Contamination | Le modèle a peut-être vu les annales |
| Saturation | À 95 %+, les écarts sont du bruit |
- Un benchmark est un crash-test standardisé : parfait pour comparer, insuffisant pour garantir votre cas d’usage.
- Chaque éditeur communique sur le terrain où il gagne — croisez plusieurs benchmarks et des classements tiers.
- Le score par dollar compte autant que le score brut.
- Benchmark pour choisir le modèle, évals pour valider votre application.
Sources : Simon Willison sur GPT-5.6, Vellum — Fable 5 benchmarks, vals.ai SWE-bench, MarkTechPost — Opus 5.
