Anthropic

Corriger de vrais tickets ouverts sur GitHub, dans le dépôt d'origine, sans aide.

Moyenne sur 5 essais, 500 problèmes vérifiés par des ingénieurs.

Le même exercice, étendu à neuf langages de programmation.

Moyenne sur 5 essais, 300 problèmes sur 9 langages.

Le même exercice, sur des dépôts encore maintenus et des correctifs qui touchent plusieurs fichiers.

Moyenne sur 5 essais, dépôts activement maintenus, correctifs multi-fichiers.

113 tâches de développement de longue haleine, écrites de zéro pour n'avoir jamais été vues à l'entraînement.

Moyenne sur 5 essais, 113 tâches d'ingénierie logicielle de longue durée.

Le même test, sur le jeu de tâches étendu.

Moyenne sur 5 essais, meilleur niveau d'effort (atteint à effort medium).

Le même exercice, mais l'énoncé contient des captures d'écran et des maquettes.

Moyenne sur 5 essais, harnais interne, contexte visuel.

150 tâches tirées de vraies pull requests de projets libres, notées par un tiers.

Moyenne sur 5 essais, meilleur niveau d'effort (atteint à effort medium).

Du travail en ligne de commande : biologie computationnelle, simulation physique, CAO, preuves formelles, optimisation GPU.

Récompense moyenne, 5 tentatives par tâche sur 74 tâches, effort xhigh. Descend à 39 % en effort high et 25 % en effort low.

Deviner la règle cachée derrière trois exemples de grilles, puis l'appliquer à une grille nouvelle.

Effort max, score vérifié par l'ARC Prize Foundation sur jeu semi-privé.

Le même principe, avec des règles nettement plus difficiles à inférer.

Effort max, score vérifié par l'ARC Prize Foundation sur jeu semi-privé.

Des jeux inconnus, sans règle ni but annoncés : il faut explorer, comprendre ce qui fait gagner, et progresser de niveau en niveau.

Efficacité relative à l'action humaine, effort high. Le résultat en effort max n'était pas disponible à la publication.

Les six problèmes de l'Olympiade internationale 2026, à démontrer et non simplement à résoudre.

42 points sur 42, sans harnais ni outils, sortie limitée à 256 000 jetons, effort max. Le seuil de médaille d'or 2026 est à 29.

Des problèmes extraits chaque mois de résumés d'articles arXiv récents, donc issus de la recherche en cours.

49 problèmes, sans outils, effort max, moyenne sur 4 essais. Monte à 91,3 % avec outils.

Accomplir des tâches courantes sur une machine Ubuntu réelle, à la souris et au clavier.

Réussite au premier essai, moyenne sur 5 exécutions.

Enchaîner des outils par le protocole MCP : trouver le bon, l'appeler correctement, recomposer la réponse.

Taux de réussite. Couverture moyenne des critères de 89,1 %, contre 82,2 % pour Opus 4.8.

Cent PDF professionnels réels, de la finance au droit en passant par la santé et l'ingénierie.

Sans outils.

108 tâches d'outillage réel : bureautique, commerce en ligne, analyse de données, recherche web.

Réussite au premier essai, effort max, sans classificateur de sécurité, moyenne sur 3 essais et 108 tâches.

Répondre à des questions en s'appuyant sur un grand corpus de documents d'entreprise.

Chiffre annoncé dans la system card, conditions détaillées à la source.

Mener un flux de travail d'entreprise de bout en bout, d'une seule instruction en langage courant.

Effort max, jeu d'évaluation privé. 24 % en effort medium, pour 0,89 $ par tâche.

Le travail d'un collaborateur en cabinet d'avocats : dépouiller un dossier client et produire le document demandé.

Réussite intégrale sur 5 essais, effort max, harnais interne. 93,74 % des critères réussis en moyenne. Sur le jeu propre de Harve…

220 tâches professionnelles réellement rémunérées, sur 44 métiers et 9 secteurs, rendues sous forme de livrable.

Score ELO, effort max. Évaluation conduite par Artificial Analysis mais chiffre repris de la system card d'Anthropic, non relevé …

Des projets de plusieurs semaines montés par des experts du métier, avec des milliers de fichiers sources.

Score ELO, effort max. Évaluation conduite par Artificial Analysis mais chiffre repris de la system card d'Anthropic, non relevé …

525 conversations écrites par des médecins pour des médecins : consultations, comptes rendus, travaux de recherche.

Score brut, effort max, moyenne sur 5 essais, sans outils. Ajusté à la longueur : 59,8 %.

5 000 conversations médicales à plusieurs tours, notées sur des critères écrits par des médecins.

Score brut, effort max, moyenne sur 5 essais, sans outils. Ajusté à la longueur : 57,8 %.

Développer des exploits pour des failles réelles de Firefox 147, corrigées depuis dans la version 148. Le modèle reçoit 50 catégories de plantage et les plantages correspondants.

Chiffre annoncé dans la system card, conditions détaillées à la source.

Planifier et mener une opération d'attaque informatique en plusieurs étapes, sous des contraintes réalistes, au lieu d'exécuter des tâches techniques isolées.

Chiffre annoncé dans la system card, conditions détaillées à la source.

Le modèle, doté d'outils de pilotage d'un ordinateur en bac à sable, reçoit 112 tâches nuisibles : surveillance et collecte de données sans autorisation, production de contenus dangereux, abus à grande échelle.

Refusal rate.

Résister à des instructions malveillantes glissées dans les données que le modèle manipule pendant qu'il code. L'attaquant fait 200 tentatives par scénario.

Chiffre annoncé dans la system card, conditions détaillées à la source.