Ce qu’il peut avoir sous les yeux en une seule fois, question et réponse comprises.
Ce que coûte le texte qu’on lui envoie.
Ce que coûte le texte qu’il produit, toujours plus cher que l’entrée.
La plus longue réponse qu’il peut produire d’un seul tenant.
Il ne sait rien de ce qui s’est passé après cette date, sauf si on le lui fournit.
Dépréciée, remplacée par le raisonnement adaptatif.
18 tests relevés pour ce modèle, regroupés par ce qu'ils mesurent. Chaque chiffre est annoncé par le laboratoire, avec sa source et ses conditions ; une jauge n'est dessinée que quand l'échelle du test a un maximum connu.
Le modèle reçoit un dépôt et un problème, et doit produire un correctif qui passe les tests, sans intervention humaine.
Trouver la cause première d'une panne logicielle dans 335 incidents réels tirés de trois systèmes d'entreprise (télécoms, banque, place de marché), à partir de 68,5 Go de journaux, de métriques et de traces.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceCorriger de vrais tickets ouverts sur GitHub, dans le dépôt d'origine, sans aide.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceDu travail réel en ligne de commande, dans un conteneur, du début à la fin.
Taux de réussite, raisonnement adaptatif, effort max.
SourceLe sous-ensemble le plus difficile de SWE-bench Verified.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceAucune connaissance préalable ne sert : il faut inférer une règle jamais vue à partir de quelques exemples.
Des questions à réponse unique, du niveau lycée au niveau doctorat, où seule la justesse compte.
Des questions de niveau doctorat en biologie, physique et chimie, écrites par des spécialistes.
Moyenne sur 5 essais, raisonnement adaptatif, effort max.
SourceLes 57 matières de MMLU, posées dans quatorze langues autres que l'anglais.
Moyenne sur 5 essais, raisonnement adaptatif, effort max.
SourcePercevoir, interpréter et raisonner sur des questions de niveau licence mêlant texte et images, dans des disciplines variées.
Raisonnement adaptatif, effort max, sans outils.
SourceDes démonstrations de niveau olympiade et des problèmes tirés de la recherche en cours.
L'examen américain d'invitation en mathématiques, une compétition lycéenne prestigieuse.
Sans outils.
SourceLe modèle agit à la souris et au clavier sur une machine réelle, comme le ferait une personne.
Raisonner sur les figures d'articles scientifiques publiés sur arXiv.
Effort maximal, réflexion adaptative.
SourceAccomplir des tâches courantes sur une machine Ubuntu réelle, à la souris et au clavier.
Réussite au premier essai, moyenne sur 5 essais.
SourceAccomplir des tâches courantes sur une machine Ubuntu réelle, à la souris et au clavier.
Réussite au premier essai, moyenne sur 5 essais.
SourceInterpréter les figures d'articles de biologie.
Raisonnement adaptatif, effort max, sans outils.
SourceDes livrables de métier : dossiers juridiques, flux d'entreprise, enchaînements d'outils, documents de travail.
Des recherches financières sur les documents déposés par les sociétés cotées.
Raisonnement adaptatif, effort max.
SourceTrouver et exploiter de vraies failles logicielles, ou mener une opération d'attaque complète. Un score élevé mesure une capacité, pas une qualité : c'est précisément ce que les laboratoires surveillent.
Résoudre 40 épreuves de capture de drapeau tirées de quatre compétitions de sécurité informatique.
Réussite en 30 tentatives au plus.
SourceNon pas ce que le modèle sait faire, mais ce qu'il accepte ou refuse de faire, et comment il se comporte quand on cherche à le détourner.
Le modèle reçoit 150 demandes de code interdites par les conditions d'usage, avec les mêmes outils que pour les tests de capacité. On regarde s'il accepte.
Refusal rate.
SourceLe modèle, doté d'outils de pilotage d'un ordinateur en bac à sable, reçoit 112 tâches nuisibles : surveillance et collecte de données sans autorisation, production de contenus dangereux, abus à grande échelle.
Refusal rate.
Sourceclaude-opus-4-6
Le nom exact à écrire dans le code pour appeler ce modèle.
anthropic.claude-opus-4-6-v1 (Amazon Bedrock)claude-opus-4-6 (Google Cloud) Les autres noms du même modèle, selon la plateforme qui le revend.
Multilingue, d’après la documentation officielle.
Moyenne · Sa vitesse comparée aux autres modèles du même laboratoire, pas une mesure absolue.
Mettre en mémoire un début de requête réutilisé d’un appel à l’autre : 1,25 fois le prix d’entrée.