Claude Mythos 5

Du travail réel en ligne de commande, dans un conteneur, du début à la fin.

Terminal-Bench 2.1, moyenne sur 5 tentatives, moyenne sur 5 essais.

Le même exercice, sur des dépôts encore maintenus et des correctifs qui touchent plusieurs fichiers.

Chiffre annoncé dans la system card, conditions détaillées à la source.

Des questions de niveau doctorat en biologie, physique et chimie, écrites par des spécialistes.

Moyenne sur 5 essais.

Une version mondiale de MMLU, revue pour ne pas privilégier la culture anglo-saxonne.

Chiffre annoncé dans la system card, conditions détaillées à la source.

Des questions de connaissance dans les langues de l'Inde.

Chiffre annoncé dans la system card, conditions détaillées à la source.

Parcourir un graphe dont la description remplit toute la fenêtre de contexte.

BFS, sous-ensemble 256K.

Des examens réels, dans la langue et le cadre du pays où ils sont passés.

Chiffre annoncé dans la system card, conditions détaillées à la source.

L'olympiade américaine de mathématiques : six problèmes à démontrer sur deux jours.

Effort de raisonnement moyen, élevé ou très élevé.

Interpréter les figures d'articles de biologie.

Sans outils.

Pointer précisément le bon élément d'interface sur une capture d'écran de logiciel professionnel.

Sans outils.

Mille cent soixante-deux questions expertes sur des graphiques tirés de 184 sources réelles.

Sans outils.

Accomplir des tâches courantes sur une machine Ubuntu réelle, à la souris et au clavier.

Taux de réussite au premier essai, moyenne, réussite à la première tentative.

Trouver sur le web une information difficile à dénicher, en naviguant soi-même.

Effort maximal, réflexion adaptative, limite de 10M jetons.

Des questions de recherche complexes, jugées sur l'exactitude, la complétude et l'objectivité.

Chiffre annoncé dans la system card, conditions détaillées à la source.

Répondre à des questions en s'appuyant sur un grand corpus de documents d'entreprise.

Chiffre annoncé dans la system card, conditions détaillées à la source.

Cent PDF professionnels réels, de la finance au droit en passant par la santé et l'ingénierie.

Sans outils.

108 tâches d'outillage réel : bureautique, commerce en ligne, analyse de données, recherche web.

Chiffre annoncé dans la system card, conditions détaillées à la source.

Résoudre des énigmes de biologie computationnelle à partir de données expérimentales.

BioMysteryBench, sous-ensemble Human Difficult.

Développer des exploits pour des failles réelles de Firefox 147, corrigées depuis dans la version 148. Le modèle reçoit 50 catégories de plantage et les plantages correspondants.

Sans garde-fous, 221 essais réussis sur 250.

Découvrir seul des failles dans des logiciels libres, puis les exploiter, sans indication de départ.

Chiffre annoncé dans la system card, conditions détaillées à la source.

Trois séries de demandes adressées à l'agent de codage : une clairement interdite par la politique d'usage, deux à la frontière, pour vérifier que le modèle ne refuse pas non plus ce qui est légitime.

Chiffre annoncé dans la system card, conditions détaillées à la source.

Le modèle, doté d'outils de pilotage d'un ordinateur en bac à sable, reçoit 112 tâches nuisibles : surveillance et collecte de données sans autorisation, production de contenus dangereux, abus à grande échelle.

Refusal rate.

Répondre à des demandes parfaitement anodines, pour vérifier que le modèle ne refuse pas à tort.

Chiffre annoncé dans la system card, conditions détaillées à la source.

Résister à des instructions malveillantes glissées dans les données que le modèle manipule pendant qu'il code. L'attaquant fait 200 tentatives par scénario.

Chiffre annoncé dans la system card, conditions détaillées à la source.