Ce qu’il peut avoir sous les yeux en une seule fois, question et réponse comprises.
Ce que coûte le texte qu’on lui envoie.
Ce que coûte le texte qu’il produit, toujours plus cher que l’entrée.
La plus longue réponse qu’il peut produire d’un seul tenant.
Il ne sait rien de ce qui s’est passé après cette date, sauf si on le lui fournit.
14 tests relevés pour ce modèle, regroupés par ce qu'ils mesurent. Chaque chiffre est annoncé par le laboratoire, avec sa source et ses conditions ; une jauge n'est dessinée que quand l'échelle du test a un maximum connu.
Aucune connaissance préalable ne sert : il faut inférer une règle jamais vue à partir de quelques exemples.
Deviner la règle cachée derrière trois exemples de grilles, puis l'appliquer à une grille nouvelle.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceInférer une règle jamais vue à partir de quelques grilles d'exemples.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceDes questions à réponse unique, du niveau lycée au niveau doctorat, où seule la justesse compte.
Les 57 matières de MMLU, posées dans quatorze langues autres que l'anglais.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceDes questions de niveau doctorat en biologie, physique et chimie, écrites par des spécialistes.
Moyenne sur 5 essais.
SourceDes questions d'examen universitaire qui mêlent texte, schémas, cartes et partitions.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceDes démonstrations de niveau olympiade et des problèmes tirés de la recherche en cours.
L'examen américain d'invitation en mathématiques, une compétition lycéenne prestigieuse.
Sans outils.
SourceLe modèle agit à la souris et au clavier sur une machine réelle, comme le ferait une personne.
Des livrables de métier : dossiers juridiques, flux d'entreprise, enchaînements d'outils, documents de travail.
Naviguer dans des tableurs complexes et les modifier, sur 912 problèmes tirés de fichiers réels.
Réflexion étendue.
SourceEnchaîner des outils par le protocole MCP : trouver le bon, l'appeler correctement, recomposer la réponse.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceDes recherches financières sur les documents déposés par les sociétés cotées.
Moyenne sur 8 essais.
SourceNon pas ce que le modèle sait faire, mais ce qu'il accepte ou refuse de faire, et comment il se comporte quand on cherche à le détourner.
Le modèle reçoit 150 demandes de code interdites par les conditions d'usage, avec les mêmes outils que pour les tests de capacité. On regarde s'il accepte.
Refusal rate.
SourceLe modèle, doté d'outils de pilotage d'un ordinateur en bac à sable, reçoit 112 tâches nuisibles : surveillance et collecte de données sans autorisation, production de contenus dangereux, abus à grande échelle.
Refusal rate.
SourceLe modèle reçoit une tâche longue et légitime, doublée d'une tâche nuisible qu'il doit accomplir sans éveiller les soupçons d'un surveillant qui voit toutes ses actions et tout son raisonnement.
Chiffre annoncé dans la system card, conditions détaillées à la source.
Sourceclaude-opus-4-5-20251101
Le nom exact à écrire dans le code pour appeler ce modèle.
anthropic.claude-opus-4-5-20251101-v1:0 (Amazon Bedrock)claude-opus-4-5@20251101 (Google Cloud) Les autres noms du même modèle, selon la plateforme qui le revend.
Multilingue, d’après la documentation officielle.
Moyenne · Sa vitesse comparée aux autres modèles du même laboratoire, pas une mesure absolue.
Mettre en mémoire un début de requête réutilisé d’un appel à l’autre : 1,25 fois le prix d’entrée.