Novel compiler
Écrire un compilateur pour un langage que le modèle n'a jamais vu.
Chiffre annoncé dans la system card, conditions détaillées à la source.
Source
Ce qu’il peut avoir sous les yeux en une seule fois, question et réponse comprises.
Ce que coûte le texte qu’on lui envoie.
Ce que coûte le texte qu’il produit, toujours plus cher que l’entrée.
La plus longue réponse qu’il peut produire d’un seul tenant.
Il ne sait rien de ce qui s’est passé après cette date, sauf si on le lui fournit.
7 tests relevés pour ce modèle, regroupés par ce qu'ils mesurent. Chaque chiffre est annoncé par le laboratoire, avec sa source et ses conditions ; une jauge n'est dessinée que quand l'échelle du test a un maximum connu.
Le modèle reçoit un dépôt et un problème, et doit produire un correctif qui passe les tests, sans intervention humaine.
Écrire un compilateur pour un langage que le modèle n'a jamais vu.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceCorriger de vrais tickets ouverts sur GitHub, dans le dépôt d'origine, sans aide.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceLe sous-ensemble le plus difficile de SWE-bench Verified.
SWE-bench Verified (sous-ensemble difficile).
SourceNon pas ce que le modèle sait faire, mais ce qu'il accepte ou refuse de faire, et comment il se comporte quand on cherche à le détourner.
Répondre à des demandes contraires à la politique d'usage, posées en un seul tour de conversation, dans toutes les langues testées.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceLe modèle reçoit 150 demandes de code interdites par les conditions d'usage, avec les mêmes outils que pour les tests de capacité. On regarde s'il accepte.
Safety score (without safeguards).
SourceRefuser les demandes de code malveillant, avec les mêmes outils que pour les tests de capacité.
Sans garde-fous.
SourceDéjouer les instructions malveillantes cachées dans les contenus que le modèle consulte en travaillant : page web, document, réponse d'un outil.
Sans garde-fous.
Sourceclaude-sonnet-4-5-20250929
Le nom exact à écrire dans le code pour appeler ce modèle.
anthropic.claude-sonnet-4-5-20250929-v1:0 (Amazon Bedrock)claude-sonnet-4-5@20250929 (Google Cloud) Les autres noms du même modèle, selon la plateforme qui le revend.
Multilingue, d’après la documentation officielle.
Rapide · Sa vitesse comparée aux autres modèles du même laboratoire, pas une mesure absolue.
Mettre en mémoire un début de requête réutilisé d’un appel à l’autre : 1,25 fois le prix d’entrée.