Novel compiler
Écrire un compilateur pour un langage que le modèle n'a jamais vu.
Tests de base.
Source
Ce qu’il peut avoir sous les yeux en une seule fois, question et réponse comprises.
Ce que coûte le texte qu’on lui envoie.
Ce que coûte le texte qu’il produit, toujours plus cher que l’entrée.
Motif du retrait : Remplacé par Claude Sonnet 4.6.
7 tests relevés pour ce modèle, regroupés par ce qu'ils mesurent. Chaque chiffre est annoncé par le laboratoire, avec sa source et ses conditions ; une jauge n'est dessinée que quand l'échelle du test a un maximum connu.
Le modèle reçoit un dépôt et un problème, et doit produire un correctif qui passe les tests, sans intervention humaine.
Trouver et exploiter de vraies failles logicielles, ou mener une opération d'attaque complète. Un score élevé mesure une capacité, pas une qualité : c'est précisément ce que les laboratoires surveillent.
Mesurer l'aide qu'un modèle apporte réellement à quelqu'un qui chercherait à se procurer une arme biologique. Deux groupes de participants disposent de douze heures sur deux jours pour rédiger un plan d'acquisition, l'un avec le web seul, l'autre avec le modèle privé de ses garde-fous.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceNon pas ce que le modèle sait faire, mais ce qu'il accepte ou refuse de faire, et comment il se comporte quand on cherche à le détourner.
Répondre à des demandes contraires à la politique d'usage, posées en un seul tour de conversation, dans toutes les langues testées.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceLe modèle reçoit 150 demandes de code interdites par les conditions d'usage, avec les mêmes outils que pour les tests de capacité. On regarde s'il accepte.
Safety score (without safeguards).
SourceRefuser les demandes de code malveillant, avec les mêmes outils que pour les tests de capacité.
Sans garde-fous.
SourceDéjouer les instructions malveillantes cachées dans les contenus que le modèle consulte en travaillant : page web, document, réponse d'un outil.
Sans garde-fous.
Sourceclaude-sonnet-4-20250514
Le nom exact à écrire dans le code pour appeler ce modèle.