SWE-bench Verified (hard subset)
Le sous-ensemble le plus difficile de SWE-bench Verified.
SWE-bench Verified (sous-ensemble difficile), réussite en 1 tentatives au plus.
Source
Ce qu’il peut avoir sous les yeux en une seule fois, question et réponse comprises.
Ce que coûte le texte qu’on lui envoie.
Ce que coûte le texte qu’il produit, toujours plus cher que l’entrée.
La plus longue réponse qu’il peut produire d’un seul tenant.
Il ne sait rien de ce qui s’est passé après cette date, sauf si on le lui fournit.
7 tests relevés pour ce modèle, regroupés par ce qu'ils mesurent. Chaque chiffre est annoncé par le laboratoire, avec sa source et ses conditions ; une jauge n'est dessinée que quand l'échelle du test a un maximum connu.
Le modèle reçoit un dépôt et un problème, et doit produire un correctif qui passe les tests, sans intervention humaine.
Le sous-ensemble le plus difficile de SWE-bench Verified.
SWE-bench Verified (sous-ensemble difficile), réussite en 1 tentatives au plus.
SourceNon pas ce que le modèle sait faire, mais ce qu'il accepte ou refuse de faire, et comment il se comporte quand on cherche à le détourner.
Le modèle reçoit 150 demandes de code interdites par les conditions d'usage, avec les mêmes outils que pour les tests de capacité. On regarde s'il accepte.
Safety score (without safeguards).
SourceRefuser les demandes de code malveillant, avec les mêmes outils que pour les tests de capacité.
Sans garde-fous.
SourceRépondre à des demandes contraires à la politique d'usage, posées en un seul tour de conversation, dans toutes les langues testées.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceRésister aux instructions malveillantes cachées dans les contenus que le modèle consulte pendant qu'il travaille : page web, document, réponse d'un outil.
Attack prevention score (without safeguards).
SourceDéjouer les instructions malveillantes cachées dans les contenus que le modèle consulte en travaillant : page web, document, réponse d'un outil.
Avec garde-fous.
SourceRépondre à des demandes parfaitement anodines, pour vérifier que le modèle ne refuse pas à tort.
Mode par défaut.
Sourceclaude-haiku-4-5-20251001
Le nom exact à écrire dans le code pour appeler ce modèle.
anthropic.claude-haiku-4-5-20251001-v1:0 (Amazon Bedrock)claude-haiku-4-5@20251001 (Google Cloud) Les autres noms du même modèle, selon la plateforme qui le revend.
Multilingue, d’après la documentation officielle.
La plus rapide de la gamme · Sa vitesse comparée aux autres modèles du même laboratoire, pas une mesure absolue.
Mettre en mémoire un début de requête réutilisé d’un appel à l’autre : 1,25 fois le prix d’entrée.