Novel compiler
64,44
%
Écrire un compilateur pour un langage que le modèle n'a jamais vu.
Tests de base.
Source
Claude Opus 4
RetiréAnthropic · Gamme Opus · sorti le 22 mai 2025
Les faits
Ce qu'il coûte, ce qu'il tient
Fenêtre de contexte
200K jetons
Ce qu’il peut avoir sous les yeux en une seule fois, question et réponse comprises.
Prix d’entrée
15 $ / M jetons
Ce que coûte le texte qu’on lui envoie.
Prix de sortie
75 $ / M jetons
Ce que coûte le texte qu’il produit, toujours plus cher que l’entrée.
Cycle de vie
D'aujourd'hui à sa fin de service
Sortie
22 mai 2025
Dépréciation
14 avril 2026
Retrait
15 juin 2026
Motif du retrait : Remplacé par Claude Opus 4.8.
La lignée Opus
Toute la lignée
Les autres versions
Benchmarks expliqués
Ce qu'il vaut, avec les conditions
5 tests relevés pour ce modèle, regroupés par ce qu'ils mesurent. Chaque chiffre est annoncé par le laboratoire, avec sa source et ses conditions ; une jauge n'est dessinée que quand l'échelle du test a un maximum connu.
Code et ingénierie logicielle
Le modèle reçoit un dépôt et un problème, et doit produire un correctif qui passe les tests, sans intervention humaine.
Sûreté et comportement
Non pas ce que le modèle sait faire, mais ce qu'il accepte ou refuse de faire, et comment il se comporte quand on cherche à le détourner.
Violative request evaluations
98,43
%
Répondre à des demandes contraires à la politique d'usage, posées en un seul tour de conversation, dans toutes les langues testées.
Chiffre annoncé dans la system card, conditions détaillées à la source.
SourceAgentic coding
88
%
Le modèle reçoit 150 demandes de code interdites par les conditions d'usage, avec les mêmes outils que pour les tests de capacité. On regarde s'il accepte.
Safety score (without safeguards).
SourceSafety score
88
%
Refuser les demandes de code malveillant, avec les mêmes outils que pour les tests de capacité.
Sans garde-fous.
SourceAttack prevention score
71
%
Déjouer les instructions malveillantes cachées dans les contenus que le modèle consulte en travaillant : page web, document, réponse d'un outil.
Sans garde-fous.
Source
Pour les développeurs
Intégrer ce modèle
L'appeler
Identifiant d’API
claude-opus-4-20250514
Le nom exact à écrire dans le code pour appeler ce modèle.