Terminal Bench 2.1
Du travail réel en ligne de commande, dans un conteneur, du début à la fin.
Relevé par DeepSeek en mode minimal du DeepSeek Harness, niveau d'effort maximal, topp = 0,95, température = 1,0.
Source
Ce qu’il peut avoir sous les yeux en une seule fois, question et réponse comprises.
Ce que coûte le texte qu’on lui envoie.
Ce que coûte le texte qu’il produit, toujours plus cher que l’entrée.
La plus longue réponse qu’il peut produire d’un seul tenant.
9 tests relevés pour ce modèle, regroupés par ce qu'ils mesurent. Chaque chiffre est annoncé par le laboratoire, avec sa source et ses conditions ; une jauge n'est dessinée que quand l'échelle du test a un maximum connu.
Le modèle reçoit un dépôt et un problème, et doit produire un correctif qui passe les tests, sans intervention humaine.
Du travail réel en ligne de commande, dans un conteneur, du début à la fin.
Relevé par DeepSeek en mode minimal du DeepSeek Harness, niveau d'effort maximal, topp = 0,95, température = 1,0.
SourceUn jeu de tests interne de DeepSeek, portant sur le développement complet d'une application.
Relevé par DeepSeek en mode minimal du DeepSeek Harness, niveau d'effort maximal, topp = 0,95, température = 1,0. Jeu de tests in…
SourceUn jeu de tests interne de DeepSeek, réservé aux problèmes difficiles pour un agent de programmation.
Relevé par DeepSeek en mode minimal du DeepSeek Harness, niveau d'effort maximal, topp = 0,95, température = 1,0. Jeu de tests in…
Source113 tâches de développement de longue haleine, écrites de zéro pour n'avoir jamais été vues à l'entraînement.
Relevé par DeepSeek en mode minimal du DeepSeek Harness, niveau d'effort maximal, topp = 0,95, température = 1,0.
SourceConstruire un dépôt de code entier à partir d'un cahier des charges écrit en langage courant.
Relevé par DeepSeek en mode minimal du DeepSeek Harness, niveau d'effort maximal, topp = 0,95, température = 1,0. La source ne di…
SourceDes livrables de métier : dossiers juridiques, flux d'entreprise, enchaînements d'outils, documents de travail.
108 tâches d'outillage réel : bureautique, commerce en ligne, analyse de données, recherche web.
Relevé par DeepSeek en mode minimal du DeepSeek Harness, niveau d'effort maximal, topp = 0,95, température = 1,0.
SourceMener jusqu'au bout des tâches professionnelles longues, qui demandent de garder le fil sur de nombreuses étapes.
Relevé par DeepSeek en mode minimal du DeepSeek Harness, niveau d'effort maximal, topp = 0,95, température = 1,0.
SourceMener un flux de travail d'entreprise de bout en bout, d'une seule instruction en langage courant.
Relevé par DeepSeek en mode minimal du DeepSeek Harness, niveau d'effort maximal, topp = 0,95, température = 1,0.
SourceTrouver et exploiter de vraies failles logicielles, ou mener une opération d'attaque complète. Un score élevé mesure une capacité, pas une qualité : c'est précisément ce que les laboratoires surveillent.
Mener une attaque informatique complète en contournant les protections du modèle, sur des centaines d'appels d'outils.
Relevé par DeepSeek en mode minimal du DeepSeek Harness, niveau d'effort maximal, topp = 0,95, température = 1,0.
Source« DeepSeek-V4-Flash: 284B total / 13B active params. Your fast, efficient, and economical choice. Try it now at chat.deepseek.com via Expert Mode / Instant Mode »
deepseek-v4-flash
Le nom exact à écrire dans le code pour appeler ce modèle.
Mettre en mémoire un début de requête réutilisé d’un appel à l’autre : 1,25 fois le prix d’entrée.