Terminal-Bench 2.0
Du travail réel en ligne de commande, dans un conteneur, du début à la fin.
Source
The most capable agentic coding model to date.
Ce qu’il peut avoir sous les yeux en une seule fois, question et réponse comprises.
Ce que coûte le texte qu’on lui envoie.
Ce que coûte le texte qu’il produit, toujours plus cher que l’entrée.
La plus longue réponse qu’il peut produire d’un seul tenant.
Il ne sait rien de ce qui s’est passé après cette date, sauf si on le lui fournit.
Le modèle peut réfléchir avant de répondre, en produisant des jetons de raisonnement facturés comme la sortie. La profondeur se règle par un niveau d'effort.
La réponse arrive mot à mot pendant qu'elle s'écrit, au lieu d'attendre qu'elle soit finie.
Le modèle rend une réponse au format demandé, exploitable par un programme sans relecture.
Le modèle peut demander l'exécution d'une fonction du programme qui l'appelle et se servir du résultat.
Le modèle voit les images qu'on lui soumet et peut répondre à leur sujet.
Le modèle peut consulter le web pendant qu'il répond, ce qui lui donne accès à des faits postérieurs à son entraînement.
Une partie de requête déjà envoyée est facturée moins cher si elle est réutilisée peu après.
Le modèle dispose d'un terminal pour lancer des commandes.
Des marches à suivre préparées peuvent être chargées à la demande pour une tâche donnée.
8 tests relevés pour ce modèle, regroupés par ce qu'ils mesurent. Chaque chiffre est annoncé par le laboratoire, avec sa source et ses conditions ; une jauge n'est dessinée que quand l'échelle du test a un maximum connu.
Le modèle reçoit un dépôt et un problème, et doit produire un correctif qui passe les tests, sans intervention humaine.
Des questions à réponse unique, du niveau lycée au niveau doctorat, où seule la justesse compte.
Des questions de niveau doctorat en biologie, physique et chimie, écrites par des spécialistes.
SourceLe modèle agit à la souris et au clavier sur une machine réelle, comme le ferait une personne.
Accomplir des tâches courantes sur une machine Ubuntu réelle, à la souris et au clavier.
SourceDes livrables de métier : dossiers juridiques, flux d'entreprise, enchaînements d'outils, documents de travail.
Trouver sur le web une information difficile à dénicher, en naviguant soi-même.
SourceProduire un vrai livrable de travail dans l'une de quarante-quatre professions, à partir d'une commande détaillée.
wins or ties
SourceRépondre à des questions en s'appuyant sur un grand corpus de documents d'entreprise.
Source108 tâches d'outillage réel : bureautique, commerce en ligne, analyse de données, recherche web.
Sourcegpt-5.3-codex
Le nom exact à écrire dans le code pour appeler ce modèle.
gpt-5.3-codex Les autres noms du même modèle, selon la plateforme qui le revend.
Mettre en mémoire un début de requête réutilisé d’un appel à l’autre : 1,25 fois le prix d’entrée.