LiveCodeBench Pro
Résoudre des problèmes de compétition de haut niveau, tirés de Codeforces, de l'ICPC et des olympiades d'informatique.
Thinking (High). Elo.
Source
Advanced intelligence, complex problem-solving skills, and powerful agentic and vibe coding capabilities.
Ce qu’il peut avoir sous les yeux en une seule fois, question et réponse comprises.
Ce que coûte le texte qu’on lui envoie.
Ce que coûte le texte qu’il produit, toujours plus cher que l’entrée.
La plus longue réponse qu’il peut produire d’un seul tenant.
Dans Google AI Studio seulement.
16 tests relevés pour ce modèle, regroupés par ce qu'ils mesurent. Chaque chiffre est annoncé par le laboratoire, avec sa source et ses conditions ; une jauge n'est dessinée que quand l'échelle du test a un maximum connu.
Le modèle reçoit un dépôt et un problème, et doit produire un correctif qui passe les tests, sans intervention humaine.
Résoudre des problèmes de compétition de haut niveau, tirés de Codeforces, de l'ICPC et des olympiades d'informatique.
Thinking (High). Elo.
SourceCorriger de vrais tickets ouverts sur GitHub, dans le dépôt d'origine, sans aide.
Thinking (High). Single attempt.
SourceDu travail réel en ligne de commande, dans un conteneur, du début à la fin.
Thinking (High). Terminus-2 harness.
SourceÉcrire le code dont un chercheur a besoin pour reproduire un calcul scientifique publié.
Thinking (High).
SourceLe même exercice, sur des dépôts encore maintenus et des correctifs qui touchent plusieurs fichiers.
Thinking (High). Single attempt.
SourceAucune connaissance préalable ne sert : il faut inférer une règle jamais vue à partir de quelques exemples.
Le même principe, avec des règles nettement plus difficiles à inférer.
Thinking (High). ARC Prize Verified.
SourceDes questions à réponse unique, du niveau lycée au niveau doctorat, où seule la justesse compte.
Des questions de niveau doctorat en biologie, physique et chimie, écrites par des spécialistes.
Thinking (High). No tools.
SourceLes 57 matières de MMLU, posées dans quatorze langues autres que l'anglais.
Thinking (High).
SourceRetrouver la bonne réponse quand huit demandes presque identiques ont été noyées dans un texte très long.
Thinking (High). 128k (average).
SourcePercevoir, interpréter et raisonner sur des questions de niveau licence mêlant texte et images, dans des disciplines variées.
Thinking (High). No tools.
SourceDes questions écrites par des spécialistes pour rester hors de portée des modèles.
Thinking (High). No tools.
SourceDes livrables de métier : dossiers juridiques, flux d'entreprise, enchaînements d'outils, documents de travail.
Tenir une conversation de service client jusqu'au bout, en appelant les bons outils au bon moment.
Thinking (High). Retail.
SourceTrouver sur le web une information difficile à dénicher, en naviguant soi-même.
Thinking (High). Search + Python + Browse.
SourceEnchaîner des outils par le protocole MCP : trouver le bon, l'appeler correctement, recomposer la réponse.
Thinking (High).
SourceMener jusqu'au bout des tâches professionnelles longues, qui demandent de tenir un objectif sur de nombreuses étapes.
Thinking (High). .
SourceProduire des livrables professionnels réels, classés par comparaison directe entre modèles.
Thinking (High).
Source« Accès variable à 3.1 Pro »
Accès aux modèles Pro : « Plus ».
Accès aux modèles Pro : « Étendu ».
Accès aux modèles Pro : « Plus élevé ».
Accès aux modèles Pro : « Le plus élevé ».
gemini-3.1-pro-preview
Le nom exact à écrire dans le code pour appeler ce modèle.
gemini-3.1-pro-preview-customtools Les autres noms du même modèle, selon la plateforme qui le revend.
Mettre en mémoire un début de requête réutilisé d’un appel à l’autre : 1,25 fois le prix d’entrée.