LiveCodeBench
Écrire un programme qui résout un exercice de concours publié après l'entraînement du modèle.
High.
Source
Frontier-class performance rivaling larger models at a fraction of the cost.
Ce qu’il peut avoir sous les yeux en une seule fois, question et réponse comprises.
Ce que coûte le texte qu’on lui envoie.
Ce que coûte le texte qu’il produit, toujours plus cher que l’entrée.
La plus longue réponse qu’il peut produire d’un seul tenant.
Motif du retrait : Remplacement recommandé : gemini-3.5-flash-lite.
11 tests relevés pour ce modèle, regroupés par ce qu'ils mesurent. Chaque chiffre est annoncé par le laboratoire, avec sa source et ses conditions ; une jauge n'est dessinée que quand l'échelle du test a un maximum connu.
Le modèle reçoit un dépôt et un problème, et doit produire un correctif qui passe les tests, sans intervention humaine.
Écrire un programme qui résout un exercice de concours publié après l'entraînement du modèle.
High.
SourceDes questions à réponse unique, du niveau lycée au niveau doctorat, où seule la justesse compte.
Les 57 matières de MMLU, posées dans quatorze langues autres que l'anglais.
High.
SourceDes questions de niveau doctorat en biologie, physique et chimie, écrites par des spécialistes.
High. No tools.
SourceApprendre quelque chose en regardant une vidéo, puis répondre à des questions dessus.
High.
SourcePercevoir, interpréter et raisonner sur des questions de niveau licence mêlant texte et images, dans des disciplines variées.
High. No tools.
SourceRetrouver la bonne réponse quand huit demandes presque identiques ont été noyées dans un texte très long.
High. 128k (average).
SourceRépondre à des questions factuelles courtes, sans consulter Internet.
High.
SourceRépondre sans inventer, que la réponse vienne d'un document fourni, de ce que le modèle a appris, ou d'une recherche.
High.
SourceDes questions écrites par des spécialistes pour rester hors de portée des modèles.
High. No tools.
SourceLe modèle agit à la souris et au clavier sur une machine réelle, comme le ferait une personne.
Raisonner sur les figures d'articles scientifiques publiés sur arXiv.
High.
SourceNi ce que le modèle sait, ni ce qu'il refuse : ce qu'il coûte en temps. Un chiffre de vitesse ne dit rien de la justesse des réponses.
La vitesse à laquelle le modèle écrit sa réponse.
High.
Sourcegemini-3.1-flash-lite
Le nom exact à écrire dans le code pour appeler ce modèle.
Mettre en mémoire un début de requête réutilisé d’un appel à l’autre : 1,25 fois le prix d’entrée.