GPQA
Des questions de niveau doctorat en biologie, physique et chimie, écrites par des spécialistes.
Pass@1. La source donne la progression « 71.5 vers 81.0 » et la valeur retenue est celle d'arrivée. Elle écrit « GPQA » sans dire…
Source
Ce qu’il peut avoir sous les yeux en une seule fois, question et réponse comprises.
Motif du retrait : Le point d'accès deepseek-reasoner a basculé sur DeepSeek-V3.1, qui réunit dans un seul modèle le mode avec réflexion et le mode sans.
6 tests relevés pour ce modèle, regroupés par ce qu'ils mesurent. Chaque chiffre est annoncé par le laboratoire, avec sa source et ses conditions ; une jauge n'est dessinée que quand l'échelle du test a un maximum connu.
Des questions à réponse unique, du niveau lycée au niveau doctorat, où seule la justesse compte.
Des questions de niveau doctorat en biologie, physique et chimie, écrites par des spécialistes.
Pass@1. La source donne la progression « 71.5 vers 81.0 » et la valeur retenue est celle d'arrivée. Elle écrit « GPQA » sans dire…
SourceDes démonstrations de niveau olympiade et des problèmes tirés de la recherche en cours.
L'examen américain d'invitation en mathématiques, une compétition lycéenne prestigieuse.
Pass@1. La source donne la progression depuis la version précédente de DeepSeek-R1 : « 70.0 vers 87.5 ». La valeur retenue est ce…
SourceDes livrables de métier : dossiers juridiques, flux d'entreprise, enchaînements d'outils, documents de travail.
Traiter un dossier de service client en suivant les règles de l'entreprise, dans le transport aérien ou le commerce de détail.
Appels de fonctions.
SourceTraiter un dossier de service client en suivant les règles de l'entreprise, dans le transport aérien ou le commerce de détail.
Appels de fonctions.
SourceDes tests pas encore décrits au lexique : le chiffre est publié, son explication arrive.
deepseek-reasoner
Le nom exact à écrire dans le code pour appeler ce modèle.