SWE-bench Verified
Corriger de vrais tickets ouverts sur GitHub, dans le dépôt d'origine, sans aide.
Chiffre publié au journal des versions, sans conditions précisées.
Source
Ce qu’il peut avoir sous les yeux en une seule fois, question et réponse comprises.
Motif du retrait : Remplacé sur le point d'accès deepseek-chat par DeepSeek-V3.1-Terminus, le journal des versions datant la bascule.
3 tests relevés pour ce modèle, regroupés par ce qu'ils mesurent. Chaque chiffre est annoncé par le laboratoire, avec sa source et ses conditions ; une jauge n'est dessinée que quand l'échelle du test a un maximum connu.
Le modèle reçoit un dépôt et un problème, et doit produire un correctif qui passe les tests, sans intervention humaine.
Corriger de vrais tickets ouverts sur GitHub, dans le dépôt d'origine, sans aide.
Chiffre publié au journal des versions, sans conditions précisées.
SourceLe même exercice, étendu à neuf langages de programmation.
Chiffre publié au journal des versions, sans conditions précisées.
SourceDu travail réel en ligne de commande, dans un conteneur, du début à la fin.
Chiffre publié au journal des versions, sans conditions précisées.
Sourcedeepseek-chat
Le nom exact à écrire dans le code pour appeler ce modèle.