Aider's polyglot
64,6
%
Résoudre des exercices de programmation d'Exercism en modifiant des fichiers source, dans plusieurs langages.
high, relevé sous « Aider’s polyglot: whole »
Source
o1
ActifOpenAI · Gamme Série o · sorti le 17 décembre 2024
Previous full o-series reasoning model
Les faits
Ce qu'il coûte, ce qu'il tient
Fenêtre de contexte
200K jetons
Ce qu’il peut avoir sous les yeux en une seule fois, question et réponse comprises.
Prix d’entrée
15 $ / M jetons
Ce que coûte le texte qu’on lui envoie.
Prix de sortie
60 $ / M jetons
Ce que coûte le texte qu’il produit, toujours plus cher que l’entrée.
Sortie maximale
100K jetons
La plus longue réponse qu’il peut produire d’un seul tenant.
Connaissances arrêtées à
octobre 2023
Il ne sait rien de ce qui s’est passé après cette date, sauf si on le lui fournit.
Cycle de vie
D'aujourd'hui à sa fin de service
Sortie
17 décembre 2024
Dépréciation
Non annoncée
Retrait
Non annoncé
Capacités
Ce qu'il sait faire
Raisonnement
Le modèle peut réfléchir avant de répondre, en produisant des jetons de raisonnement facturés comme la sortie. La profondeur se règle par un niveau d'effort.
Réponse au fil de l'eau
La réponse arrive mot à mot pendant qu'elle s'écrit, au lieu d'attendre qu'elle soit finie.
Sortie structurée
Le modèle rend une réponse au format demandé, exploitable par un programme sans relecture.
Recherche dans des fichiers
Le modèle peut chercher une réponse dans des documents fournis plutôt que dans ce qu'il a appris.
Appel de fonctions
Le modèle peut demander l'exécution d'une fonction du programme qui l'appelle et se servir du résultat.
Dépôt de fichiers
Des fichiers peuvent lui être soumis directement.
Lecture d'images
Le modèle voit les images qu'on lui soumet et peut répondre à leur sujet.
Connecteurs MCP
Le modèle peut se brancher sur des services extérieurs par le protocole ouvert Model Context Protocol.
La lignée Série o
Toute la lignée
Les autres versions
Benchmarks expliqués
Ce qu'il vaut, avec les conditions
15 tests relevés pour ce modèle, regroupés par ce qu'ils mesurent. Chaque chiffre est annoncé par le laboratoire, avec sa source et ses conditions ; une jauge n'est dessinée que quand l'échelle du test a un maximum connu.
Code et ingénierie logicielle
Le modèle reçoit un dépôt et un problème, et doit produire un correctif qui passe les tests, sans intervention humaine.
SWE-bench Verified
41
%
Corriger de vrais tickets ouverts sur GitHub, dans le dépôt d'origine, sans aide.
high
SourceConnaissances et raisonnement scientifique
Des questions à réponse unique, du niveau lycée au niveau doctorat, où seule la justesse compte.
MMLU
91,8
%
Des questions à choix multiples sur 57 matières, du programme de lycée au niveau professionnel.
high
SourceMMMLU
87,7
%
Les 57 matières de MMLU, posées dans quatorze langues autres que l'anglais.
high, relevé sous « Multilingual MMLU »
SourceMMMU
77,6
%
Des questions d'examen universitaire qui mêlent texte, schémas, cartes et partitions.
high
SourceGPQA Diamond
75,7
%
Des questions de niveau doctorat en biologie, physique et chimie, écrites par des spécialistes.
high
SourceGraphWalks (contexte long)
62
%
Parcourir un graphe dont la description remplit toute la fenêtre de contexte.
high, relevé sous « Graphwalks bfs <128k »
SourceOpenAI-MRCR
22,1
%
Retrouver la bonne réponse quand plusieurs demandes presque identiques ont été noyées dans une très longue conversation.
high, relevé sous « OpenAI-MRCR: 2 needle128k »
SourceMathématiques
Des démonstrations de niveau olympiade et des problèmes tirés de la recherche en cours.
Pilotage d'un ordinateur
Le modèle agit à la souris et au clavier sur une machine réelle, comme le ferait une personne.
CharXiv Reasoning
55,1
%
Raisonner sur les figures d'articles scientifiques publiés sur arXiv.
high
SourceTravail professionnel réel
Des livrables de métier : dossiers juridiques, flux d'entreprise, enchaînements d'outils, documents de travail.
COLLIE
95,3
%
Écrire un texte libre en respectant à la lettre des contraintes de forme.
high
SourceIFEval
92,2
%
Obéir à des consignes de forme dont le respect se vérifie par un programme, sans jugement humain.
high
Sourcetau-bench
50
%
Traiter un dossier de service client en suivant les règles de l'entreprise, dans le transport aérien ou le commerce de détail.
high, relevé sous « Taubench airline »
SourceMultiChallenge
44,9
%
Tenir une conversation à plusieurs tours en se servant correctement de ce qui a été dit avant.
high
Source
Pour les développeurs
Intégrer ce modèle
L'appeler
Identifiant d’API
o1
Le nom exact à écrire dans le code pour appeler ce modèle.
Alias
o1-2024-12-17 Les autres noms du même modèle, selon la plateforme qui le revend.
Ce qu'il accepte
Entrées acceptées
texteimage
Sorties produites
texte
Facturation détaillée par million de jetons
Lecture depuis le cache7,5 $ Traitement par lots, entrée7,5 $ Traitement par lots, sortie30 $Mettre en mémoire un début de requête réutilisé d’un appel à l’autre : 1,25 fois le prix d’entrée.