Modèles / Évaluations

Mesuré honnêtement, publié simplement.

Chaque chiffre de cette page indique la version ou le checkpoint, le jeu de données, la taille de l’échantillon et les paramètres utilisés. Les résultats du jeu de développement sont signalés comme tels : ils orientent notre entraînement et ne sont donc pas des tests réservés.

Benchmarks publics

Benchmarks publics par version.

Atom v1.2 est en service aujourd’hui. Sa campagne de benchmarks publics n’a pas encore été menée : les résultats les plus récents par version sont donc ceux de Atom v1.1.

Résultats des benchmarks avec les paramètres utilisés
Version	Suite	Jeu de données	n	Mode	Décodage	Outils	Score
Atom v1.1if-sft	Respect des consignes	IFEval	541	Instant	greedy	Non	41.8% prompt-level / 52.0% instruction-level (strict)
Atom v1.1if-sft	Raisonnement mathématique	GSM8K test, 300-problem subset	300	Medium	greedy	Non	27.0%
Atom v1.1if-sft	Code	HumanEval	164	Instant	greedy, 512-token limit	Non	12.2% pass@1
Atom v1.1base	Connaissances	MMLU, 5-shot	14 042	Modèle de base	log-likelihood	Non	27.2%
Atom v1.1base	Sens commun et langue	HellaSwag / ARC-Easy / ARC-Challenge / PIQA / Winogrande	16 695	Modèle de base	log-likelihood	Non	55.5 / 63.3 / 34.6 / 73.5 / 57.6
Atom v1.0	Respect des consignes	IFEval	541	Non consigné	Non consigné	Non	31.6% prompt-level / 41.5% instruction-level (strict)
Atom v1.0	Raisonnement mathématique	GSM8K test, full set	1 319	Non consigné	Non consigné	Non	24.9%
Atom v1.0	Code	HumanEval	164	Non consigné	Non consigné	Non	13.4% pass@1

Checkpoints internes

Deux checkpoints non publiés issus des entraînements entre v1.1 et v1.2, tirés des journaux d’entraînement. GSM8K est passé de 32,3 % à 29,3 % entre les deux, soit 9 problèmes sur 300. Nous n’avons pas établi si cet écart est significatif.

Résultats des benchmarks avec les paramètres utilisés
Version	Suite	Jeu de données	n	Mode	Décodage	Outils	Score
Checkpoint interneprobe4	Respect des consignes	IFEval	541	Instant	greedy	Non	42.0% prompt-level (strict)
Checkpoint interneprobe4	Raisonnement mathématique	GSM8K test, 300-problem subset	300	Instant	greedy	Non	29.3%
Checkpoint interneprobe4	Code	HumanEval	164	Instant	greedy, 384-token limit	Non	15.9% pass@1
Checkpoint interneprobe3	Respect des consignes	IFEval	541	Instant	greedy	Non	41.8% prompt-level (strict)
Checkpoint interneprobe3	Raisonnement mathématique	GSM8K test, 300-problem subset	300	Instant	greedy	Non	32.3%
Checkpoint interneprobe3	Code	HumanEval	164	Instant	greedy, 384-token limit	Non	14.0% pass@1

Jeu de développement

Notre jeu de développement.

120 prompts répartis en 14 catégories, envoyés au produit en production. 36 d’entre eux ont des réponses vérifiables automatiquement, et le taux de réussite ci-dessous ne porte que sur ceux-là.

Taux de réussite sur le jeu de développement par checkpoint
Checkpoint	Version	Passages	Tours vérifiés réussis	Taux de réussite
probe2	Non publié	3	76 / 114	66.7%
probe3	Non publié	3	85 / 114	74.6%
probe3-dpo	Non publié	3	84 / 114	73.7%
probe4	Non publié	2	59 / 76	77.6%
probe5	Non publié	2	58 / 76	76.3%
probe6	Non publié	2	65 / 76	85.5%
probe6-dpo	Non publié	2	59 / 76	77.6%
probe6c	Atom v1.2	2	65 / 76	85.5%

Ce n’est pas un test réservé. Nous avons écrit ces prompts et utilisons leurs échecs pour concevoir des données d’entraînement : ces scores surestiment donc les performances d’Atom sur des tâches inédites.
Chaque passage vérifie 38 tours, et les réussites sont additionnées sur l’ensemble des passages.
Avec si peu d’éléments, quelques points d’écart peuvent ne pas être significatifs. Le rapport de version donne un test apparié pour chaque comparaison.

Rapport de version Atom v1.2 Expérience d’optimisation des préférences

Harnais d’agent

Tâches du harnais d’Incbury Code.

40 tâches de programmation de cinq types, exécutées par la boucle d’agent d’Incbury Code et ses outils directement sur un checkpoint du modèle. Cela teste le harnais et le modèle ensemble, pas le produit Incbury Code tel que vous l’installez.

Tâches réussies par type et par checkpoint
Type de tâche	probe4	probe5
Corriger un bug	0 / 8	2 / 8
Ajouter une fonctionnalité	0 / 8	6 / 8
Démarrer un projet	0 / 8	6 / 8
Expliquer du code	2 / 8	8 / 8
Répondre sans outils	4 / 8	8 / 8
Total	6 / 40 (15.0%)	30 / 40 (75.0%)

Aucun des deux checkpoints n’est celui en service aujourd’hui, et ces tâches ne sont pas réservées : probe5 a été entraîné sur des données issues des mêmes générateurs de tâches. Nous publierons un passage sur la version actuelle dès qu’il pourra être mené dans un environnement isolé, avec un budget fixe.

Lire l’évaluation du harnais

Suites

Ce que nous mesurons.

Respect des consignes

IFEval : 541 requêtes comportant des contraintes de forme et de contenu vérifiables, contrôlées par programme plutôt que par un modèle évaluateur.

Indicateur : précision stricte

Raisonnement mathématique

GSM8K : problèmes de niveau scolaire en plusieurs étapes, résolus en mode chat avec le raisonnement affiché.

Indicateur : correspondance exacte

Code

HumanEval : 164 exercices de programmation Python, la fonction générée étant exécutée sur les tests de référence.

Indicateur : pass@1

Connaissances

MMLU : questions à choix multiples couvrant 57 matières universitaires et professionnelles.

Indicateur : précision

Sens commun et langue

HellaSwag, ARC-Easy, ARC-Challenge, PIQA et Winogrande, notés par log-vraisemblance sur l’intégralité des jeux de test.

Indicateur : précision normalisée

Méthodologie

Comment nous procédons.

D’abord les benchmarks publics

Nous commençons par des suites largement utilisées et librement accessibles, pour que chacun puisse comparer Atom à d’autres modèles à armes égales. Les jeux de test sont exclus des données d’entraînement, et nous décontaminons nos données de fine-tuning par rapport à eux.

Notation automatique dès que possible

Chaque chiffre publié est vérifié par programme : réponses exactes, tests unitaires ou contraintes vérifiables. Nous ne demandons jamais à un modèle de se noter lui-même.

Les paramètres de chaque chiffre

Chaque résultat indique le checkpoint, le mode, le décodage et si les outils étaient autorisés. Les benchmarks sont exécutés sur le checkpoint, sur notre matériel d’entraînement, et non via le produit : la recherche et le bac à sable Python ne sont donc pas utilisés.

Le jeu de développement à part

Notre jeu de développement oriente l’entraînement : il est donc présenté séparément des benchmarks publics et jamais qualifié de réservé. Les régressions sont publiées telles que mesurées, avec la taille de l’échantillon, sans être justifiées après coup.

Les détails de l’architecture figurent sur la page Atom. Nous ne publions ni l’infrastructure ni les coûts d’entraînement.

Faites votre propre évaluation.

Le meilleur benchmark, c’est votre travail. Essayez gratuitement.

Essayer Incbury