Aller au contenu

Modèles

Atom, notre propre famille de modèles.

Atom est une famille de modèles de langage mixture-of-experts dont nous assurons nous-mêmes le pré-entraînement et le post-entraînement. Tous les produits Incbury reposent sur elle. Cette page explique son fonctionnement, la version en service et ce qu’elle ne fait pas encore bien.

16+1

Experts par couche : deux routés par token, plus un partagé

64k

Vocabulaire de tokens

16k

Tokens de fenêtre de contexte

Architecture

Une mixture of experts parcimonieuse.

Chaque couche contient 16 réseaux experts et un expert partagé. Un routeur envoie chaque token vers les deux experts qui lui conviennent le mieux : seule une partie du réseau calcule pour chaque token. La plupart des couches utilisent une fenêtre d’attention locale glissante ; une couche sur quatre utilise une attention globale.

À l’intérieur d’une couche d’Atom

illustration · 2 experts sur 16 par token

HeatRouteur2 sur 16E1E2E3E40.61E5E6E7E8E9E10E110.39E12E13E14E15E16Expert partagé · toujours actifΣ

01

Mixture of experts

Seuls les experts dont un token a besoin sont exécutés, ce qui garde des réponses rapides sur un matériel modeste.

02

Trois niveaux de réflexion

Instant, Medium et High arbitrent entre vitesse et profondeur, message par message.

03

Utilisation d’outils

Atom est entraîné à appeler la recherche web, un bac à sable Python et des fonctions définies par les développeurs, et à citer ce qu’il trouve.

Modes de raisonnement

Choisissez la réflexion que mérite chaque message.

Dans Incbury Chat, chaque message peut être envoyé avec l’un des trois niveaux de réflexion. Atom affiche son raisonnement pendant qu’il travaille, puis vous donne la réponse.

Le plus rapide

Instant

La réponse commence immédiatement. Idéal pour rédiger, reformuler, vérifier un fait ou échanger au fil de la conversation.

Équilibré

Medium

Atom prend le temps de raisonner avant de répondre. Plus adapté à l’analyse, à la planification et aux questions en plusieurs étapes.

Le plus approfondi

High

Une réflexion prolongée pour les problèmes difficiles : mathématiques, code, synthèse de recherches, avec le raisonnement affiché en direct.

En savoir plus sur les modes de raisonnement

Versions

Historique des versions.

Atom v1.2 alimente aujourd’hui tous les produits Incbury. Chaque version renvoie à son rapport lorsqu’il existe.

Versions d’Atom
VersionCheckpointPubliéeStatut
Atom v1.2probe6c1 octobre 2026En serviceRapport
Atom v1.1if-sft16 septembre 2026Retirée
Atom v1.0Non consigné10 septembre 2026Retirée

Benchmarks publics de Atom v1.1

Atom v1.2 n’a pas encore fait l’objet d’une campagne de benchmarks publics : les résultats les plus récents sont donc ceux de Atom v1.1. Les résultats de Atom v1.2 sur le jeu de développement figurent dans son rapport de version.

Résultats des benchmarks avec les paramètres utilisés
VersionSuiteJeu de donnéesnModeDécodageOutilsScore
Atom v1.1if-sftRespect des consignesIFEval541InstantgreedyNon41.8% prompt-level / 52.0% instruction-level (strict)
Atom v1.1if-sftRaisonnement mathématiqueGSM8K test, 300-problem subset300MediumgreedyNon27.0%
Atom v1.1if-sftCodeHumanEval164Instantgreedy, 512-token limitNon12.2% pass@1
Atom v1.1baseConnaissancesMMLU, 5-shot14 042Modèle de baselog-likelihoodNon27.2%
Atom v1.1baseSens commun et langueHellaSwag / ARC-Easy / ARC-Challenge / PIQA / Winogrande16 695Modèle de baselog-likelihoodNon55.5 / 63.3 / 34.6 / 73.5 / 57.6

Limites

Ce qu’Atom ne fait pas encore bien.

Atom est un petit modèle. Nous préférons que vous connaissiez ses limites avant de vous y fier.

  • Ses connaissances générales sont limitées. Atom v1.1 a obtenu 27,2 % sur MMLU, proche du hasard pour des questions à quatre choix. Activez la recherche pour les faits importants.
  • Les calculs en plusieurs étapes ne sont pas fiables sans outils. Atom v1.1 a résolu 27,0 % d’un échantillon de 300 problèmes GSM8K en mode Medium, sans le bac à sable Python.
  • Les consignes de format strictes sont souvent manquées. Atom v1.1 a entièrement suivi 41,8 % des prompts IFEval.
  • Ses questions de clarification peuvent être vagues, et il lui arrive de chercher sur le web sans nécessité.
  • Il fonctionne mieux en anglais.
  • Il peut se tromper avec assurance. Vérifiez tout ce qui compte, surtout quand aucune source n’est citée.

Comment nous concevons Atom

Les principes que nous nous imposons.

À nous de bout en bout

L’architecture, le pipeline d’entraînement, les checkpoints et le service sont conçus et exploités par Incbury.

Efficace par conception

Un réseau mixture-of-experts fait passer chaque token par un petit sous-ensemble d’experts : Atom reste rapide sur un matériel modeste.

Honnête sur les sources

Quand Atom cherche, il cite. Quand il calcule, il montre le code et le résultat. Quand il n’est pas sûr, il est entraîné à le dire.

Mesuré à chaque version

Chaque version est mesurée sur des benchmarks publics et sur notre jeu de développement, et nous publions les deux, régressions comprises.

Voyez comment Atom réfléchit.

Gratuit chaque jour, dans Incbury Chat.