Recherche
Comment nous construisons et mesurons Atom.
Rapports de modèles, expériences et notes d’ingénierie, classés par type. Chacun indique la taille de ses échantillons et ses limites.
Recherche
Recherche
Expériences et rapports de modèles : des questions sur la façon dont Atom apprend, avec les éléments pour et contre.
- Recherche
Does on-policy preference optimisation help after targeted fine-tuning?
Twice we added a round of preference optimisation after targeted fine-tuning. Once it made no measurable difference, and once it scored lower. Here is the evidence and an untested hypothesis for why.
Lire - Recherche
Atom: model overview and evaluation report
What Atom is, how we evaluate it, the benchmark results we have for each release, and where it falls short.
Lire
Ingénierie
Ingénierie
Rapports de version et évaluations des systèmes que nous livrons.
- Ingénierie
Coding tasks in our agent training harness: probe4 against probe5
On 40 generated coding tasks, the pass rate rose from 15% to 75% after agent training. What this measures, and the important things it does not.
Lire - Ingénierie
Atom v1.2 release report
How Atom v1.2 was made, what we measured on our development set, what got worse, and what we have not measured yet.
Lire
Produit
Produit
Lancements et évolutions des produits Incbury.
- Produit
Incbury Code now has a desktop app
Incbury Code, our coding agent, now comes as a desktop app for Windows and Linux alongside the terminal and the VS Code and Cursor sidebar.
Lire - Produit
Introducing Incbury and Atom
Incbury Chat is open to everyone, powered by Atom, the mixture-of-experts model we designed, trained and serve ourselves.
Lire
Axes de recherche
Questions ouvertes.
Ce que nous étudierons ensuite. Ce sont des questions, pas des résultats.
Question ouverte
Des données ciblées plutôt que des mélanges génériques
Sur notre jeu de développement, des exemples d’entraînement ciblés et vérifiés automatiquement ont davantage aidé Atom que des mélanges génériques de fine-tuning. Nous ne savons pas encore dans quelle mesure cela se transpose à des tâches inédites.
Question ouverte
Les outils dans l’entraînement par préférences
L’optimisation des préférences a fait baisser le score d’Atom sur le jeu de développement les deux fois où nous l’avons essayée. Une hypothèse : notre échantillonneur ne peut pas exécuter le Python écrit par Atom, si bien que des réponses correctes utilisant des outils ont été marquées comme rejetées.
Question ouverte
Poser la bonne question
Atom demande désormais des précisions quand une demande est ambiguë, mais ses questions sont souvent trop vagues pour être utiles.
Question ouverte
Les connaissances d’un petit modèle
Les connaissances générales d’Atom sont faibles : v1.1 a obtenu 27,2 % sur MMLU. La recherche aide, mais seulement quand Atom reconnaît qu’il doit vérifier quelque chose.
Question ouverte
Mesurer l’agent, pas seulement le modèle
Nos résultats pour l’agent de programmation proviennent jusqu’ici d’un harnais exécuté sur des tâches liées à nos données d’entraînement.