Forschung
Wie wir Atom bauen und messen.
Modellberichte, Experimente und Engineering-Notizen, nach Art gekennzeichnet. Jeder Beitrag nennt seine Stichprobengrößen und seine Grenzen.
Forschung
Forschung
Experimente und Modellberichte: Fragen dazu, wie Atom lernt, mit den Belegen dafür und dagegen.
- Forschung
Does on-policy preference optimisation help after targeted fine-tuning?
Twice we added a round of preference optimisation after targeted fine-tuning. Once it made no measurable difference, and once it scored lower. Here is the evidence and an untested hypothesis for why.
Lesen - Forschung
Atom: model overview and evaluation report
What Atom is, how we evaluate it, the benchmark results we have for each release, and where it falls short.
Lesen
Engineering
Engineering
Release-Berichte und Evaluierungen der Systeme, die wir ausliefern.
- Engineering
Coding tasks in our agent training harness: probe4 against probe5
On 40 generated coding tasks, the pass rate rose from 15% to 75% after agent training. What this measures, and the important things it does not.
Lesen - Engineering
Atom v1.2 release report
How Atom v1.2 was made, what we measured on our development set, what got worse, and what we have not measured yet.
Lesen
Produkt
Produkt
Neue Funktionen und Änderungen an den Produkten von Incbury.
- Produkt
Incbury Code now has a desktop app
Incbury Code, our coding agent, now comes as a desktop app for Windows and Linux alongside the terminal and the VS Code and Cursor sidebar.
Lesen - Produkt
Introducing Incbury and Atom
Incbury Chat is open to everyone, powered by Atom, the mixture-of-experts model we designed, trained and serve ourselves.
Lesen
Forschungsfragen
Offene Fragen.
Woran wir als Nächstes forschen. Das sind Fragen, keine Ergebnisse.
Offene Frage
Gezielte Daten statt allgemeiner Mischungen
Auf unserem Entwicklungsset haben gezielte, maschinell geprüfte Trainingsbeispiele Atom mehr geholfen als allgemeine Fine-Tuning-Mischungen. Wie weit sich das auf unbekannte Aufgaben überträgt, wissen wir noch nicht.
Offene Frage
Tool-Nutzung im Präferenztraining
Präferenzoptimierung hat Atoms Ergebnis auf dem Entwicklungsset bei beiden Versuchen gesenkt. Eine Hypothese: Unser Sampler kann den Python-Code, den Atom schreibt, nicht ausführen, sodass richtige Antworten mit Tool-Nutzung als abgelehnt markiert wurden.
Offene Frage
Die richtige Rückfrage stellen
Atom fragt inzwischen nach, wenn eine Anfrage mehrdeutig ist, doch seine Fragen sind oft zu vage, um zu helfen.
Offene Frage
Wissen in einem kleinen Modell
Atoms Allgemeinwissen ist schwach: v1.1 erreichte 27,2 % bei MMLU. Die Suche hilft, aber nur, wenn Atom erkennt, dass es etwas nachschlagen muss.
Offene Frage
Den Agenten messen, nicht nur das Modell
Unsere bisherigen Ergebnisse für den Coding-Agenten stammen aus einem Harness mit Aufgaben, die mit unseren Trainingsdaten verwandt sind.