Forschung / Forschungsfragen
Offene Fragen.
Woran wir forschen und warum. Nichts davon ist schon ein Ergebnis. Sobald es eines gibt, veröffentlichen wir es mit seinen Belegen.
Offene Frage
Gezielte Daten statt allgemeiner Mischungen
Auf unserem Entwicklungsset haben gezielte, maschinell geprüfte Trainingsbeispiele Atom mehr geholfen als allgemeine Fine-Tuning-Mischungen. Wie weit sich das auf unbekannte Aufgaben überträgt, wissen wir noch nicht.
Frage: Halten Verbesserungen durch gezielte Daten auch bei zurückgehaltenen Aufgaben?
Offene Frage
Tool-Nutzung im Präferenztraining
Präferenzoptimierung hat Atoms Ergebnis auf dem Entwicklungsset bei beiden Versuchen gesenkt. Eine Hypothese: Unser Sampler kann den Python-Code, den Atom schreibt, nicht ausführen, sodass richtige Antworten mit Tool-Nutzung als abgelehnt markiert wurden.
Frage: Hilft Präferenztraining, wenn Tool-Aufrufe beim Sampling ausgeführt werden?
Offene Frage
Die richtige Rückfrage stellen
Atom fragt inzwischen nach, wenn eine Anfrage mehrdeutig ist, doch seine Fragen sind oft zu vage, um zu helfen.
Frage: Wie trainieren wir ein kleines Modell darauf, die eine Frage zu stellen, auf die es ankommt?
Offene Frage
Wissen in einem kleinen Modell
Atoms Allgemeinwissen ist schwach: v1.1 erreichte 27,2 % bei MMLU. Die Suche hilft, aber nur, wenn Atom erkennt, dass es etwas nachschlagen muss.
Frage: Wann sollte ein kleines Modell suchen, statt aus dem Gedächtnis zu antworten?
Offene Frage
Den Agenten messen, nicht nur das Modell
Unsere bisherigen Ergebnisse für den Coding-Agenten stammen aus einem Harness mit Aufgaben, die mit unseren Trainingsdaten verwandt sind.
Frage: Wie sieht eine faire, zurückgehaltene und budgetierte Evaluierung von Incbury Code aus?
Arbeiten Sie an ähnlichen Fragen?
Wir freuen uns über Kontakt zu Menschen, die an kleinen Modellen, Evaluierung oder Tool-Nutzung arbeiten.