Befolgen von Anweisungen
IFEval: 541 Prompts mit überprüfbaren Format- und Inhaltsvorgaben, programmatisch geprüft statt von einem Bewertungsmodell.
Metrik: strikte Genauigkeit
Modelle / Evaluierungen
Ehrlich gemessen, klar veröffentlicht.
Jede Zahl auf dieser Seite nennt Version oder Checkpoint, Datensatz, Stichprobengröße und Einstellungen. Ergebnisse auf dem Entwicklungsset sind als solche gekennzeichnet: Sie steuern unser Training und sind daher keine zurückgehaltenen Tests.
Öffentliche Benchmarks
Öffentliche Benchmarks nach Version.
Atom v1.2 ist heute im Einsatz. Der öffentliche Benchmark-Lauf dafür steht noch aus, daher stammen die neuesten Ergebnisse auf Versionsebene von Atom v1.1.
| Version | Suite | Datensatz | n | Modus | Decoding | Tools | Ergebnis |
|---|---|---|---|---|---|---|---|
| Atom v1.1if-sft | Befolgen von Anweisungen | IFEval | 541 | Instant | greedy | Nein | 41.8% prompt-level / 52.0% instruction-level (strict) |
| Atom v1.1if-sft | Mathematisches Denken | GSM8K test, 300-problem subset | 300 | Medium | greedy | Nein | 27.0% |
| Atom v1.1if-sft | Code | HumanEval | 164 | Instant | greedy, 512-token limit | Nein | 12.2% pass@1 |
| Atom v1.1base | Wissen | MMLU, 5-shot | 14.042 | Basismodell | log-likelihood | Nein | 27.2% |
| Atom v1.1base | Allgemeinwissen und Sprache | HellaSwag / ARC-Easy / ARC-Challenge / PIQA / Winogrande | 16.695 | Basismodell | log-likelihood | Nein | 55.5 / 63.3 / 34.6 / 73.5 / 57.6 |
| Atom v1.0 | Befolgen von Anweisungen | IFEval | 541 | Nicht erfasst | Nicht erfasst | Nein | 31.6% prompt-level / 41.5% instruction-level (strict) |
| Atom v1.0 | Mathematisches Denken | GSM8K test, full set | 1.319 | Nicht erfasst | Nicht erfasst | Nein | 24.9% |
| Atom v1.0 | Code | HumanEval | 164 | Nicht erfasst | Nicht erfasst | Nein | 13.4% pass@1 |
Interne Checkpoints
Zwei unveröffentlichte Checkpoints aus den Trainingsläufen zwischen v1.1 und v1.2, entnommen aus Aufzeichnungen der Trainingsläufe. GSM8K fiel zwischen ihnen von 32,3 % auf 29,3 %, also um 9 von 300 Aufgaben. Ob diese Änderung signifikant ist, haben wir nicht geklärt.
| Version | Suite | Datensatz | n | Modus | Decoding | Tools | Ergebnis |
|---|---|---|---|---|---|---|---|
| Interner Checkpointprobe4 | Befolgen von Anweisungen | IFEval | 541 | Instant | greedy | Nein | 42.0% prompt-level (strict) |
| Interner Checkpointprobe4 | Mathematisches Denken | GSM8K test, 300-problem subset | 300 | Instant | greedy | Nein | 29.3% |
| Interner Checkpointprobe4 | Code | HumanEval | 164 | Instant | greedy, 384-token limit | Nein | 15.9% pass@1 |
| Interner Checkpointprobe3 | Befolgen von Anweisungen | IFEval | 541 | Instant | greedy | Nein | 41.8% prompt-level (strict) |
| Interner Checkpointprobe3 | Mathematisches Denken | GSM8K test, 300-problem subset | 300 | Instant | greedy | Nein | 32.3% |
| Interner Checkpointprobe3 | Code | HumanEval | 164 | Instant | greedy, 384-token limit | Nein | 14.0% pass@1 |
Entwicklungsset
Unser Entwicklungsset.
120 Prompts aus 14 Kategorien, gesendet an das Live-Produkt. 36 davon haben maschinell prüfbare Antworten, und die Erfolgsquote unten bezieht sich nur auf diese.
| Checkpoint | Version | Läufe | Bestandene geprüfte Turns | Erfolgsquote |
|---|---|---|---|---|
| probe2 | Nicht veröffentlicht | 3 | 76 / 114 | 66.7% |
| probe3 | Nicht veröffentlicht | 3 | 85 / 114 | 74.6% |
| probe3-dpo | Nicht veröffentlicht | 3 | 84 / 114 | 73.7% |
| probe4 | Nicht veröffentlicht | 2 | 59 / 76 | 77.6% |
| probe5 | Nicht veröffentlicht | 2 | 58 / 76 | 76.3% |
| probe6 | Nicht veröffentlicht | 2 | 65 / 76 | 85.5% |
| probe6-dpo | Nicht veröffentlicht | 2 | 59 / 76 | 77.6% |
| probe6c | Atom v1.2 | 2 | 65 / 76 | 85.5% |
- Das ist kein zurückgehaltener Test. Wir haben diese Prompts geschrieben und nutzen Fehler darauf, um Trainingsdaten zu gestalten. Die Werte hier überschätzen daher, wie Atom bei unbekannten Aufgaben abschneidet.
- Jeder Lauf prüft 38 Turns; bestandene Turns werden über die Läufe summiert.
- Bei so wenigen Aufgaben sind Unterschiede von wenigen Punkten möglicherweise nicht signifikant. Der Release-Bericht enthält für jeden Vergleich einen gepaarten Test.
Agent-Harness
Harness-Aufgaben von Incbury Code.
40 Programmieraufgaben in fünf Arten, ausgeführt über die Agent-Schleife von Incbury Code und ihre Tools, direkt gegen einen Modell-Checkpoint. Getestet werden Harness und Modell zusammen, nicht das Produkt Incbury Code, wie Sie es installieren.
| Aufgabenart | probe4 | probe5 |
|---|---|---|
| Fehler beheben | 0 / 8 | 2 / 8 |
| Funktion hinzufügen | 0 / 8 | 6 / 8 |
| Projekt beginnen | 0 / 8 | 6 / 8 |
| Code erklären | 2 / 8 | 8 / 8 |
| Ohne Tools antworten | 4 / 8 | 8 / 8 |
| Gesamt | 6 / 40 (15.0%) | 30 / 40 (75.0%) |
Keiner der beiden Checkpoints ist der heute eingesetzte, und die Aufgaben sind nicht zurückgehalten: probe5 wurde mit Daten aus denselben Aufgabengeneratoren trainiert. Einen Lauf mit der aktuellen Version veröffentlichen wir, sobald er in einer isolierten Umgebung mit festem Budget möglich ist.
Testreihen
Was wir messen.
Mathematisches Denken
GSM8K: Textaufgaben auf Schulniveau, die mehrere Schritte erfordern, beantwortet im Chatmodus mit sichtbarem Denkprozess.
Metrik: exakte Übereinstimmung
Code
HumanEval: 164 Python-Programmieraufgaben, wobei die generierte Funktion gegen die Referenztests ausgeführt wird.
Metrik: pass@1
Wissen
MMLU: Multiple-Choice-Fragen aus 57 akademischen und beruflichen Fachgebieten.
Metrik: Genauigkeit
Allgemeinwissen und Sprache
HellaSwag, ARC-Easy, ARC-Challenge, PIQA und Winogrande, bewertet per Log-Likelihood über die vollständigen Testsets.
Metrik: normalisierte Genauigkeit
Methodik
Wie wir sie durchführen.
Zuerst öffentliche Benchmarks
Wir beginnen mit weit verbreiteten, frei verfügbaren Suites, damit jeder Atom unter gleichen Bedingungen mit anderen Modellen vergleichen kann. Testsets sind von den Trainingsdaten ausgeschlossen, und wir bereinigen unsere Fine-Tuning-Daten gegen sie.
Wo möglich maschinell bewertet
Jede veröffentlichte Zahl wird programmatisch geprüft: exakte Antworten, Unit-Tests oder überprüfbare Vorgaben. Wir lassen kein Modell sich selbst bewerten.
Einstellungen zu jeder Zahl
Jedes Ergebnis nennt Checkpoint, Modus, Decoding und ob Tools erlaubt waren. Benchmarks laufen direkt gegen den Checkpoint auf unserer Trainingshardware, nicht über das Produkt, daher werden Suche und Python-Sandbox nicht genutzt.
Entwicklungsset getrennt ausgewiesen
Unser Entwicklungsset steuert das Training. Deshalb wird es getrennt von öffentlichen Benchmarks berichtet und nie als zurückgehalten bezeichnet. Rückschritte berichten wir so, wie wir sie messen, mit Stichprobengröße, statt sie wegzuerklären.
Details zur Architektur stehen auf der Atom-Seite. Trainingsinfrastruktur und Kosten veröffentlichen wir nicht.
Machen Sie Ihre eigene Evaluierung.
Der beste Benchmark ist Ihre echte Arbeit. Testen Sie kostenlos.