Seguimiento de instrucciones
IFEval: 541 instrucciones con restricciones de formato y contenido verificables, comprobadas mediante programas y no por un modelo evaluador.
Métrica: precisión estricta
Modelos / Evaluaciones
Medido con honestidad, publicado con claridad.
Cada cifra de esta página indica la versión o el checkpoint, el conjunto de datos, el tamaño de la muestra y la configuración. Los resultados del conjunto de desarrollo están marcados como tales: guían nuestro entrenamiento, así que no son pruebas reservadas.
Benchmarks públicos
Benchmarks públicos por versión.
Atom v1.2 está en servicio hoy. Su ejecución pública de benchmarks aún no se ha hecho, así que los resultados más recientes por versión son de Atom v1.1.
| Versión | Suite | Conjunto de datos | n | Modo | Decodificación | Herramientas | Puntuación |
|---|---|---|---|---|---|---|---|
| Atom v1.1if-sft | Seguimiento de instrucciones | IFEval | 541 | Instant | greedy | No | 41.8% prompt-level / 52.0% instruction-level (strict) |
| Atom v1.1if-sft | Razonamiento matemático | GSM8K test, 300-problem subset | 300 | Medium | greedy | No | 27.0% |
| Atom v1.1if-sft | Código | HumanEval | 164 | Instant | greedy, 512-token limit | No | 12.2% pass@1 |
| Atom v1.1base | Conocimiento | MMLU, 5-shot | 14.042 | Modelo base | log-likelihood | No | 27.2% |
| Atom v1.1base | Sentido común y lenguaje | HellaSwag / ARC-Easy / ARC-Challenge / PIQA / Winogrande | 16.695 | Modelo base | log-likelihood | No | 55.5 / 63.3 / 34.6 / 73.5 / 57.6 |
| Atom v1.0 | Seguimiento de instrucciones | IFEval | 541 | Sin registrar | Sin registrar | No | 31.6% prompt-level / 41.5% instruction-level (strict) |
| Atom v1.0 | Razonamiento matemático | GSM8K test, full set | 1319 | Sin registrar | Sin registrar | No | 24.9% |
| Atom v1.0 | Código | HumanEval | 164 | Sin registrar | Sin registrar | No | 13.4% pass@1 |
Checkpoints internos
Dos checkpoints no publicados de los entrenamientos entre v1.1 y v1.2, tomados de los registros de entrenamiento. GSM8K bajó del 32,3 % al 29,3 % entre ellos, 9 de 300 problemas. No hemos determinado si ese cambio es significativo.
| Versión | Suite | Conjunto de datos | n | Modo | Decodificación | Herramientas | Puntuación |
|---|---|---|---|---|---|---|---|
| Checkpoint internoprobe4 | Seguimiento de instrucciones | IFEval | 541 | Instant | greedy | No | 42.0% prompt-level (strict) |
| Checkpoint internoprobe4 | Razonamiento matemático | GSM8K test, 300-problem subset | 300 | Instant | greedy | No | 29.3% |
| Checkpoint internoprobe4 | Código | HumanEval | 164 | Instant | greedy, 384-token limit | No | 15.9% pass@1 |
| Checkpoint internoprobe3 | Seguimiento de instrucciones | IFEval | 541 | Instant | greedy | No | 41.8% prompt-level (strict) |
| Checkpoint internoprobe3 | Razonamiento matemático | GSM8K test, 300-problem subset | 300 | Instant | greedy | No | 32.3% |
| Checkpoint internoprobe3 | Código | HumanEval | 164 | Instant | greedy, 384-token limit | No | 14.0% pass@1 |
Conjunto de desarrollo
Nuestro conjunto de desarrollo.
120 prompts en 14 categorías, enviados al producto real. 36 tienen respuestas verificables automáticamente, y la tasa de acierto de abajo se refiere solo a esos.
| Checkpoint | Versión | Ejecuciones | Turnos verificados superados | Tasa de acierto |
|---|---|---|---|---|
| probe2 | No publicado | 3 | 76 / 114 | 66.7% |
| probe3 | No publicado | 3 | 85 / 114 | 74.6% |
| probe3-dpo | No publicado | 3 | 84 / 114 | 73.7% |
| probe4 | No publicado | 2 | 59 / 76 | 77.6% |
| probe5 | No publicado | 2 | 58 / 76 | 76.3% |
| probe6 | No publicado | 2 | 65 / 76 | 85.5% |
| probe6-dpo | No publicado | 2 | 59 / 76 | 77.6% |
| probe6c | Atom v1.2 | 2 | 65 / 76 | 85.5% |
- No es una prueba reservada. Escribimos estos prompts y usamos sus fallos para diseñar datos de entrenamiento, así que estas cifras sobrestiman cómo rinde Atom en tareas nuevas.
- Cada ejecución verifica 38 turnos, y los aciertos se suman entre ejecuciones.
- Con tan pocos elementos, diferencias de unos pocos puntos pueden no ser significativas. El informe de versión incluye una prueba pareada para cada comparación.
Harness de agente
Tareas del harness de Incbury Code.
40 tareas de programación de cinco tipos, ejecutadas con el bucle de agente de Incbury Code y sus herramientas directamente contra un checkpoint del modelo. Esto prueba el harness y el modelo juntos, no el producto Incbury Code tal como lo instalas.
| Tipo de tarea | probe4 | probe5 |
|---|---|---|
| Corregir un error | 0 / 8 | 2 / 8 |
| Añadir una función | 0 / 8 | 6 / 8 |
| Empezar un proyecto | 0 / 8 | 6 / 8 |
| Explicar código | 2 / 8 | 8 / 8 |
| Responder sin herramientas | 4 / 8 | 8 / 8 |
| Total | 6 / 40 (15.0%) | 30 / 40 (75.0%) |
Ninguno de los dos checkpoints es el que está en servicio hoy, y estas tareas no están reservadas: probe5 se entrenó con datos de los mismos generadores de tareas. Publicaremos una ejecución con la versión actual cuando pueda hacerse en un entorno aislado y con un presupuesto fijo.
Pruebas
Qué medimos.
Razonamiento matemático
GSM8K: problemas escolares de varios pasos, respondidos en modo chat con el razonamiento visible.
Métrica: coincidencia exacta
Código
HumanEval: 164 tareas de programación en Python, en las que la función generada se ejecuta con las pruebas de referencia.
Métrica: pass@1
Conocimiento
MMLU: preguntas de opción múltiple sobre 57 materias académicas y profesionales.
Métrica: precisión
Sentido común y lenguaje
HellaSwag, ARC-Easy, ARC-Challenge, PIQA y Winogrande, puntuados por log-verosimilitud sobre los conjuntos de prueba completos.
Métrica: precisión normalizada
Metodología
Cómo las ejecutamos.
Primero, benchmarks públicos
Empezamos con suites muy usadas y de libre acceso para que cualquiera pueda comparar Atom con otros modelos en igualdad de condiciones. Los conjuntos de prueba quedan fuera de los datos de entrenamiento, y descontaminamos nuestros datos de ajuste fino frente a ellos.
Corrección automática siempre que se pueda
Cada cifra publicada se comprueba de forma programática: respuestas exactas, pruebas unitarias o restricciones verificables. No pedimos a un modelo que se corrija a sí mismo.
Configuración en cada cifra
Cada resultado indica el checkpoint, el modo, la decodificación y si se permitían herramientas. Los benchmarks se ejecutan contra el checkpoint en nuestro hardware de entrenamiento, no a través del producto, así que no se usan la búsqueda ni el sandbox de Python.
El conjunto de desarrollo, aparte
Nuestro conjunto de desarrollo guía el entrenamiento, así que se presenta separado de los benchmarks públicos y nunca se llama reservado. Los retrocesos se publican tal como se miden, con el tamaño de la muestra, en lugar de justificarlos.
Los detalles de la arquitectura están en la página de Atom. No publicamos la infraestructura ni los costes de entrenamiento.
Haz tu propia evaluación.
El mejor benchmark es tu trabajo real. Pruébalo gratis.