Investigación
Cómo construimos y medimos Atom.
Informes de modelos, experimentos y notas de ingeniería, etiquetados por tipo. Cada uno indica el tamaño de sus muestras y sus limitaciones.
Investigación
Investigación
Experimentos e informes de modelos: preguntas sobre cómo aprende Atom, con la evidencia a favor y en contra.
- Investigación
Does on-policy preference optimisation help after targeted fine-tuning?
Twice we added a round of preference optimisation after targeted fine-tuning. Once it made no measurable difference, and once it scored lower. Here is the evidence and an untested hypothesis for why.
Leer - Investigación
Atom: model overview and evaluation report
What Atom is, how we evaluate it, the benchmark results we have for each release, and where it falls short.
Leer
Ingeniería
Ingeniería
Informes de versiones y evaluaciones de los sistemas que lanzamos.
- Ingeniería
Coding tasks in our agent training harness: probe4 against probe5
On 40 generated coding tasks, the pass rate rose from 15% to 75% after agent training. What this measures, and the important things it does not.
Leer - Ingeniería
Atom v1.2 release report
How Atom v1.2 was made, what we measured on our development set, what got worse, and what we have not measured yet.
Leer
Producto
Producto
Lanzamientos y cambios en los productos de Incbury.
- Producto
Incbury Code now has a desktop app
Incbury Code, our coding agent, now comes as a desktop app for Windows and Linux alongside the terminal and the VS Code and Cursor sidebar.
Leer - Producto
Introducing Incbury and Atom
Incbury Chat is open to everyone, powered by Atom, the mixture-of-experts model we designed, trained and serve ourselves.
Leer
Líneas de investigación
Preguntas abiertas.
Lo que investigaremos a continuación. Son preguntas, no resultados.
Pregunta abierta
Datos específicos frente a mezclas genéricas
En nuestro conjunto de desarrollo, los ejemplos de entrenamiento específicos y verificados automáticamente han ayudado a Atom más que las mezclas genéricas de ajuste fino. Aún no sabemos hasta qué punto eso se traslada a tareas nuevas.
Pregunta abierta
Herramientas en el entrenamiento de preferencias
La optimización de preferencias bajó la puntuación de Atom en el conjunto de desarrollo las dos veces que la probamos. Una hipótesis es que nuestro muestreador no puede ejecutar el Python que escribe Atom, así que respuestas correctas que usaban herramientas se marcaron como rechazadas.
Pregunta abierta
Hacer la pregunta adecuada
Atom ya pregunta cuando una petición es ambigua, pero sus preguntas suelen ser demasiado vagas para ayudar.
Pregunta abierta
Conocimiento en un modelo pequeño
El conocimiento general de Atom es débil: v1.1 obtuvo un 27,2 % en MMLU. La búsqueda ayuda, pero solo cuando Atom reconoce que necesita consultar algo.
Pregunta abierta
Medir el agente, no solo el modelo
Nuestros resultados del agente de programación proceden hasta ahora de un harness con tareas relacionadas con nuestros datos de entrenamiento.