Investigación / Líneas
Preguntas abiertas.
Qué investigamos y por qué. Nada de esto es todavía un resultado. Cuando lo sea, lo publicaremos con su evidencia.
Pregunta abierta
Datos específicos frente a mezclas genéricas
En nuestro conjunto de desarrollo, los ejemplos de entrenamiento específicos y verificados automáticamente han ayudado a Atom más que las mezclas genéricas de ajuste fino. Aún no sabemos hasta qué punto eso se traslada a tareas nuevas.
Pregunta: ¿Se mantienen las mejoras de los datos específicos en tareas reservadas?
Pregunta abierta
Herramientas en el entrenamiento de preferencias
La optimización de preferencias bajó la puntuación de Atom en el conjunto de desarrollo las dos veces que la probamos. Una hipótesis es que nuestro muestreador no puede ejecutar el Python que escribe Atom, así que respuestas correctas que usaban herramientas se marcaron como rechazadas.
Pregunta: ¿Ayuda el entrenamiento de preferencias si las llamadas a herramientas se ejecutan durante el muestreo?
Pregunta abierta
Hacer la pregunta adecuada
Atom ya pregunta cuando una petición es ambigua, pero sus preguntas suelen ser demasiado vagas para ayudar.
Pregunta: ¿Cómo entrenamos a un modelo pequeño para que haga la única pregunta que importa?
Pregunta abierta
Conocimiento en un modelo pequeño
El conocimiento general de Atom es débil: v1.1 obtuvo un 27,2 % en MMLU. La búsqueda ayuda, pero solo cuando Atom reconoce que necesita consultar algo.
Pregunta: ¿Cuándo debe un modelo pequeño buscar en lugar de responder de memoria?
Pregunta abierta
Medir el agente, no solo el modelo
Nuestros resultados del agente de programación proceden hasta ahora de un harness con tareas relacionadas con nuestros datos de entrenamiento.
Pregunta: ¿Cómo es una evaluación justa, reservada y con presupuesto de Incbury Code?
¿Trabajas en preguntas parecidas?
Nos gustaría hablar con quienes trabajan en modelos pequeños, evaluación o uso de herramientas.