Pesquisa / Linhas
Perguntas em aberto.
O que estamos investigando, e por quê. Nada disso é resultado ainda. Quando for, vamos publicar com as evidências.
Pergunta em aberto
Dados direcionados em vez de misturas genéricas
No nosso conjunto de desenvolvimento, exemplos de treinamento direcionados e verificados automaticamente ajudaram o Atom mais do que misturas genéricas de fine-tuning. Ainda não sabemos até que ponto isso vale para tarefas novas.
Pergunta: Os ganhos com dados direcionados se mantêm em tarefas reservadas?
Pergunta em aberto
Ferramentas no treinamento por preferências
A otimização de preferências baixou a pontuação do Atom no conjunto de desenvolvimento nas duas vezes em que tentamos. Uma hipótese é que nosso amostrador não consegue executar o Python que o Atom escreve, e por isso respostas corretas com uso de ferramentas foram marcadas como rejeitadas.
Pergunta: O treinamento por preferências ajuda quando as chamadas de ferramentas são executadas durante a amostragem?
Pergunta em aberto
Fazer a pergunta certa
O Atom agora pergunta quando um pedido é ambíguo, mas as perguntas dele costumam ser vagas demais para ajudar.
Pergunta: Como treinar um modelo pequeno para fazer a única pergunta que importa?
Pergunta em aberto
Conhecimento em um modelo pequeno
O conhecimento geral do Atom é fraco: a v1.1 marcou 27,2% no MMLU. A busca ajuda, mas só quando o Atom percebe que precisa consultar algo.
Pergunta: Quando um modelo pequeno deve buscar em vez de responder de memória?
Pergunta em aberto
Medir o agente, não só o modelo
Nossos resultados do agente de programação até agora vêm de um harness com tarefas relacionadas aos nossos dados de treinamento.
Pergunta: Como seria uma avaliação justa, reservada e com orçamento do Incbury Code?
Trabalha com perguntas parecidas?
Queremos conversar com quem trabalha com modelos pequenos, avaliação ou uso de ferramentas.