Pesquisa
Como construímos e medimos o Atom.
Relatórios de modelos, experimentos e notas de engenharia, identificados por tipo. Cada um informa o tamanho das amostras e suas limitações.
Pesquisa
Pesquisa
Experimentos e relatórios de modelos: perguntas sobre como o Atom aprende, com as evidências a favor e contra.
- Pesquisa
Does on-policy preference optimisation help after targeted fine-tuning?
Twice we added a round of preference optimisation after targeted fine-tuning. Once it made no measurable difference, and once it scored lower. Here is the evidence and an untested hypothesis for why.
Ler - Pesquisa
Atom: model overview and evaluation report
What Atom is, how we evaluate it, the benchmark results we have for each release, and where it falls short.
Ler
Engenharia
Engenharia
Relatórios de versões e avaliações dos sistemas que lançamos.
- Engenharia
Coding tasks in our agent training harness: probe4 against probe5
On 40 generated coding tasks, the pass rate rose from 15% to 75% after agent training. What this measures, and the important things it does not.
Ler - Engenharia
Atom v1.2 release report
How Atom v1.2 was made, what we measured on our development set, what got worse, and what we have not measured yet.
Ler
Produto
Produto
Lançamentos e mudanças nos produtos da Incbury.
- Produto
Incbury Code now has a desktop app
Incbury Code, our coding agent, now comes as a desktop app for Windows and Linux alongside the terminal and the VS Code and Cursor sidebar.
Ler - Produto
Introducing Incbury and Atom
Incbury Chat is open to everyone, powered by Atom, the mixture-of-experts model we designed, trained and serve ourselves.
Ler
Linhas de pesquisa
Perguntas em aberto.
O que vamos investigar a seguir. São perguntas, não resultados.
Pergunta em aberto
Dados direcionados em vez de misturas genéricas
No nosso conjunto de desenvolvimento, exemplos de treinamento direcionados e verificados automaticamente ajudaram o Atom mais do que misturas genéricas de fine-tuning. Ainda não sabemos até que ponto isso vale para tarefas novas.
Pergunta em aberto
Ferramentas no treinamento por preferências
A otimização de preferências baixou a pontuação do Atom no conjunto de desenvolvimento nas duas vezes em que tentamos. Uma hipótese é que nosso amostrador não consegue executar o Python que o Atom escreve, e por isso respostas corretas com uso de ferramentas foram marcadas como rejeitadas.
Pergunta em aberto
Fazer a pergunta certa
O Atom agora pergunta quando um pedido é ambíguo, mas as perguntas dele costumam ser vagas demais para ajudar.
Pergunta em aberto
Conhecimento em um modelo pequeno
O conhecimento geral do Atom é fraco: a v1.1 marcou 27,2% no MMLU. A busca ajuda, mas só quando o Atom percebe que precisa consultar algo.
Pergunta em aberto
Medir o agente, não só o modelo
Nossos resultados do agente de programação até agora vêm de um harness com tarefas relacionadas aos nossos dados de treinamento.