Modelos / Avaliações

Medido com honestidade, publicado com clareza.

Cada número desta página indica a versão ou o checkpoint, o conjunto de dados, o tamanho da amostra e as configurações usadas. Os resultados do conjunto de desenvolvimento estão identificados como tal: eles orientam nosso treinamento, então não são testes reservados.

Benchmarks públicos

Benchmarks públicos por versão.

O Atom v1.2 está em uso hoje. A rodada pública de benchmarks dele ainda não foi feita, então os resultados mais recentes por versão são do Atom v1.1.

Resultados de benchmarks com as configurações usadas
Versão	Suíte	Conjunto de dados	n	Modo	Decodificação	Ferramentas	Pontuação
Atom v1.1if-sft	Seguimento de instruções	IFEval	541	Instant	greedy	Não	41.8% prompt-level / 52.0% instruction-level (strict)
Atom v1.1if-sft	Raciocínio matemático	GSM8K test, 300-problem subset	300	Medium	greedy	Não	27.0%
Atom v1.1if-sft	Código	HumanEval	164	Instant	greedy, 512-token limit	Não	12.2% pass@1
Atom v1.1base	Conhecimento	MMLU, 5-shot	14.042	Modelo base	log-likelihood	Não	27.2%
Atom v1.1base	Senso comum e linguagem	HellaSwag / ARC-Easy / ARC-Challenge / PIQA / Winogrande	16.695	Modelo base	log-likelihood	Não	55.5 / 63.3 / 34.6 / 73.5 / 57.6
Atom v1.0	Seguimento de instruções	IFEval	541	Não registrado	Não registrado	Não	31.6% prompt-level / 41.5% instruction-level (strict)
Atom v1.0	Raciocínio matemático	GSM8K test, full set	1.319	Não registrado	Não registrado	Não	24.9%
Atom v1.0	Código	HumanEval	164	Não registrado	Não registrado	Não	13.4% pass@1

Checkpoints internos

Dois checkpoints não lançados dos treinamentos entre a v1.1 e a v1.2, tirados dos registros de treinamento. O GSM8K caiu de 32,3% para 29,3% entre eles, 9 de 300 problemas. Não determinamos se essa mudança é significativa.

Resultados de benchmarks com as configurações usadas
Versão	Suíte	Conjunto de dados	n	Modo	Decodificação	Ferramentas	Pontuação
Checkpoint internoprobe4	Seguimento de instruções	IFEval	541	Instant	greedy	Não	42.0% prompt-level (strict)
Checkpoint internoprobe4	Raciocínio matemático	GSM8K test, 300-problem subset	300	Instant	greedy	Não	29.3%
Checkpoint internoprobe4	Código	HumanEval	164	Instant	greedy, 384-token limit	Não	15.9% pass@1
Checkpoint internoprobe3	Seguimento de instruções	IFEval	541	Instant	greedy	Não	41.8% prompt-level (strict)
Checkpoint internoprobe3	Raciocínio matemático	GSM8K test, 300-problem subset	300	Instant	greedy	Não	32.3%
Checkpoint internoprobe3	Código	HumanEval	164	Instant	greedy, 384-token limit	Não	14.0% pass@1

Conjunto de desenvolvimento

Nosso conjunto de desenvolvimento.

120 prompts em 14 categorias, enviados ao produto em produção. 36 deles têm respostas verificáveis automaticamente, e a taxa de acerto abaixo considera só esses.

Taxa de acerto no conjunto de desenvolvimento por checkpoint
Checkpoint	Versão	Execuções	Turnos verificados aprovados	Taxa de acerto
probe2	Não lançado	3	76 / 114	66.7%
probe3	Não lançado	3	85 / 114	74.6%
probe3-dpo	Não lançado	3	84 / 114	73.7%
probe4	Não lançado	2	59 / 76	77.6%
probe5	Não lançado	2	58 / 76	76.3%
probe6	Não lançado	2	65 / 76	85.5%
probe6-dpo	Não lançado	2	59 / 76	77.6%
probe6c	Atom v1.2	2	65 / 76	85.5%

Não é um teste reservado. Nós escrevemos esses prompts e usamos as falhas neles para criar dados de treinamento, então essas pontuações superestimam o desempenho do Atom em tarefas novas.
Cada execução verifica 38 turnos, e os acertos são somados entre as execuções.
Com tão poucos itens, diferenças de poucos pontos podem não ser significativas. O relatório da versão traz um teste pareado para cada comparação.

Relatório da versão Atom v1.2 Experimento de otimização de preferências

Harness de agente

Tarefas do harness do Incbury Code.

40 tarefas de programação de cinco tipos, executadas pelo loop de agente do Incbury Code e suas ferramentas diretamente sobre um checkpoint do modelo. Isso testa o harness e o modelo juntos, não o produto Incbury Code como você o instala.

Tarefas concluídas por tipo e checkpoint
Tipo de tarefa	probe4	probe5
Corrigir um bug	0 / 8	2 / 8
Adicionar um recurso	0 / 8	6 / 8
Começar um projeto	0 / 8	6 / 8
Explicar código	2 / 8	8 / 8
Responder sem ferramentas	4 / 8	8 / 8
Total	6 / 40 (15.0%)	30 / 40 (75.0%)

Nenhum dos dois checkpoints é o que está em uso hoje, e essas tarefas não são reservadas: o probe5 foi treinado com dados dos mesmos geradores de tarefas. Vamos publicar uma execução com a versão atual quando ela puder ser feita em um ambiente isolado e com orçamento fixo.

Ler a avaliação do harness

Conjuntos

O que medimos.

Seguimento de instruções

IFEval: 541 prompts com restrições verificáveis de formato e conteúdo, checadas por programa, e não por um modelo avaliador.

Métrica: precisão estrita

Raciocínio matemático

GSM8K: problemas escolares de várias etapas, respondidos no modo chat com o raciocínio visível.

Métrica: correspondência exata

Código

HumanEval: 164 tarefas de programação em Python, com a função gerada executada contra os testes de referência.

Métrica: pass@1

Conhecimento

MMLU: questões de múltipla escolha em 57 áreas acadêmicas e profissionais.

Métrica: precisão

Senso comum e linguagem

HellaSwag, ARC-Easy, ARC-Challenge, PIQA e Winogrande, pontuados por log-verossimilhança nos conjuntos de teste completos.

Métrica: precisão normalizada

Metodologia

Como rodamos os testes.

Benchmarks públicos primeiro

Começamos por suítes amplamente usadas e abertas, para que qualquer pessoa possa comparar o Atom com outros modelos nas mesmas condições. Os conjuntos de teste ficam fora dos dados de treinamento, e descontaminamos nossos dados de fine-tuning em relação a eles.

Correção automática sempre que possível

Cada número publicado é verificado por programa: respostas exatas, testes unitários ou restrições verificáveis. Não pedimos a um modelo que corrija a si mesmo.

Configurações em cada número

Cada resultado indica o checkpoint, o modo, a decodificação e se ferramentas eram permitidas. Os benchmarks rodam sobre o checkpoint no nosso hardware de treinamento, não pelo produto, então a busca e o sandbox Python não são usados.

Conjunto de desenvolvimento à parte

Nosso conjunto de desenvolvimento orienta o treinamento, por isso é apresentado separado dos benchmarks públicos e nunca chamado de reservado. Regressões são publicadas como medidas, com o tamanho da amostra, em vez de explicadas de forma conveniente.

Os detalhes da arquitetura estão na página do Atom. Não publicamos a infraestrutura nem os custos de treinamento.

Faça sua própria avaliação.

O melhor benchmark é o seu trabalho de verdade. Experimente grátis.

Experimente a Incbury