Pular para o conteúdo

Modelos

Atom, nossa própria família de modelos.

O Atom é uma família de modelos de linguagem mixture-of-experts cujo pré-treinamento e pós-treinamento nós mesmos fazemos. Todos os produtos da Incbury usam esse modelo. Esta página explica como ele funciona, qual versão está em uso e o que ele ainda não faz bem.

16+1

Especialistas por camada: dois roteados por token, mais um compartilhado

64k

Vocabulário de tokens

16k

Tokens de janela de contexto

Arquitetura

Uma mixture of experts esparsa.

Cada camada tem 16 redes especialistas e um especialista compartilhado. Um roteador envia cada token aos dois especialistas mais adequados, então só uma parte da rede é executada para cada token. A maioria das camadas usa uma janela de atenção local deslizante; uma em cada quatro usa atenção global.

Dentro de uma camada do Atom

ilustração · 2 de 16 especialistas por token

HeatRoteadortop-2 de 16E1E2E3E40.61E5E6E7E8E9E10E110.39E12E13E14E15E16Especialista compartilhado · sempre ativoΣ

01

Mixture of experts

Só os especialistas de que um token precisa são executados, o que mantém as respostas rápidas em hardware modesto.

02

Três níveis de raciocínio

Instant, Medium e High equilibram velocidade e profundidade em cada mensagem.

03

Uso de ferramentas

O Atom é treinado para usar busca na web, um sandbox Python e funções definidas por desenvolvedores, e para citar o que encontra.

Modos de raciocínio

Escolha quanto raciocínio cada mensagem merece.

Cada mensagem no Incbury Chat pode ser enviada em um de três níveis de raciocínio. O Atom mostra o raciocínio enquanto trabalha e depois entrega a resposta.

Mais rápido

Instant

As respostas começam na hora. Ideal para rascunhos, reescritas, fatos rápidos e conversas de ida e volta.

Equilibrado

Medium

O Atom para e raciocina antes de responder. Melhor para análises, planejamento e perguntas com várias etapas.

Mais minucioso

High

Raciocínio estendido para problemas difíceis: matemática, código, síntese de pesquisas, com o raciocínio exibido em tempo real.

Mais sobre os modos de raciocínio

Versões

Histórico de versões.

O Atom v1.2 atende hoje todos os produtos da Incbury. Cada versão leva ao seu relatório, quando existe.

Versões do Atom
VersãoCheckpointLançadaStatus
Atom v1.2probe6c1 de outubro de 2026Em usoRelatório
Atom v1.1if-sft16 de setembro de 2026Aposentada
Atom v1.0Não registrado10 de setembro de 2026Aposentada

Benchmarks públicos do Atom v1.1

O Atom v1.2 ainda não passou por uma rodada pública de benchmarks, então os resultados mais recentes são do Atom v1.1. Os resultados do Atom v1.2 no conjunto de desenvolvimento estão no relatório da versão.

Resultados de benchmarks com as configurações usadas
VersãoSuíteConjunto de dadosnModoDecodificaçãoFerramentasPontuação
Atom v1.1if-sftSeguimento de instruçõesIFEval541InstantgreedyNão41.8% prompt-level / 52.0% instruction-level (strict)
Atom v1.1if-sftRaciocínio matemáticoGSM8K test, 300-problem subset300MediumgreedyNão27.0%
Atom v1.1if-sftCódigoHumanEval164Instantgreedy, 512-token limitNão12.2% pass@1
Atom v1.1baseConhecimentoMMLU, 5-shot14.042Modelo baselog-likelihoodNão27.2%
Atom v1.1baseSenso comum e linguagemHellaSwag / ARC-Easy / ARC-Challenge / PIQA / Winogrande16.695Modelo baselog-likelihoodNão55.5 / 63.3 / 34.6 / 73.5 / 57.6

Limitações

O que o Atom ainda não faz bem.

O Atom é um modelo pequeno. Preferimos que você conheça os limites dele antes de depender dele.

  • O conhecimento geral é limitado. O Atom v1.1 marcou 27,2% no MMLU, perto do acaso em questões de quatro alternativas. Ative a busca para fatos importantes.
  • Contas de várias etapas não são confiáveis sem ferramentas. O Atom v1.1 resolveu 27,0% de uma amostra de 300 problemas do GSM8K no modo Medium, sem o sandbox Python.
  • Instruções rígidas de formatação muitas vezes não são seguidas. O Atom v1.1 seguiu por completo 41,8% dos prompts do IFEval.
  • As perguntas de esclarecimento podem ser vagas, e às vezes ele busca na web sem necessidade.
  • Funciona melhor em inglês.
  • Pode errar com toda a confiança. Confira tudo o que for importante, principalmente quando não houver fonte citada.

Como construímos o Atom

Princípios que seguimos.

Nosso de ponta a ponta

A arquitetura, o pipeline de treinamento, os checkpoints e a operação são construídos e operados pela Incbury.

Eficiente por design

Uma rede mixture-of-experts direciona cada token para um pequeno subconjunto de especialistas, e assim o Atom continua rápido em hardware modesto.

Honesto sobre as fontes

Quando o Atom busca, ele cita. Quando calcula, mostra o código e o resultado. Quando não tem certeza, é treinado para dizer isso.

Medido a cada versão

Cada versão é medida em benchmarks públicos e no nosso conjunto de desenvolvimento, e publicamos os dois, inclusive as regressões.

Veja como o Atom pensa.

Grátis todos os dias, no Incbury Chat.