研究
Atomをどうつくり、どう測っているか。
モデルレポート、実験、エンジニアリングノートを種類別に掲載しています。いずれもサンプル数と限界を明記しています。
研究
研究
実験とモデルレポート。Atomがどう学ぶかという問いを、賛否両方の根拠とともに扱います。
- 研究
Does on-policy preference optimisation help after targeted fine-tuning?
Twice we added a round of preference optimisation after targeted fine-tuning. Once it made no measurable difference, and once it scored lower. Here is the evidence and an untested hypothesis for why.
読む - 研究
Atom: model overview and evaluation report
What Atom is, how we evaluate it, the benchmark results we have for each release, and where it falls short.
読む
エンジニアリング
エンジニアリング
リリースレポートと、提供しているシステムの評価。
- エンジニアリング
Coding tasks in our agent training harness: probe4 against probe5
On 40 generated coding tasks, the pass rate rose from 15% to 75% after agent training. What this measures, and the important things it does not.
読む - エンジニアリング
Atom v1.2 release report
How Atom v1.2 was made, what we measured on our development set, what got worse, and what we have not measured yet.
読む
プロダクト
プロダクト
Incburyのプロダクトのリリースと変更点。
- プロダクト
Incbury Code now has a desktop app
Incbury Code, our coding agent, now comes as a desktop app for Windows and Linux alongside the terminal and the VS Code and Cursor sidebar.
読む - プロダクト
Introducing Incbury and Atom
Incbury Chat is open to everyone, powered by Atom, the mixture-of-experts model we designed, trained and serve ourselves.
読む
研究テーマ
未解決の問い。
次に取り組むこと。結果ではなく、問いです。
未解決の問い
汎用データより的を絞ったデータ
開発セットでは、汎用のファインチューニング用データよりも、機械で検証した的を絞った学習例のほうがAtomの改善に役立ちました。それが未知のタスクにどこまで通用するかは、まだわかっていません。
未解決の問い
選好学習でのツール利用
選好最適化を2回試し、2回ともAtomの開発セットでのスコアが下がりました。仮説の一つは、サンプラーがAtomの書いたPythonを実行できず、ツールを使った正しい回答が不採用と判定されたことです。
未解決の問い
適切な質問を返す
Atomはあいまいな依頼に対して確認するようになりましたが、その質問はあいまいすぎて役に立たないことが多くあります。
未解決の問い
小さなモデルの知識
Atomの一般知識は弱く、v1.1のMMLUのスコアは27.2%でした。検索は役立ちますが、Atomが調べる必要に気づいた場合に限られます。
未解決の問い
モデルだけでなくエージェントを測る
これまでのコーディングエージェントの結果は、学習データと関連するタスクを使ったハーネスによるものです。