指示追従
IFEval：検証可能な書式と内容の制約を持つ541個のプロンプト。採点用モデルではなく、プログラムでチェックします。
指標：厳密正解率
モデル / 評価
誠実に測定し、ありのままに公開。
このページのすべての数値には、リリースまたはチェックポイント、データセット、サンプル数、設定を明記しています。開発セットの結果はその旨を表示しています。開発セットは学習の方針決定に使っているため、ホールドアウトテストではありません。
公開ベンチマーク
リリースごとの公開ベンチマーク。
現在提供中なのはAtom v1.2です。このリリースの公開ベンチマークはまだ実施していないため、リリース単位の最新の結果はAtom v1.1のものです。
| リリース | スイート | データセット | n | モード | デコーディング | ツール | スコア |
|---|---|---|---|---|---|---|---|
| Atom v1.1if-sft | 指示追従 | IFEval | 541 | Instant | greedy | なし | 41.8% prompt-level / 52.0% instruction-level (strict) |
| Atom v1.1if-sft | 数学的推論 | GSM8K test, 300-problem subset | 300 | Medium | greedy | なし | 27.0% |
| Atom v1.1if-sft | コード | HumanEval | 164 | Instant | greedy, 512-token limit | なし | 12.2% pass@1 |
| Atom v1.1base | 知識 | MMLU, 5-shot | 14,042 | ベースモデル | log-likelihood | なし | 27.2% |
| Atom v1.1base | 常識と言語 | HellaSwag / ARC-Easy / ARC-Challenge / PIQA / Winogrande | 16,695 | ベースモデル | log-likelihood | なし | 55.5 / 63.3 / 34.6 / 73.5 / 57.6 |
| Atom v1.0 | 指示追従 | IFEval | 541 | 記録なし | 記録なし | なし | 31.6% prompt-level / 41.5% instruction-level (strict) |
| Atom v1.0 | 数学的推論 | GSM8K test, full set | 1,319 | 記録なし | 記録なし | なし | 24.9% |
| Atom v1.0 | コード | HumanEval | 164 | 記録なし | 記録なし | なし | 13.4% pass@1 |
内部チェックポイント
v1.1とv1.2の間の学習で得られた、未リリースのチェックポイント2つの結果です（学習時の記録より）。両者の間でGSM8Kは32.3%から29.3%へ、300問中9問分下がりました。この変化が有意かどうかは確認できていません。
| リリース | スイート | データセット | n | モード | デコーディング | ツール | スコア |
|---|---|---|---|---|---|---|---|
| 内部チェックポイントprobe4 | 指示追従 | IFEval | 541 | Instant | greedy | なし | 42.0% prompt-level (strict) |
| 内部チェックポイントprobe4 | 数学的推論 | GSM8K test, 300-problem subset | 300 | Instant | greedy | なし | 29.3% |
| 内部チェックポイントprobe4 | コード | HumanEval | 164 | Instant | greedy, 384-token limit | なし | 15.9% pass@1 |
| 内部チェックポイントprobe3 | 指示追従 | IFEval | 541 | Instant | greedy | なし | 41.8% prompt-level (strict) |
| 内部チェックポイントprobe3 | 数学的推論 | GSM8K test, 300-problem subset | 300 | Instant | greedy | なし | 32.3% |
| 内部チェックポイントprobe3 | コード | HumanEval | 164 | Instant | greedy, 384-token limit | なし | 14.0% pass@1 |
開発セット
独自の開発セット。
14カテゴリにわたる120件のプロンプトを、本番のプロダクトに送信しています。そのうち36件は自動で正誤を判定でき、下の合格率はそれらだけを対象にしています。
| チェックポイント | リリース | 実行回数 | 合格した判定ターン | 合格率 |
|---|---|---|---|---|
| probe2 | 未リリース | 3 | 76 / 114 | 66.7% |
| probe3 | 未リリース | 3 | 85 / 114 | 74.6% |
| probe3-dpo | 未リリース | 3 | 84 / 114 | 73.7% |
| probe4 | 未リリース | 2 | 59 / 76 | 77.6% |
| probe5 | 未リリース | 2 | 58 / 76 | 76.3% |
| probe6 | 未リリース | 2 | 65 / 76 | 85.5% |
| probe6-dpo | 未リリース | 2 | 59 / 76 | 77.6% |
| probe6c | Atom v1.2 | 2 | 65 / 76 | 85.5% |
- これはホールドアウトテストではありません。プロンプトは私たちが作成し、失敗した結果を学習データの設計に使っています。そのため、ここでのスコアは未知のタスクでのAtomの実力を過大に見せます。
- 各実行で38ターンを判定し、合格数は実行回数分を合計しています。
- 項目数が少ないため、数ポイントの差は有意でない可能性があります。各比較の対応のある検定はリリースレポートに掲載しています。
エージェントハーネス
Incbury Codeのハーネスタスク。
5種類・40件のコーディングタスクを、Incbury Codeのエージェントループとそのツールを使って、モデルのチェックポイントに対して直接実行しました。テストしているのはハーネスとモデルの組み合わせで、インストールして使うIncbury Codeの製品そのものではありません。
| タスクの種類 | probe4 | probe5 |
|---|---|---|
| バグ修正 | 0 / 8 | 2 / 8 |
| 機能追加 | 0 / 8 | 6 / 8 |
| プロジェクト作成 | 0 / 8 | 6 / 8 |
| コードの説明 | 2 / 8 | 8 / 8 |
| ツールなしで回答 | 4 / 8 | 8 / 8 |
| 合計 | 6 / 40 (15.0%) | 30 / 40 (75.0%) |
どちらのチェックポイントも現在提供中のものではなく、タスクもホールドアウトではありません。probe5は同じタスク生成器から作ったデータで学習しています。現行リリースでの結果は、隔離された環境と固定の予算で実行できるようになりしだい公開します。
スイート
測定している項目。
数学的推論
GSM8K：複数のステップを要する小学校レベルの文章題。チャットモードで推論過程を表示して回答します。
指標：完全一致
コード
HumanEval：164個のPythonプログラミング課題。生成した関数を参照テストに対して実行します。
指標：pass@1
知識
MMLU：57の学術・専門分野にわたる多肢選択問題。
指標：正解率
常識と言語
HellaSwag、ARC-Easy、ARC-Challenge、PIQA、Winogrande。テストセット全体を対数尤度で採点します。
指標：正規化正解率
評価方法
評価の進め方。
まず公開ベンチマーク
広く使われている公開スイートから始めることで、誰でも同じ条件でAtomと他のモデルを比較できます。テストセットは学習データから除外し、ファインチューニング用データもテストセットとの重複を除去しています。
できる限り機械で採点
公開する数値はすべてプログラムで判定しています。完全一致の回答、ユニットテスト、検証可能な制約によるもので、モデル自身に採点させることはありません。
すべての数値に設定を明記
各結果にはチェックポイント、モード、デコーディング、ツールの使用可否を記載しています。ベンチマークはプロダクト経由ではなく学習用ハードウェア上でチェックポイントに対して直接実行するため、検索やPythonサンドボックスは使われません。
開発セットは別扱い
開発セットは学習の方針決定に使うため、公開ベンチマークとは分けて報告し、ホールドアウトとは呼びません。後退した結果も、言い訳せずサンプル数とともに測定どおり報告します。
アーキテクチャの詳細はAtomのページにあります。学習インフラやコストは公開していません。
ご自身で評価してみてください。
最良のベンチマークは、あなたの実際の仕事です。無料でお試しください。