研究 / 研究テーマ
未解決の問い。
何を、なぜ研究しているのか。ここにあるものはまだ結果ではありません。結果が出たときは、根拠とともに公開します。
未解決の問い
汎用データより的を絞ったデータ
開発セットでは、汎用のファインチューニング用データよりも、機械で検証した的を絞った学習例のほうがAtomの改善に役立ちました。それが未知のタスクにどこまで通用するかは、まだわかっていません。
問い： 的を絞ったデータによる改善は、ホールドアウトのタスクでも維持されるか？
未解決の問い
選好学習でのツール利用
選好最適化を2回試し、2回ともAtomの開発セットでのスコアが下がりました。仮説の一つは、サンプラーがAtomの書いたPythonを実行できず、ツールを使った正しい回答が不採用と判定されたことです。
問い： サンプリング時にツール呼び出しを実行すれば、選好学習は効果を発揮するか？
未解決の問い
適切な質問を返す
Atomはあいまいな依頼に対して確認するようになりましたが、その質問はあいまいすぎて役に立たないことが多くあります。
問い： 本当に必要な一つの質問を返すよう、小さなモデルをどう学習させるか？
未解決の問い
小さなモデルの知識
Atomの一般知識は弱く、v1.1のMMLUのスコアは27.2%でした。検索は役立ちますが、Atomが調べる必要に気づいた場合に限られます。
問い： 小さなモデルは、どんなときに記憶で答えず検索すべきか？
未解決の問い
モデルだけでなくエージェントを測る
これまでのコーディングエージェントの結果は、学習データと関連するタスクを使ったハーネスによるものです。
問い： 公平で、ホールドアウトで、予算を固定したIncbury Codeの評価とはどのようなものか？
近いテーマに取り組んでいますか？
小さなモデル、評価、ツール利用に取り組む方からのご連絡をお待ちしています。