Aller au contenu
Se connecter

Recherche / Axes

Questions ouvertes.

Ce que nous étudions, et pourquoi. Rien de tout cela n’est encore un résultat. Quand ce sera le cas, nous le publierons avec ses éléments de preuve.

  1. Question ouverte

    Des données ciblées plutôt que des mélanges génériques

    Sur notre jeu de développement, des exemples d’entraînement ciblés et vérifiés automatiquement ont davantage aidé Atom que des mélanges génériques de fine-tuning. Nous ne savons pas encore dans quelle mesure cela se transpose à des tâches inédites.

    Question : Les gains obtenus avec des données ciblées tiennent-ils sur des tâches réservées ?

  2. Question ouverte

    Les outils dans l’entraînement par préférences

    L’optimisation des préférences a fait baisser le score d’Atom sur le jeu de développement les deux fois où nous l’avons essayée. Une hypothèse : notre échantillonneur ne peut pas exécuter le Python écrit par Atom, si bien que des réponses correctes utilisant des outils ont été marquées comme rejetées.

    Question : L’entraînement par préférences aide-t-il lorsque les appels d’outils sont exécutés pendant l’échantillonnage ?

  3. Question ouverte

    Poser la bonne question

    Atom demande désormais des précisions quand une demande est ambiguë, mais ses questions sont souvent trop vagues pour être utiles.

    Question : Comment entraîner un petit modèle à poser la seule question qui compte ?

  4. Question ouverte

    Les connaissances d’un petit modèle

    Les connaissances générales d’Atom sont faibles : v1.1 a obtenu 27,2 % sur MMLU. La recherche aide, mais seulement quand Atom reconnaît qu’il doit vérifier quelque chose.

    Question : Quand un petit modèle doit-il chercher plutôt que répondre de mémoire ?

  5. Question ouverte

    Mesurer l’agent, pas seulement le modèle

    Nos résultats pour l’agent de programmation proviennent jusqu’ici d’un harnais exécuté sur des tâches liées à nos données d’entraînement.

    Question : À quoi ressemble une évaluation juste, réservée et budgétée d’Incbury Code ?

Vous travaillez sur des questions proches ?

Nous aimerions échanger avec les personnes qui travaillent sur les petits modèles, l’évaluation ou l’utilisation d’outils.

Nous contacter