Labs · Langage
Nous entraînons de zéro des modèles compacts.
La question
Pourquoi partir de zéro ?
Partir d'un modèle existant, c'est hériter de ce qu'il a appris et de ce qu'il a oublié. Nous entraînons de zéro, avec notre propre architecture et notre propre code, pour garder la maîtrise de ce que le modèle sait.
Avec une seule machine, l'avantage vient du nombre d'essais : un petit modèle s'entraîne en une demi-heure, et chaque idée se vérifie le jour même.
Notre façon de faire
Ce qui guide les choix.
Quatre principes, tenus du premier essai au dernier.
Un expert par domaine
Un tronc commun s'entraîne d'abord, puis une copie par domaine, et les copies se réunissent ensuite. Chaque expert se réentraîne sans toucher aux autres.
Des données classées
Chaque jeu de données reçoit un niveau public, mesuré sur un échantillon audité à la main.
Une méthode classique à battre
Chaque modèle se compare à un gradient boosting, une heuristique ou un algorithme exact. S'il ne fait pas mieux, il n'a rien appris.
Le coût se mesure
Nous mesurons la précision par paramètre et l'énergie par inférence, en plus du score.
Limites
Ce que nous ne prétendons pas.
Nous ne visons pas la tête des classements généralistes.
Les meilleurs petits modèles ouverts ont vu des milliers de milliards de mots. Rivaliser avec eux sur tout n'est pas notre objectif.
Aucune donnée client.
Aucune donnée de StrucTime ne sert à entraîner ni à évaluer nos modèles.
Aucun chiffre publié.
Tant qu'une évaluation reproductible n'est pas publiée, avec son code, ses données et son protocole, nous ne donnons ni score ni date.
L'autre axe.
Les modèles de monde travaillent sur des systèmes qui changent d'état plutôt que sur du texte.
Modèles de monde