Labs
Labs entraîne ses propres modèles.
- Entraînés de zéro
- Aucune donnée client
- Machine dédiée
Travaux
Deux axes.
Le langage et la dynamique des systèmes ne se traitent pas de la même façon.
Langage
- Ce qu’il lit
- Du texte.
- Ce qu’il prédit
- La suite.
Des modèles compacts, organisés en experts par domaine, pensés pour tourner sur l’appareil.
Modèles de langage
Monde
- Ce qu’il lit
- L'état d'un système.
- Ce qu’il prédit
- L'état suivant.
Le modèle du monde de Furnace, qui accélère l’exploration des futurs d’une installation.
Modèles de monde
État
Ce qui existe à ce jour.
| Objet | Nature | État |
|---|---|---|
| Modèles de langage | Compacts, experts par domaine | En préparation |
| Modèle du monde | Dynamique des systèmes physiques | En cours, branché sur Furnace |
| Classification des jeux de données | Niveaux publics et outil d’audit | En préparation |
| Publications | Articles, poids, code | Rien de publié à ce jour |
Les données
Un jeu de données se classe, comme une alimentation.
La qualité des données pèse sur un entraînement plus que tout autre réglage. Nous préparons une classification publique : chaque niveau borne le taux d'erreur mesuré sur un échantillon audité à la main.
L'outil d'audit sera ouvert et l'échantillon publié. Un label tombe dès qu'un tiers trouve plus d'erreurs que sa borne.
- Bronze
- Argent
- Or
- Platine
- Titane
Questions ouvertes
Ce que nous ne savons pas faire.
Retrouver l'état caché d'un système dont on ignore les équations.
Personne n'y arrive aujourd'hui, nous compris : les travaux publiés butent au même endroit.
Faire qu'un modèle de monde énonce lui-même ce qu'il a trouvé.
Un modèle de langage ajouté par-dessus reformulerait sans rien comprendre au système.
Tenir une simulation stable en grande dimension.
Sur un long horizon, une trajectoire finit par diverger. Nous ne l'avons pas encore mesuré proprement.
Méthode
Comment nous mesurons.
L'étalon vient du dehors.
Chaque modèle doit battre une méthode classique : gradient boosting, heuristique ou algorithme exact. Sinon il n’a rien appris.
La précision se paie.
Nous mesurons la précision par paramètre et l’énergie par inférence, en plus du score.
Le seuil se fixe avant.
Un seuil fixé après coup transforme la mesure en négociation avec le chiffre obtenu.
Les échecs restent écrits.
Chacun est consigné avec sa mesure et sa date. Nous avons abandonné plusieurs pistes.
Brioche, notre outil d’entraînement
Chaque essai se relance à l’identique et reprend au pas près après une coupure.
La recherche finit dans un produit.
Furnace explore des milliers de futurs d’une installation. Notre modèle du monde lui permet d’en explorer davantage, plus vite.
Découvrir Furnace