Publié le 26 octobre 2026 · Publication originale
Une entreprise utilise une IA pour rédiger des réponses clients. Les meilleures entrent dans sa base. Plus tard, cette base sert à entraîner la génération suivante.
Le système commence à apprendre de ses propres descendants.
C'est le model collapse.
En 2024, Nature montre qu'un entraînement récursif sur des données générées déforme progressivement la distribution apprise. Les cas rares disparaissent d'abord; la variance peut ensuite se contracter.
Le modèle peut devenir plus homogène avant de devenir moins performant.
En juillet 2026, Soheil Zibakhsh Shabgahi et ses collègues étudient un scénario où données humaines et synthétiques s'accumulent ensemble.
Ils observent que les modèles autorégressifs attribuent souvent une confiance très élevée à leurs propres productions.
Leur Confidence-Aware Loss réduit le poids des tokens excessivement prévisibles. Avec Truncated Cross-Entropy, ceux dépassant un seuil sont retirés du gradient.
Dans leurs expériences, le système tolère plus de 2,3 fois davantage de données synthétiques avant le seuil de dégradation retenu.
ULTRA®
Le danger commence par une contraction de la distribution.
Dans leur modèle mathématique, le rééchantillonnage récursif réduit la variance. Les événements rares peuvent disparaître avant la chute de la performance moyenne.
Pour une entreprise, ces cas rares peuvent être ceux qui comptent: fraude, incident industriel, pathologie atypique.
La règle: une donnée observée, humaine, simulée ou générée doit conserver sa provenance.
Il faut mesurer la part synthétique des jeux réutilisés pour entraîner ou évaluer.
ForTIFAI ne montre pas que toute donnée synthétique provoque un collapse. Il montre qu'un réentraînement récursif mal contrôlé peut dégrader la distribution et qu'une fonction adaptée peut le retarder.
Un corpus peut grossir pendant que sa diversité diminue.
Sources
Shabgahi et al., npj Artificial Intelligence, 4 juillet 2026
Shumailov et al., Nature, 2024
#VOCEAssociation #ModelCollapse #SyntheticData #AIGovernance