Publié le 21 septembre 2026 à 17:01 · Publication originale
Des livres, des pages web, du code, des articles scientifiques, des forums, des documents techniques. À cette échelle, le mot "données" finit presque par faire oublier ce qu’il désigne: des fragments de ce que des humains ont écrit, publié, corrigé, répété ou abandonné sur Internet.
On pourrait imaginer qu’il suffit d’en accumuler le plus possible.
En réalité, construire un corpus d’entraînement est déjà une série de choix.
Le Web contient des copies, du spam, des pages générées automatiquement, des textes incomplets, des langues inégalement représentées et les mêmes documents reproduits à des milliers d’endroits. Avant l’entraînement, des pipelines tentent donc d’identifier les langues, retirer certains contenus, éliminer des doublons, évaluer la qualité et répartir les sources.
Puis vient une décision moins visible: le mélange.
Combien de code? Combien de littérature, de mathématiques, de conversations, de publications scientifiques ou de pages web ordinaires? Deux corpus contenant le même nombre de tokens peuvent produire des modèles différents simplement parce que leurs ingrédients n’ont pas les mêmes proportions.
En 2025, une équipe de Columbia a entraîné 472 modèles en faisant varier notamment les proportions de Wikipedia, GitHub, arXiv, StackExchange et de livres. Son objectif était précisément d’apprendre à choisir de meilleurs mélanges avant d’engager le coût d’un entraînement à grande échelle.
La donnée n’est donc pas une matière première neutre que l’on verserait dans une machine.
Filtrer améliore certains signaux mais peut en supprimer d’autres. Dédupliquer évite qu’un contenu répété pèse artificiellement davantage. Favoriser les sources jugées de qualité peut augmenter leur influence tout en réduisant la diversité. La recherche récente tente justement de mesurer ces compromis.
Une partie de ce que le modèle pourra apprendre se joue ainsi avant même le premier gradient.
Cela change légèrement notre regard sur ses réponses. Derrière les milliards de paramètres se trouve aussi une sélection du monde écrit qui leur a été présenté.
Et une difficulté apparaît aussitôt: avoir rencontré une information pendant l’entraînement ne signifie pas nécessairement pouvoir la restituer.
Où va donc ce que le modèle apprend?