Publié le 18 septembre 2026 à 17:00 · Publication originale
C’est probablement l’une des idées les plus importantes pour comprendre l’intelligence artificielle moderne. Lorsqu’un modèle possède des milliards de paramètres, aucun ingénieur ne décide que le paramètre 8.421.753 devra reconnaître un verbe ou que son voisin devra mémoriser Paris.
Au début de l’entraînement, ces paramètres sont initialisés selon des méthodes conçues pour rendre l’apprentissage possible. Puis le modèle reçoit du texte.
Prenons une séquence simple: "La Terre tourne autour du Soleil." On lui présente "La Terre tourne autour du..." et il attribue des probabilités aux suites possibles. S’il accorde 5% à "Soleil" et 30% à "centre", sa prédiction est mauvaise.
Cette erreur doit devenir mesurable.
Une fonction de perte attribue un nombre à l’écart entre la prédiction du modèle et la cible attendue. Plus la bonne réponse reçoit une probabilité faible, plus la perte est élevée.
Commence alors un calcul remarquable: la rétropropagation.
En remontant les opérations effectuées dans le réseau, l’algorithme calcule comment chacun des paramètres a contribué à l’erreur. Il obtient pour eux des gradients, c’est-à-dire des indications sur la direction dans laquelle une modification ferait varier la perte.
L’optimiseur utilise ces gradients pour ajuster les paramètres. Très peu à chaque fois. Puis une nouvelle séquence arrive, une nouvelle prédiction est produite, une nouvelle perte calculée et de nouveaux ajustements effectués.
Des milliards de paramètres se transforment ainsi au fil d’un nombre immense d’exemples.
L’image du professeur qui transmettrait des connaissances à la machine devient trompeuse. Durant le préentraînement, personne ne lui explique directement la grammaire française, la structure d’un programme informatique ou la relation entre Rome et l’Italie. L’objectif d’apprentissage exerce une pression répétée sur le réseau, et des structures utiles à la prédiction se forment progressivement dans ses paramètres.
La recherche de 2025 et 2026 montre combien cette mécanique reste active: choix de l’optimiseur, taille des lots et rythme d’apprentissage peuvent modifier la stabilité et l’efficacité d’un entraînement.
Le modèle apprend donc sans que nous réglions ses milliards de paramètres un par un.
Mais apprendre à partir d’immenses quantités de textes pose une autre question.
Que lui donnons-nous exactement à apprendre?