Publié le 18 septembre 2026 à 13:00 · Publication originale
Elle doit repérer une pièce défectueuse en quelques millisecondes.
Chaque image pourrait partir vers un centre de données, y être analysée puis revenir sous forme de décision.
Mais la connexion peut tomber. Les images peuvent être sensibles. Et quelques millisecondes deviennent parfois trop longues pour arrêter une machine.
Une autre architecture déplace le calcul jusqu'à l'endroit où naît la donnée.
C'est l'Edge AI, ou intelligence artificielle en périphérie.
Le modèle fonctionne dans une caméra, une voiture, un téléphone, une machine ou un serveur local. Les données n'ont plus forcément besoin de traverser Internet. La latence diminue et certaines fonctions continuent sans réseau.
Cette proximité impose une contrainte physique.
Un centre de données dispose d'accélérateurs puissants, de mémoire et d'énergie. Un appareil embarqué travaille parfois avec quelques watts.
Il faut faire entrer le modèle dans cette enveloppe.
La quantification réduit la précision numérique de ses paramètres: des poids sur 16 bits peuvent passer à 8 ou 4 bits. L'élagage supprime des composantes peu utiles. La distillation entraîne un modèle compact à reproduire le comportement d'un plus grand.
Mais la taille du fichier ne révèle pas la mémoire nécessaire à son fonctionnement.
Pendant l'inférence, la machine charge les poids et conserve des résultats intermédiaires, les activations. Dans un transformeur, elle maintient aussi un cache KV contenant les clés et valeurs déjà calculées pour les tokens du contexte.
Plus la conversation s'allonge, plus ce cache grossit.
Un modèle peut donc tenir en mémoire au démarrage puis atteindre sa limite pendant son utilisation.
L'Edge AI révèle une dimension rarement visible de l'intelligence artificielle: sa performance dépend aussi de la bande passante et de l'énergie nécessaire pour déplacer les données.
ULTRA®
Sur une puce périphérique, ajouter de la puissance de calcul peut ne presque rien changer.
Le "roofline model" permet de comprendre pourquoi. Il relie débit de calcul, bande passante mémoire et intensité arithmétique. Lorsqu'une opération attend ses données depuis la mémoire, davantage de TOPS ne suppriment pas le goulot d'étranglement.
La quantification INT8 ou INT4 agit donc deux fois: elle réduit l'espace occupé par les poids et les octets à transporter.
ExecuTorch, projet open source de l'écosystème PyTorch, permet d'observer cette mécanique: export du graphe, quantification, délégation d'opérations à un NPU ou GPU, repli d'autres sur le CPU, puis exécution locale.
Conseil: avant de compresser un modèle, profiler séparément calcul et trafic mémoire.
Pour un transformeur, mesurer poids, activations, espaces de travail et cache KV. La taille affichée du modèle ne représente que l'une de ces consommations.
Un modèle de 4 Go n'est donc pas nécessairement un modèle capable de fonctionner dans 4 Go.