On a longtemps couru après la définition d'image ou la finesse du grain, mais la vraie frontière aujourd'hui, c'est la latence — le délai entre votre action et la réponse de la machine. Ce que je vois passer en clientèle, c'est une frustration croissante : attendre trente secondes pour un clip, c'est déjà trop long pour un processus créatif fluide. La bascule vers le temps réel n'est pas qu'une amélioration technique, c'est un changement de paradigme matériel.
Distinguer la réponse immédiate du travail de fond
Comme le souligne l'analyste Ben Thompson, nous entrons dans l'ère du basculement de l'inférence — la phase où l'IA produit un résultat à partir d'une consigne. Il faut distinguer deux marchés. D'un côté, l'inférence de réponse, où l'humain est dans la boucle et attend une réaction instantanée. C'est ici que se jouent les outils comme Krea pour la vidéo. De l'autre, l'inférence agentique — l'IA qui réalise des tâches complexes en autonomie — où la vitesse importe moins que la mémoire et la capacité de réflexion.
Pour la vidéo en direct, le succès dépend de la vitesse de génération des tokens — les unités de base que l'IA traite — et de la capacité du matériel à éviter les goulots d'étranglement. Sur le papier ça marche, en vrai, cela impose d'utiliser des puces capables de déplacer les données à une vitesse vertigineuse.
La guerre de la bande passante mémoire
Le piège c'est de croire que la puissance brute du processeur suffit. Pour générer des images à la volée, le facteur limitant est la bande passante mémoire — la vitesse à laquelle les informations circulent entre le stockage et le calcul. Les architectures classiques de Nvidia, bien que dominantes, doivent gérer des flux massifs qui créent de la latence. À l'opposé, des acteurs comme Cerebras développent des puces où la mémoire SRAM — une mémoire ultra-rapide intégrée directement sur le circuit — permet des accès des milliers de fois plus rapides que sur un matériel standard.
Là où ça coince concrètement, c'est sur le coût de ces infrastructures. Mais pour nous, créateurs, la résolution est claire : nous allons passer d'un mode de production par "commande" (on tape un texte, on attend) à un mode de production par "geste" (l'image évolue en même temps que notre curseur ou notre voix).
Source : The Inference Shift - Stratechery