Une photo de chien sur un canapé et la phrase « un chien se repose dans un salon » décrivent la même scène. Un modèle entraîné sur des images et un autre entraîné sur du texte peuvent-ils finir par organiser cette scène de façon comparable, sans apprentissage conjoint image–texte ? Dans une prépublication déposée le 29 octobre 2026, Randall Balestriero et Yann LeCun répondent oui pour une famille précise de modèles et sous des hypothèses explicites. Les chiffres de leur expérience sont frappants ; leur portée mérite d’être délimitée.
⚡ TL;DR — L’ESSENTIEL EN 30 SECONDES
- ✅ Une preuve établit la convergence de représentations de JEPA entraînés séparément dans un cadre mathématique idéalisé.
- ✅ Des paires de descriptions d’une même scène améliorent l’alignement du texte avec la vision.
- ✅ Dans une comparaison contrôlée, la méthode atteint le même score avec 42 fois moins d’exemples d’entraînement.
- ⚠️ Le modèle de 109 millions de paramètres devance des LLM jusqu’à 72 milliards sur l’alignement évalué, pas sur toutes leurs capacités.
L’hypothèse platonicienne, sans la métaphore
L’hypothèse de la représentation platonicienne propose que des réseaux entraînés sur des modalités différentes tendent, en grandissant, à représenter une structure commune du monde. Une image et une description n’ont ni le même format ni les mêmes détails, mais elles renvoient parfois au même événement. La question n’est donc pas de produire les mêmes pixels ou les mêmes mots : elle porte sur la proximité de leurs représentations internes, souvent appelées embeddings.
La nouveauté du travail de Balestriero et LeCun est de chercher les conditions qui favorisent cette proximité. Une JEPA, pour Joint-Embedding Predictive Architecture, apprend à rapprocher les représentations de deux vues liées tout en évitant que tous les exemples se retrouvent au même endroit. Le choix de ces deux vues, appelées paires positives, devient décisif.
Ce que le théorème démontre, et ce qu’il suppose
Dans le modèle théorique étudié, chaque modalité observe les états d’un même monde. Si les deux entraînements utilisent des relations positives qui correspondent aux mêmes relations entre états, leurs solutions optimales coïncident à une rotation près. Autrement dit, les coordonnées des espaces peuvent différer, mais leur organisation est la même après une transformation géométrique adaptée. Les deux encodeurs peuvent être entraînés séparément, sans recevoir de paires image–texte pendant cet entraînement.
Cette preuve ne vaut pas sans conditions pour n’importe quel réseau déployé aujourd’hui. Elle repose notamment sur un monde fini idéalisé, des observations suffisamment informatives, des optimums de l’objectif d’entraînement et, pour un résultat de spectre, un écart entre valeurs propres garantissant l’unicité à rotation près. Les auteurs précisent aussi que leur analyse ne couvre pas les JEPA de modèles du monde qui emploient un prédicteur appris, éventuellement conditionné par une action. Dire que « toute IA apprend spontanément la même vision du monde » irait bien au-delà du théorème.
Pourquoi deux descriptions de la même scène changent la donne
Imaginez deux légendes indépendantes d’une photo : « un chien dort sur le canapé » et « un animal se repose dans le salon ». Leur vocabulaire diffère, mais la scène est commune. En rapprochant ces vues, le modèle est poussé à retenir ce qui résiste au changement de formulation. À l’inverse, deux morceaux d’une même phrase conservent aussi des particularités de style et de formulation qui n’ont pas d’équivalent dans une image.
Le papier appelle les premières de « bonnes vues » pour l’alignement entre modalités et les secondes de « mauvaises vues ». Ce vocabulaire désigne un objectif précis : une vue moins favorable à l’alignement visuel peut rester utile pour d’autres tâches de langage. Les auteurs analysent dans ce cadre la prédiction du prochain token comme une forme de JEPA utilisant des vues moins adaptées à cet alignement.
42 fois moins d’exemples : le périmètre exact du résultat
Les chercheurs comparent, sur un même corpus et avec un encodeur textuel de même taille, l’apprentissage à partir de bonnes vues et la prédiction du prochain token. Selon leurs résultats et leur code, la première méthode atteint un niveau d’alignement avec DINOv2 après 21,6 millions d’exemples, contre 900 millions pour la seconde, soit environ 42 fois moins d’exemples. Il s’agit d’un seuil sur une mesure d’alignement, pas d’une division par 42 du temps GPU, de la facture d’entraînement ou de l’énergie.
L’étude va d’expériences sur 145 000 légendes à un entraînement textuel sur les textes associés à 940 millions d’images du Web. Le grand modèle textuel a ainsi vu 116 milliards de tokens, indiquent les auteurs. La collecte de plusieurs descriptions d’une scène et la préparation des données ont elles aussi un coût. Une efficacité en échantillons sur ce protocole ne se transforme donc pas automatiquement en avantage économique identique pour un service d’IA.
109 millions contre 72 milliards : une victoire sur quelle tâche ?
Sur le benchmark d’alignement WIT-1024 utilisé dans l’article, le JEPA textuel de 109 millions de paramètres obtient 0,184 face à l’encodeur d’images DINOv2-B. Les auteurs rapportent 0,154 pour Qwen2.5-72B et 0,151 pour Llama-3-70B dans leur comparaison. Face à CLIP ViT-H, le JEPA atteint 0,230 contre 0,210 pour Qwen2.5-72B. Ils présentent également un second jeu d’évaluation, COCO-5k, favorable à leur méthode.
Ces nombres comparent la proximité de représentations image–texte selon leur protocole. Ils ne montrent pas qu’un modèle de 109 millions de paramètres rédige, raisonne, programme ou dialogue mieux qu’un LLM de 72 milliards. La taille de deux modèles ne suffit pas non plus à comparer leur coût total : objectifs, données, longueur de contexte et étapes d’entraînement diffèrent.
Peut-on se passer complètement de paires image–texte ?
Il faut distinguer l’entraînement des encodeurs et leur raccordement. Les encodeurs d’images et de texte sont appris séparément. Dans la démonstration de légendage d’images, les réseaux restent gelés, mais une transformation entre leurs espaces est ajustée sur des paires image–texte. Les auteurs évaluent aussi une méthode qui retrouve cet alignement à partir de la géométrie de données non appariées, sur un benchmark spécifique. Les deux résultats sont intéressants ; ils ne décrivent pas exactement le même scénario.
Cette distinction compte pour les applications. Une représentation commune peut aider à rechercher une image par une phrase, classer des scènes ou combiner des sources de données. Pour un outil concret, il reste à vérifier les performances, la robustesse, la qualité des données et le coût de mise en œuvre sur la tâche visée. On peut rapprocher cette question de l’efficacité de l’infrastructure évoquée dans notre article sur DeepInfer et l’économie de l’IA : optimiser l’apprentissage et optimiser le service en production sont deux leviers différents.
Questions fréquentes
La représentation platonicienne est-elle désormais prouvée pour toutes les IA ?
Non. Les auteurs démontrent un théorème pour une famille de JEPA et sous des hypothèses mathématiques explicites. Le résultat ne s’applique pas automatiquement à tous les modèles actuels.
Que signifie le chiffre de 42 fois ?
Dans une comparaison contrôlée, les bonnes vues atteignent un même score d’alignement avec 21,6 millions d’exemples, contre 900 millions pour la prédiction du prochain token. Ce n’est pas une mesure directe du coût en GPU.
Un JEPA de 109 millions de paramètres est-il meilleur qu’un LLM de 72 milliards ?
Il obtient un meilleur score sur les tests d’alignement image–texte rapportés par les auteurs. Cela ne démontre pas une supériorité en conversation, en raisonnement ou en génération de texte.
L’étude n’utilise-t-elle vraiment aucune paire image–texte ?
Les encodeurs sont entraînés séparément sans paires image–texte. La démonstration de légendage ajuste ensuite une transformation sur des paires ; une autre évaluation explore un alignement sans paire.