Yann Le Cun : « D’ici cinq ans, plus personne n’utilisera un modèle tel que ChatGPT »

Directeur de la recherche fondamentale sur l’intelligence artificielle du groupe Meta, Yann Le Cun était de passage à Paris, mardi 18 avril, à l’occasion de la réédition de son livre Quand la machine apprend (Odile Jacob Poches, 2023). Le timing parfait pour recueillir son avis sur le succès de ChatGPT et les caractéristiques de la prochaine génération de modèles de langage, qu’il imagine se déployer d’ici cinq ans à peine.

En ce printemps 2023, dans le paysage de l’intelligence artificielle, il semble y avoir deux camps. D’un côté, ceux qui voient dans ChatGPT et les autres modèles générateurs de textes et d’images des outils puissants et potentiellement révolutionnaires. De l’autre, ceux (et non des moindres) qui appellent à interdire, ou du moins à mettre sur pause la recherche sur le sujet, le temps d’introduire un peu d’éthique dans cette affaire.

Et puis il y a Yann Le Cun. Le Français, qui dirige depuis dix ans la recherche fondamentale en intelligence artificielle de Facebook (puis du groupe Meta), n’est ni bluffé par les réponses de ChatGPT (« de la bonne ingénierie » confiait-il sur France Inter le 12 avril dernier), ni favorable à un moratoire sur la recherche en IA qui risquerait selon lui d’avoir l’effet inverse de celui escompté. 

Sa « troisième voie » n’en est pas moins techno-enthousiaste : « L’intelligence artificielle, en tant qu’amplificateur de l’intelligence humaine, pourrait être à l’origine d’une nouvelle Renaissance, voire d’un nouveau Siècle des Lumières », nous a-t-il confié mardi 18 avril, lors d’une rencontre avec la presse organisée à Paris à l’occasion de la réédition de son livre Quand la machine apprend (Odile Jacob Poches, 2023). Morceaux choisis de cet échange passionnant et vertigineux.

> Comment fonctionne ChatGPT ?

Yann Le Cun

« Les grands modèles de langage tels que ChatGPT sont « autorégressifs ». Cela signifie qu’on les entraîne, à partir d’un corpus de mots – jusqu’à 1 400 milliards de mots pour les systèmes aujourd’hui les plus performants – à prédire le dernier mot d’une séquence, celui qui doit venir ensuite dans une phrase donnée. 

Il ne s’agit pas d’une idée neuve. Les travaux menés dans les années 1950 par Claude Shannon reposaient déjà sur ce principe. Aujourd’hui, ce qui est nouveau, c’est le passage à échelle, la puissance de calcul très importante des modèles de langage les plus récents.

Pour l’instant, avec de tels modèles, on n’arrive pas à produire de textes longs et cohérents. Ces systèmes ne sont pas « pilotables » : on n’arrive pas à planifier leurs réponses. Par exemple, on ne peut pas demander à ChatGPT de produire un texte qui serait absolument compréhensible par un enfant de 13 ans. Par ailleurs, les textes produits par ChatGPT ne sont pas fiables en tant que sources d’information. Ils sont plutôt à envisager comme des systèmes d’aide à la conduite : de la même manière qu’il convient de garder les mains sur le volant dans une voiture autonome, il faut encore « garder les mains sur le clavier », si j’ose dire, quand on utilise des outils comme ChatGPT. »

« Ça n’est pas parce qu’on élabore des machines puissantes qu’elles seront dotées d’une volonté de puissance ! »

Yann Le Cun, directeur de la recherche fondamentale en IA du groupe Meta

> À peine adopté, ChatGPT serait-il déjà ringard ?

Yann Le Cun

« Les modèles de langage autorégressifs tels qu’on les connaît aujourd’hui auront une durée de vie très courte. D’ici cinq ans, plus personne n’en utilisera. La priorité de la recherche aujourd’hui, celle sur laquelle je concentre tous mes efforts, c’est de trouver le moyen de rendre ces modèles pilotables, c’est-à-dire suivant des objectifs et respectant des contraintes. Autrement dit, il s’agit de mettre au point des IA qui raisonnent et planifient en fonction d’objectifs donnés. Encore faut-il s’accorder sur les critères qui pourraient garantir la sécurité et la fiabilité de tels modèles, c’est ce qu’on appelle « l’alignement ». À terme, les machines dont je parle ici ressentiront des émotions. Parce qu’une grande partie des émotions humaines sont avant tout liées à la réalisation ou non d’objectifs, et donc à une forme d’anticipation. »

Avec de tels modèles pilotables, on sera capables de produire des textes longs et cohérents, mais aussi plus précis et plus fiables grâce à la planification de systèmes d’action. Par exemple, aujourd’hui, ChatGPT est très mauvais en arithmétique : si vous lui soumettez une soustraction avec des dizaines  des centaines, vous obtiendrez probablement un mauvais résultat… L’idée, c’est donc de concevoir des modèles augmentés capables d’hybrider des données provenant de différents outils, comme des calculatrices ou des moteurs de recherche.

Les modèles comme ChatGPT sont entraînés uniquement sur du texte. Ils n’ont donc qu’une vision réduite de la réalité physique du monde. Pour pouvoir se développer, il leur manque encore quelque chose d’essentiel, qui relève de la perception sensorielle du monde, de sa structure, et qu’on ne peut acquérir à mon avis par la simple lecture de textes. S’entraîner sur du texte, c’est « facile » : il suffit de prédire un score de probabilité pour chacun des mots du dictionnaire. Et ça, aujourd’hui, on ne sait pas le faire avec de la vidéo. Voilà un grand défi pour les prochaines années : comment faire en sorte que les machines apprennent par l’observation de vidéo, d’images en mouvement ? »

> Faut-il avoir peur de la prochaine génération d’IA ?

Yann Le Cun

« Le désir de domination – et donc celui de soumission – sont spécifiques aux espèces sociales comme les humains, les babouins ou les loups, par exemple. Mais ça n’est pas parce qu’on élabore des machines puissantes qu’elles seront dotées d’une volonté de puissance ! En tout cas, une machine ne sera jamais dominante « par accident », comme le laissent parfois entendre certains récits catastrophistes entretenus par des personnalités comme Elon Musk ou le philosophe suédois Nick Bostrom.

Notre espèce sait élaborer des lois pour que les comportements des entités individuelles ne nuisent pas à l’intérêt commun. Il s’agit, en quelque sorte, de faire la même chose à terme pour la prochaine génération d’IA. Quelque chose qui se rapprocherait des lois de la robotique d’Asimov mais dans une version à la fois plus subtile et plus élaborée. »

« Ce qui retarde aujourd’hui l’émergence de plateformes libres pour l’IA, c’est le statut légal des données et la question sensible du copyright »

Yann Le Cun, directeur de la recherche fondamentale en IA du groupe Meta

> Les IA du futur seront-elles des modèles fermés ou ouverts ?

Yann Le Cun

« OpenAI était à l’origine un projet de recherche ouverte, qui s’est désormais refermé comme une huître. L’entreprise ne dit plus rien sur ses travaux, et ce revirement de situation n’est pas bien vu dans le monde de la recherche. Le problème, c’est qu’entraîner un modèle de langage, ça coûte cher, plusieurs dizaines de millions d’euros… Donc les start-ups ne peuvent pas se le permettre, en tout cas pas si elles entendent proposer des services vraiment ambitieux. C’est d’ailleurs la raison principale du rapprochement entre Microsoft et OpenAI, qui a besoin de la puissance de calcul du groupe pour améliorer ses futurs modèles.

À terme, en termes de marché, je crois qu’on ira vers un écosystème de plateformes ouvertes. Ça n’est jamais bon quand trop peu d’entreprises contrôlent l’accès à de telles technologies. D’ailleurs, historiquement, Facebook, puis Meta, a toujours été favorable à la recherche fondamentale ouverte. La preuve : LlaMa, notre dernier modèle en date d’IA générative, est un projet open source.

Il faut se souvenir de ce qui s’est passé pour Internet au début des années 1990. À l’époque, Sun Microsystems et Microsoft se faisaient la guerre pour savoir qui allait opérer les serveurs, et finalement, c’est Linux qui a raflé la mise avec son protocole. Toutes les technologies d’Internet qui ont fini par s’imposer reposent sur de l’open source.

Ce qui retarde aujourd’hui l’émergence de telles plateformes libres pour l’IA, c’est le statut légal des données et la question sensible du copyright. D’ailleurs, si l’Union européenne veut favoriser la structuration d’une industrie de l’intelligence artificielle, elle doit d’abord faire émerger une telle plateforme open source. »