de Yann Le Cun
Présentation par l’éditeur
Nous vivons une révolution inouïe, inimaginable il y a encore cinquante ans, celle de la machine qui apprend, et qui apprend par elle-même. Au lieu d’exécuter les ordres d’un programme, la machine peut désormais acquérir par elle-même, par l’expérience, les capacités nécessaires pour accomplir les tâches qui lui sont assignées, y compris celles que l’on croyait réservées à l’humain. Les applications sont immenses : reconnaissance des formes, des voix, des images et des visages, voiture autonome, traduction de centaines de langues, détection des tumeurs dans les images médicales… Yann Le Cun est à l’origine de cette révolution. Il est en effet l’un des inventeurs de l’apprentissage profond, le deep learning, qui caractérise un réseau de neurones artificiels dont l’architecture et le fonctionnement s’inspirent du cerveau. C’est à la naissance de cette nouvelle forme d’intelligence, à l’émergence d’un système quasiment auto-organisateur, que nous convie Yann Le Cun. Un livre qui évoque la démarche intellectuelle d’un inventeur au carrefour de l’informatique et des neurosciences. Un livre qui éclaire l’avenir de l’intelligence artificielle, ses enjeux, ses promesses et ses risques. Un livre passionnant, clair et accessible, qui nous fait pénétrer au cœur de la machine et nous fait découvrir un nouveau monde fascinant, qui est déjà le nôtre. Yann Le Cun, lauréat du prix Turing, est professeur à New York University et dirige la recherche fondamentale chez Facebook.
——————————————————
A suivre, entretien avec Yann Le Cun
(source Usbek & Rica)
Question 1: Comment fonctionne ChatGPT ?
Réponse de Yann Le Gun
« Les grands modèles de langage tels que ChatGPT sont « autorégressifs ». Cela signifie qu’on les entraîne, à partir d’un corpus de mots – jusqu’à 1 400 milliards de mots pour les systèmes aujourd’hui les plus performants – à prédire le dernier mot d’une séquence, celui qui doit venir ensuite dans une phrase donnée.
Il ne s’agit pas d’une idée neuve. Les travaux menés dans les années 1950 par Claude Shannon reposaient déjà sur ce principe. Aujourd’hui, ce qui est nouveau, c’est le passage à échelle, la puissance de calcul très importante des modèles de langage les plus récents.
Question 2 . En ce printemps 2023, dans le paysage de l’intelligence artificielle, il semble y avoir deux camps. D’un côté, ceux qui voient dans ChatGPT et les autres modèles générateurs de textes et d’images des outils puissants et potentiellement révolutionnaires. De l’autre, ceux (et non des moindres) qui appellent à interdire, ou du moins à mettre sur pause la recherche sur le sujet, le temps d’introduire un peu d’éthique.
Réponse de Yann Le Gun
Pour l’instant, avec de tels modèles, on n’arrive pas à produire de textes longs et cohérents. Ces systèmes ne sont pas « pilotables » : on n’arrive pas à planifier leurs réponses. Par exemple, on ne peut pas demander à ChatGPT de produire un texte qui serait absolument compréhensible par un enfant de 13 ans. Par ailleurs, les textes produits par ChatGPT ne sont pas fiables en tant que sources d’information. Ils sont plutôt à envisager comme des systèmes d’aide à la conduite : de la même manière qu’il convient de garder les mains sur le volant dans une voiture autonome, il faut encore « garder les mains sur le clavier », si j’ose dire, quand on utilise des outils comme ChatGPT. »Partager sur Facebook Partager sur Twitter >
Question 3 À peine adopté, ChatGPT serait-il déjà dépassé ?
Réponse de Yann Le Cun
« Les modèles de langage autorégressifs tels qu’on les connaît aujourd’hui auront une durée de vie très courte. D’ici cinq ans, plus personne n’en utilisera. La priorité de la recherche aujourd’hui, celle sur laquelle je concentre tous mes efforts, c’est de trouver le moyen de rendre ces modèles pilotables, c’est-à-dire suivant des objectifs et respectant des contraintes. Autrement dit, il s’agit de mettre au point des IA qui raisonnent et planifient en fonction d’objectifs donnés.
Encore faut-il s’accorder sur les critères qui pourraient garantir la sécurité et la fiabilité de tels modèles, c’est ce qu’on appelle « l’alignement ». À terme, les machines dont je parle ici ressentiront des émotions. Parce qu’une grande partie des émotions humaines sont avant tout liées à la réalisation ou non d’objectifs, et donc à une forme d’anticipation. »
Avec de tels modèles pilotables, on sera capables de produire des textes longs et cohérents, mais aussi plus précis et plus fiables grâce à la planification de systèmes d’action. Par exemple, aujourd’hui, ChatGPT est très mauvais en arithmétique : si vous lui soumettez une soustraction avec des dizaines des centaines, vous obtiendrez probablement un mauvais résultat… L’idée, c’est donc de concevoir des modèles augmentés capables d’hybrider des données provenant de différents outils, comme des calculatrices ou des moteurs de recherche.
Les modèles comme ChatGPT sont entraînés uniquement sur du texte. Ils n’ont donc qu’une vision réduite de la réalité physique du monde. Pour pouvoir se développer, il leur manque encore quelque chose d’essentiel, qui relève de la perception sensorielle du monde, de sa structure, et qu’on ne peut acquérir à mon avis par la simple lecture de textes. S’entraîner sur du texte, c’est « facile » : il suffit de prédire un score de probabilité pour chacun des mots du dictionnaire. Et ça, aujourd’hui, on ne sait pas le faire avec de la vidéo. Voilà un grand défi pour les prochaines années : comment faire en sorte que les machines apprennent par l’observation de vidéo, d’images en mouvement ? »
« Le désir de domination – et donc celui de soumission – sont spécifiques aux espèces sociales comme les humains, les babouins ou les loups, par exemple. Mais ça n’est pas parce qu’on élabore des machines puissantes qu’elles seront dotées d’une volonté de puissance ! En tout cas, une machine ne sera jamais dominante « par accident », comme le laissent parfois entendre certains récits catastrophistes entretenus par des personnalités comme Elon Musk ou le philosophe suédois Nick Bostrom.
Notre espèce sait élaborer des lois pour que les comportements des entités individuelles ne nuisent pas à l’intérêt commun. Il s’agit, en quelque sorte, de faire la même chose à terme pour la prochaine génération d’IA. Quelque chose qui se rapprocherait des lois de la robotique d’Asimov mais dans une version à la fois plus subtile et plus élaborée. »
Question 4 « OpenAI était à l’origine un projet de recherche ouverte, qui s’est désormais refermé . L’entreprise ne dit plus rien sur ses travaux, et ce revirement de situation n’est pas bien vu dans le monde de la recherche. Que suggérez vous?
Réponse de Yann Le Cun
Le problème, c’est qu’entraîner un modèle de langageça coûte cher, plusieurs dizaines de millions d’euros… Donc les start-ups ne peuvent pas se le permettre, en tout cas pas si elles entendent proposer des services vraiment ambitieux. C’est d’ailleurs la raison principale du rapprochement entre Microsoft et OpenAI, qui a besoin de la puissance de calcul du groupe pour améliorer ses futurs modèles.
À terme, en termes de marché, je crois qu’on ira vers un écosystème de plateformes ouvertes. Ça n’est jamais bon quand trop peu d’entreprises contrôlent l’accès à de telles technologies. D’ailleurs, historiquement, Facebook, puis Meta, a toujours été favorable à la recherche fondamentale ouverte. La preuve : LlaMa, notre dernier modèle en date d’IA générative, est un projet open source.
Il faut se souvenir de ce qui s’est passé pour Internet au début des années 1990. À l’époque, Sun Microsystems et Microsoft se faisaient la guerre pour savoir qui allait opérer les serveurs, et finalement, c’est Linux qui a raflé la mise avec son protocole. Toutes les technologies d’Internet qui ont fini par s’imposer reposent sur de l’open source.
Ce qui retarde aujourd’hui l’émergence de telles plateformes libres pour l’IA, c’est le statut légal des données et la question sensible du copyright. D’ailleurs, si l’Union européenne veut favoriser la structuration d’une industrie de l’intelligence artificielle, elle doit d’abord faire émerger une telle plateforme open source. »