Les progrès spectaculaires récents du traitement automatique de la langue naturelle (TALN), particulièrement la traduction automatique (p. ex. DeepL) et plus récemment la génération automatique de textes (p. ex. DeepL) cachent la portion congrue réservée au raisonnement de sens commun dans ces traitements.

Ces progrès reposent sur la disponibilité de corpus immenses grâce à la Toile, de puissants moyens de calculs distribués grâce à l’infonuagique avec ses fermes de serveurs équipés de processeurs graphiques et de l’évolution des algorithmes d’apprentissage profond.

Au niveau algorithmique, les progrès résultent essentiellement de l’application de la reconnaissance de formes (pattern matching) et de la prédiction statistique. Il n’y a pas de raisonnement de sens commun ou d’inférence symbolique. On parle d’algorithmes statistiques autorégressifs, c’est-à-dire que la prochaine valeur se base sur les valeurs passées. Un modèle de langue se contente de prédire « statistiquement » le prochain mot d’un texte.

Pour y arriver, les grands modèles de langues (Large Language Models, LLM) comme GPT-X, (acronyme de « Generative Pre-trained Transformer ») derrière ChatGPT, utilisent des réseaux de neurones autoattentifs (les mal nommés Transformers) entraînés sur d’immenses corpus. Rappelons que l’emploi de l’attention en TALN est issu des travaux pionniers du MILA en traduction automatique neuronale. Le terme Transformers est un clin d’œil aux jouets et films d’animation japonais éponymes. Il est dommage que le « mécanisme de l’attention » ait été totalement éclipsé par le terme « Transformers » bien que l’article original de Google sur les Transformers ait été intitulé « Attention is all you need » (http://bit.ly/2F8Pe2Y ). Ces algorithmes apprennent des structures associatives à différents niveaux d’abstraction.

Un algorithme clé, trop souvent négligé, est l’apprentissage auto-supervisé (self-supervised learning) qui est une idée très simple. L’idée est d’obtenir des « annotations » (ou étiquettes) en prédisant une partie des données à partir d’autres parties. On masque une partie des informations dans les données d’entraînement pour tenter de les reconstruire (prédire) à partir des parties restantes. En traitement automatique du langage naturel, on crée des phrases avec des trous afin de deviner le mot caché ou le mot suivant. Plus besoin d’annotations manuelles fastidieuses!

Par exemple, ChatGPT fonctionne comme la fonction d’auto-complétion d’un éditeur de texte, mais à partir d’une représentation « sémantique » des mots et de l’apprentissage de la distribution statistique de séquences de mots dans d’immenses corpus. Pour vulgariser, un modèle génératif de langue se base sur un puissant algorithme de reconnaissance de formes, capable de faire des associations entre une requête ou invite tapée par l’usager et son contexte, et une immense « base de formes » contenues dans le modèle. Cette base de formes est obtenue par entraînement sur un corpus de milliards de mots (en fait, des parties de mots ou jetons, en anglais tokens) qui en quelque sorte « mémorise » ces formes dans un espace sémantique qualifié de « latent ». Les formes sémantiquement proches se retrouvent géométriquement proches en termes de distance dans l’espace latent de très grande dimension par le jeu des statistiques sur les mots et leurs contextes (cooccurrences). Cette distance est souvent la simple distance euclidienne entre deux points dans un espace multidimensionnel qui relève du théorème de Pythagore que nous avons appris à la petite école L’algorithme de ChatGPT ajoute un élément de hasard grâce à un paramètre appelé « température » qui apporte un peu de variété dans le choix des mots. Et ainsi de suite…

Le principal problème des modèles de langue comme ChatGPT est l’impossibilité de savoir si une réponse vient de faits mémorisés ou a été simplement inventée. En fait, c’est souvent une combinaison des deux…. Dit simplement, les modèles de langue comme ChatGPT ne sont pas fiables. À défaut d’une intelligence artificielle, nous avons créé une intelligence superficielle.

En fait, bien que cela soit très dépendant du contexte de la tâche, on se rend compte que le raisonnement de sens commun n’intervient souvent que très peu dans beaucoup de tâches linguistiques jusque là considérées comme de haut niveau. Et cela, depuis la correction grammaticale, en passant par le Saint-Graal de la traduction automatique qui est à toutes fins utiles maintenant une réalité quotidienne, et les résultats bluffants des modèles génératifs de textes basés sur des grands modèles de langues (GML). Mon constat de praticien m’amène à émettre l’hypothèse que le raisonnement de sens commun intervient dans moins de 5% des situations. Le langage et la pensée ne se chevauchent que faiblement.

Cela nous amène à la dichotomie dans le fonctionnement de notre pensée dont Daniel Kahneman discute dans son livre « Thinking, Fast and Slow » (en français, Système 1 / Système 2, Les deux vitesses de la pensée, https://bit.ly/3iPikhX). En effet, ChatGPT est typiquement un système 1, rapide, intuitif et imprécis. Nous avons besoin de systèmes de type 2, plus contrôlé et plus logique (https://bit.ly/3GShJUy, ). Les approches « neurosymboliques » sont prometteuses ainsi que les « réseaux de flot génératifs » (https://bit.ly/3D6yHxv) proposés par le chercheur québécois Yoshua Bengio.

De plus, des découvertes récentes en neurosciences viennent appuyer ce constat empirique. Par exemple, les travaux de l’équipe de Evangelina Fedorenko du MIT qui se basent sur des observations cérébrales directes (EEG, fRMI, etc.) concluent que le langage et le raisonnement sont fortement dissociés dans le cerveau humain. Dans le cerveau humain, il existe des zones cérébrales spécialisées pour le langage qui sont distinctes de celles du raisonnement. La génération du langage, par des parties spécialisées du cortex, est la plupart du temps en mode automatique avec seulement quelques appels aux zones du cortex spécialisées en raisonnement.

En conclusion, cela amène à relativiser la nature de l’intelligence humaine et sa position dans le spectre combiné de l’intelligence naturelle et artificielle. Tout comme l’avion ne vole pas comme un oiseau, l’ordinateur ne pensera pas nécessairement comme un humain. Cela dit, quand quelque chose ressemble à un chat, miaule comme un chat, ronronne comme un chat et attrape une souris comme un chat, on conclura forcément que c’est un chat, ou du moins une sorte de chat.

Le philosophe Hubert Dreyfus eut le mérite de questionner l’intelligence artificielle à ses débuts, avec entre autre le fameux problème de la portée d’une action (en anglais frame problem) qui concerne la modélisation des effets d’une action dans un monde décrit par la logique du premier ordre. Le problème concerne les propriétés du monde non modifiées par l’action posée et la possibilité de régressions infinies. Comment déterminer a priori la portée d’une action, c’est à dire distinguer les propriétés qui changeront (propriétés dans le cadre) et celles qui ne changeront pas (propriétés hors du cadre)? La réponse est simple, en utilisant le sens commun.

Mais ce qu’il faut savoir, c’est que les humains ne sont pas vraiment meilleurs que des machines très «savantes» à ce jeu de la portée sémantique, et ils se trompent parfois. Pas plus qu’un cerveau humain n’est capable de résoudre un problème NP complexe, il prend un raccourci ou il se fatigue, c’est tout. Dreyfus a vu ses derniers arguments contre l’IA battus en brèche dans les dernières années surtout depuis l’avènement de l’apprentissage par renforcement, appuyé par des modèles d’apprentissage profond, où un agent autonome apprend à partir d’expériences dans le monde. Ce qui reste des critiques de Dreyfus se cantonne dans la pure philosophie heidegerrienne qui exige une incarnation dans un corps de chair et de sang pour reconnaître l’intelligence d’une machine.

À plus ou moins long terme, il serait également intéressant de déterminer un protocole pour déterminer si une IA est « consciente » ou pas. C’est un problème difficile et selon moi un problème « mal posé » ou plutôt un problème sans solution satisfaisante. Enfin, comment transiger « éthiquement » avec une IA qui serait consciente? Honnêtement, malgré des apparences trompeuses, nous avons probablement beaucoup de temps pour y réfléchir!

Plutôt mécréant, je peux affirmer avec assez forte probabilité que l’être humain et tous les animaux dotés également d’intelligence ne sont que des machines de chair et de sang. Dans un futur pas si lointain, malgré la somme considérable de travail que cela représente, nous arriverons à construire des machines qui pensent. L’IA va changer le monde! Mais cette grande puissance doit s’accompagner d’une grande prudence. Si l’intelligence devient artificielle, espérons qu’elle nous libérera de la bêtise si humaine.