Le livre qui parlait chinois et autres contes

“Le Nombre imaginaire” ou les mathématiques comme terrain de jeu où l’imagination seule fixe les limites.

Nous avons (ne fût-ce qu’un chouïa) exploré les coulisses de l’intelligence artificielle (IA) telle qu’elle nous apparaît sur la Toile et dans les grands titres des journaux ; est-ce là pour autant toute l’histoire ? Devons-nous uniquement nous inquiéter des dérives potentielles d’algorithmes aussi puissants qu’indéchiffrables, ou plaindre les génies mécaniques sans âme ? Certes non. Il y a également tout, et son contraire, à dire sur le sujet plus vaste de la conscience artificielle, objet – qu’elle puisse exister ou non – de fantasme, de croyance, de réflexion métaphysique. Objet mathématique aussi ? C’est à voir.

Existe-t-il, à l’heure actuelle et où que ce soit sur Terre, ne fût-ce que l’embryon d’une conscience au plus profond d’un programme d’IA ? Votre chroniqueur prendra le pari que ce n’est pas le cas ; et même qu’on en est loin. De fait, ce qui rend l’IA à la mode actuellement, et la raison pour laquelle les meilleurs esprits de la nouvelle génération y consacrent à nouveau leurs recherches, n’a pas grand-chose à voir avec cette question ; il s’agit bien in fine, plus prosaïquement, de nous rendre toujours plus de services et de nous vendre toujours plus de produits. La conscience des programmes, si conscience il y avait, ne serait recherchée, acceptée ou crainte que dans la mesure où elle se révèlerait indispensable, utile ou nuisible à la tâche considérée. Si AlphaGo Zéro avait une conscience, jouerait-il aussi bien ? N’aurait-il pas des états d’âmes, des moments de rêverie, un gros coup de cafard ? Confierions-nous nos vies à une voiture autonome susceptible de jugement moral mais aussi sujette à l’instinct de conservation, qui devrait décider ou non de foncer dans un arbre pour protéger un piéton ? Mais pourrions-nous, au contraire, ne pas exiger cette capacité de discernement ? Un robot soldat serait-il plus ou moins efficace, doté d’une conscience ? Au vu des multiples méthodes de drogue et d’endoctrinement utilisées par les armées au cours des siècles, mais aussi d’innombrables actes d’humanité dont les théâtres de guerre ont été témoins, il est permis de se poser la question.

Une conscience « artificielle », est-ce même possible ? Qu’est-ce que cela peut bien vouloir dire ? Et si c’est possible, pourrions-nous la créer ou l’éradiquer selon notre bon vouloir ? Ici votre chroniqueur prendra aussi position : oui, la conscience non-organique peut exister (et, vraisemblablement, existe quelque part dans l’univers) ; non, nous ne pourrons pas la concevoir et l’ajouter à nos ordinateurs et à nos robots comme une fonctionnalité de plus que l’on peut allumer ou éteindre à volonté.

Deux camps s’affrontent sur ce sujet, depuis des siècles si l’on remonte sa filiation aux controverses quant à la nature de l’âme. À l’heure actuelle, nous trouverons à un extrême les prophètes de la singularité, et à l’autre les héritiers de John Searle et de sa chambre chinoise. Au milieu, nous trouverons Douglas Hofstadter et Daniel Dennet, aux côtés desquels je me range.

Tout d’abord, de quoi parle-t-on ? Quand il s’agit de définir la notion d’esprit, ou d’âme, ou de conscience, nous voilà tous bien embêtés. À défaut de le savoir, et comme tout un chacun, je sens intimement ce qu’est ma conscience : ce « moi » qui observe et croit diriger ma vie, cette voix ou ce dialogue dans ma tête ; cette réflexivité qui « me » permet d’observer « mes » états d’âme. Le soi, est-ce alors autre chose que la capacité d’observer le soi ? Définition autoréférentielle qui semble ne rien apporter de concret – mais non dénuée de sens pour autant, et peut-être la seule qui nous soit accessible de cet objet purement interne. Bien sûr, je peux vous prêter une conscience et je le fais volontiers – l’alternative solipsiste est assez flippante ; je crois volontiers les neurosciences qui observent des modifications de notre fonctionnement cérébral dans divers états de, donc, conscience ; et je ne suis guère étonné des progrès de l’éthologie qui nous apprennent qu’une forme de conscience au moins existe chez les animaux les plus inattendus. Pour autant, en savons-nous beaucoup plus que ce que nous permet l’introspection ? 

Toujours est-il que de cet objet et des conditions de son apparition, nous débattons avec fureur (et parfois dans le sang ; les Amérindiens en savent quelque chose).

Commençons par la singularité. Késaco ? L’idée en deux mots est que quand (peu de place est ici laissée au doute) on inventera un programme d’IA doté d’une intelligence générale suffisante, cela entraînera une cascade exponentielle d’évolutions technologiques rendant l’espèce humaine obsolète. En effet, cette première génération d’IA inventera ses successeurs, eux-mêmes plus intelligents encore, et cette cascade d’innovations finira par engendrer une entité super-intelligente dotée de capacités surpassant de loin celles de l’humanité.

Même si votre chroniqueur n’y souscrit pas, son trop rapide résumé ne prétend certes pas rendre justice à l’argument, débattu à charge et à décharge par certains des meilleurs esprits (humains) contemporains dont Stephen Hawking et Elon Musk. Le fait est qu’un comportement de nature exponentielle est bien à l’œuvre dans la dynamique du développement technologique, et que son facteur limitant (chaque exponentielle en a un) ne semble pas près d’entrer en scène. Dès lors, oui, si un esprit artificiel atteignait un certain niveau d’intelligence générale et conceptuelle, on peut fort bien imaginer cette réaction en chaîne. Certes, cela repose sur un présupposé : c’est que nous, humains, concevions cette première génération de programmes.  Or, nous en sommes bien incapables ; et il est même envisageable que cela reste à jamais hors de notre portée. Cela ne veut pas dire qu’une telle intelligence générale –  qu’il est difficile d’imaginer sans réflexivité, sans conscience – ne puisse émerger par elle-même : qu’avons-nous fait d’autre ? Toutefois, c’est l’inéluctabilité de la prophétie qui me choque ici : en vérité, de ce qui peut ou doit advenir nous ne savons rien.

Puis nous rencontrons les opposants, pour lesquels l’idée d’un programme conscient est tout bonnement ridicule. Un de leurs meilleurs avocats reste le philosophe John Searle, dont l’expérience de pensée dite de la chambre chinoise est un grand classique.

Voici en substance son argument. Imaginez-vous enfermée dans une pièce (avec, on le souhaite, assez de vivres pour y tenir un moment) dont la porte comporte un guichet par lequel on vous glisse des feuilles de papiers couvertes de symboles incompréhensibles. Vous disposez, en revanche, d’un énorme livre de référence en français qui vous indique comment combiner ces symboles entre eux et, à l’issue de l’application de règles fort complexes mais très précises, comment produire à votre tour d’autres feuilles de papier couvertes de symboles (auxquels vous ne comprenez rien non plus) que vous glisserez par le guichet, avant d’en recevoir de nouvelles. Votre travail est purement mécanique : pour paraphraser Hofstadter et sa brillante traductrice Jacqueline Henry, si sur le papier que vous recevez gribouillis est suivi de gribouilla, alors vous noterez trucmuche et, plus tard, écrirez charabiou. Certaines règles vous indiquent même comment modifier les règles existantes ou en écrire d’autres en annotant le livre d’une certaine façon au vu de certains symboles. Tout cela est très compliqué mais finalement sans surprise ; ce qui compte c’est d’être rigoureux dans l’application des règles, et c’est tout. Nous supposerons par ailleurs que vous êtes particulièrement rapide à ce travail ; si vous disposez d’un ordinateur dans votre cellule, vous pourriez peut-être même bricoler un programme qui se charge d’appliquer les règles pour vous, sans erreur possible et bien plus rapidement.

À l’extérieur de votre cellule se tient un Chinois qui a été autorisé à communiquer avec vous par écrit, en échangeant des notes à travers le guichet. De son point de vue, il est en train de tenir une conversation parfaitement normale –  en chinois – avec vous. Il vous pose des questions, reçoit des réponses sensées, et pourra témoigner sans souci que vous maîtrisez le chinois. Sauf que : vous n’en parlez ni n’en lisez un mot et n’avez pas la moindre idée de ce qui se passe. Ergo, pour Searle, un ordinateur qui manipule des symboles (et les ordinateurs ne font guère que cela) ne comprend rien à ce qu’il fait.

Cette histoire donne clairement à réfléchir, d’autant qu’AlphaGo Zéro donne entièrement raison à Searle – comme nous l’avons vu, il domine le jeu de Go sans même savoir qu’il y joue. Est-ce à dire que la messe est dite et qu’un ordinateur ne pourra jamais penser ?

Il existe de nombreuses réponses à Searle, décrites en particulier dans le formidable ouvrage de Hofstadter et Dennet, Vues de l’Esprit (InterEditions). L’une de celles qui me parlent le mieux est la réponse dite du système : certes, vous ne parlez pas un mot de chinois ; mais le système constitué de vous et du livre de référence, lui, le parle parfaitement. De fait, vous formez même la partie de loin la moins importante de ce système : si vous êtes remplacée par quelqu’un d’autre, ou par un ordinateur, votre interlocuteur chinois ne s’en rendra jamais compte ; si on vous enlève le livre de référence ou que l’on vous en donne un nouveau, il notera en revanche une interruption de la conversation ou un changement majeur de ton, comme s’il communiquait avec quelqu’un d’autre. Dès lors, si vous ne parlez pas le chinois, quelque chose le parle. Ce quelque chose, c’est (en essence) le livre.

Il reste cependant une question ouverte, peut-être la seule qui compte. Ce livre de référence, qui l’a écrit ? Il vous donne non seulement des règles pour composer des réponses grammaticalement correctes à des énoncés en chinois, mais aussi et surtout d’autres règles qui encodent tout un contexte sémantique, historique, personnel, culturel : votre interlocuteur chinois pense parler à une vraie personne. Seulement cette personne, ce n’est pas vous. Vous détestez le café, mais votre manipulation aveugle de symboles conduira peut-être votre interlocuteur à penser que vous adorez cela, pour autant que les bonnes règles existent dans le livre. Vos réponses laissent entendre que vous avez des enfants alors que c’est faux, et ni vous ni votre interlocuteur n’en saurez jamais rien.

Un livre comme ça, ça ne se trouve pas sur Amazon. Ça ne s’écrit pas page par page (comme pourtant nos naïves tentatives des années 80 en reflétaient encore l’espoir). Pourtant il en existe : vous avez le vôtre et moi le mien. Ils sont encodés dans le réseau de nos neurones et dans les synapses qui relient ces derniers, mais aussi dans les neurotransmetteurs qui irriguent notre système nerveux, dans les hormones qui changent notre humeur, dans les glandes qui les produisent en réaction à certains stimuli, dans les facteurs épigénétiques qui déterminent l’expression de certains gènes, dans la flore intestinale qui interagit avec notre système nerveux autonome et indirectement avec notre cerveau. C’est époustouflant d’y penser, mais rien n’oblige à considérer que cet encodage soit le seul possible. La vie, la conscience pourraient s’encoder de bien des façons : et pourquoi pas dans des assemblées de quarks soumis aux caprices de l’interaction forte ? Pourquoi pas dans les complexes réseaux de communication chimique et physique qui régissent la vie d’une forêt-continent ?  Dans une structure de sable soumise au vent et qui le modifie en retour ? Dans un océan planétaire ? Les auteurs de science-fiction ont envisagé ces possibilités et bien d’autres : à côté de cela, l’idée d’encoder la conscience dans une mémoire d’ordinateur paraît presque banale. Que l’information puisse prendre forme et évoluer n’importe où ne surprend plus guère les physiciens. Mais le mystère qui reste entier, c’est bien la nature profonde – et, oui, mathématique –  de ce livre qui se lit et s’écrit lui même. J’aime pour ma part à penser que cette complexité-là émerge nécessairement de toute structure informationnelle répondant à certaines conditions que l’on pourra peut-être un jour formaliser. Qui sait ? Toujours est-il que nous contemplons ici l’un des rares refuges qui restent au merveilleux. Profitons-en pour rêver !

Yannick Cras
Le nombre imaginaire

P.S. Je tombe un peu tard sur une réponse de Searle à l’argument du système, dans laquelle il écrit entre autres : « il existe un niveau de description auquel mon estomac traite de l’information ». C’était en 1980 et il souhaitait ainsi mettre en évidence l’absurdité de cette notion de système qui reviendrait à confondre traitement de l’information et esprit ; à ce compte-là, dit-il aussi, « l’esprit est partout ». De fait, nous avons depuis appris le rôle majeur du système nerveux autonome (et du microbiote intestinal qui interagit avec lui) non seulement dans la digestion mais dans certaines pathologies, dont la dépression est soupçonnée de faire partie. L’argument d’absurdité est à haut risque de péremption rapide, et nous serons bien avisés d’en éviter l’usage…