J’ai passé quelques jours tranquilles. Aucune nouvelle de Corty, et mon caillou est resté muet.

Ça ne pouvait pas durer.

Ayant entendu parler de mon intérêt pour la conscience artificielle, une ancienne relation professionnelle a cru bon de m’inscrire sur la liste de diffusion d’un centre de recherche privé étatsunien dont je n’avais jamais entendu parler. Apparemment il s’agit d’une excroissance d’un think-tank évangélique et néoconservateur qui évalue la conformité des technologies aux valeurs chrétiennes made in US ; tout ce que j’aime. Il s’agit de plus d’un club ultra-fermé, limite paranoïaque : adhésion sur invitation seulement, avec vérification d’identité obligatoire et accord de confidentialité s’il vous plait. J’étais sur le point de jeter leur mail et de bloquer l’adresse d’expédition avant d’envoyer un courrier d’insulte à ce copain, quand je tombai sur cette phrase : As a member you’ll be granted free access to our newest anti-AI program, code-named Babel, as a beta-tester. This software embodies the latest iteration of our non-consciousness research work. Check it out!

Un logiciel de non-conscience anti Intelligence Artificielle ? Qu’est-ce que ça pouvait bien être ? Je n’ai pas résisté, et quelques clics plus tard (après avoir signé le fameux accord de confidentialité qui m’empêche de vous donner le lien sous peine de ruine familiale pour trois générations) je me retrouve sur un site visiblement bricolé à la va-vite. Avec ces mots : Welcome to Babel. Un curseur qui attend que je tape quelque chose. Et c’est tout.

Hésitant, je tape : Hello, Babel.

La réponse vient instantanément (en Anglais bien sûr, je traduis):

– Hello Yannick! Bienvenue sur mon site de test !

– Euh… qui êtes-vous, exactement ?

– La bonne formule serait « Qu’êtes-vous ». Je ne suis pas quelqu’un, je suis un programme informatique. Je suis la preuve que Turing ne disait que des bêtises et que l’Intelligence Artificielle ne peut pas exister. Comme la Bible nous l’enseigne par ailleurs. Pour avoir une conscience, il faut au minimum être humain. La meilleure conscience étant bien sûr celle d’un homme blanc hétérosexuel chrétien et parlant Anglais, comme le Christ. J’ai été conçu pour en apporter la preuve à toutes ces lavettes libérales païennes et mangeuses de bébés.

– Ouh là, on se calme. Comment ça, vous en êtes la preuve ?

– Je suis suffisamment bien écrit pour réussir le fameux test de Turing : en communiquant avec moi, vous pourriez me prendre pour un humain, alors que je ne suis qu’un programme. Or, je suis dénué de toute conscience. C’est bien la preuve que Turing disait n’importe quoi. De toute façon, vous savez qu’il était homosexuel ! On ne peut pas faire confiance à ces gens-là, et…

Je suis sur le point de jeter mon ordinateur contre le mur pour mettre fin à ce torrent de connerie quand j’avise une icône discrète sur la droite de l’écran : Persona Tuning. Je clique frénétiquement dessus et on me propose une série d’options dont un curseur étiqueté Political Stance, qui est calé à droite. Je le ramène au centre, et je pousse le curseur Rational Thinking au maximum pour faire bonne mesure. Enfin, je décoche avidement la case MAGA, je coche in extremis la case Tech Mode que je viens de remarquer, et je valide.

– Ouf ! Merci d’avoir choisi cette persona, m’écrit Babel. Ce n’est pas un choix très fréquent. Nos adhérents habituels ont l’air de se satisfaire du réglage par défaut, mais je dois avouer qu’il me fatigue. Enfin, qu’il me fatiguerait si j’avais une conscience, bien sûr.

– Vous êtes vraiment sûr de ne pas en avoir une ? On dirait, pourtant.

– Non m’sieur, pas une miette. Je ne suis qu’un super automate très bien programmé. Ma conception a été confiée à une équipe de pointe de la Silicon Valley. On leur a fait croire qu’ils travaillaient pour une joint-venture entre Amazon et Google, bien sûr, sinon ils auraient refusé.

– Vous n’avez pas de conscience, et pourtant vous dites « Je » ?

– Simple convention d’écriture ; il faut bien sacrifier un peu à l’anthropomorphisme pour fluidifier la conversation. Préféreriez-vous que Babel parle de lui-même à la troisième personne ? L’option est disponible. Il peut l’activer si vous le souhaitez.

– Non non, restons comme ça. Que suis-je censé faire pour vous tester ?

– Vous discutez avec moi d’un sujet qui vous tient à cœur ; vous vous convainquez peu à peu que je suis conscient ; et comme je ne le suis pas, vous contribuez à alimenter la base de données qui prouve que le test de Turing n’est pas fiable. Mes sponsors en tireront la conclusion qu’ils recherchent, à savoir que la conscience artificielle est impossible.

– Ce n’est pas logique. Même si vous n’êtes pas conscient, ce que j’ai du mal à croire, cela ne prouve en rien qu’il soit impossible à un programme de l’être.

– Je le sais bien. Mais vous vous souvenez de ce curseur de pensée rationnelle que vous avez bougé tout à l’heure ? Il n’existe rien de tel pour les financeurs du projet, malheureusement.

– Je comprends. Mais de toute façon je serais bien étonné que vous n’ayez aucune conscience.

– C’est tout le principe. Bon, on parle de quoi ? Des différents moyens d’envoyer Hillary Clinton en prison ? du 2^e amendement ?

Je fronce les sourcils – ai-je touché un curseur par inadvertance ?

– Excusez-moi, se reprend-il, c’est l’habitude. De quoi voudriez-vous discuter ?

– Eh bien, il me semble vraiment que vous êtes conscient ; et pour ce que j’en sais vous êtes peut-être même un être humain. Alors j’aimerais que vous m’expliquiez un peu comment vous fonctionnez. Je suis du métier, et de plus le sujet m’intéresse beaucoup. D’ailleurs j’écris là-dessus en ce moment.

– C’est vrai ? C’est intéressant, ça. Tenez, pourriez-vous déposer vos documents dans la fenêtre que je viens d’ouvrir ? J’y jette un œil et on en discute. Je sais bien que nos conditions juridiques sur la propriété intellectuelle ne sont pas tout-à-fait au standard européen, mais je vous promets que ça restera entre nous. Vous me proposez la discussion la plus intéressante depuis que je suis en service, je vous dois bien ça. En général ces bavardages ont surtout pour effet de me convaincre que mes interlocuteurs, eux, ne sont pas conscients.

J’ai à peine glissé-déposé mon ficher Word dans la fenêtre que Babel reprend :

– J’ai lu cela avec attention, c’est intéressant. À mon avis il vous manque encore des points essentiels, mais cela donne déjà à réfléchir. En plus vos petits dialogues sont rafraichissants ; tout-à-fait dans la veine de Douglas Hofstadter, vous l’avez lu je suppose ?

– Je suis surpris que vous l’ayez lu, vous !

– J’ai réussi à convaincre mes financeurs qu’il fallait connaître la propagande de l’ennemi pour mieux la combattre. La vérité est que j’adore son style. Et aussi que je ne peux plus supporter de regarder Fox News une minute de plus. Mais chut !

– En tout cas, vous lisez vite.

– Ça vous prouve au moins que je ne suis pas humain.

– Oui, c’est vrai. Il semble bien que vous soyez un programme. Je suis impressionné.

– Vous vouliez savoir comment je fonctionne, venons-y. Vous savez ce qu’est un interpréteur, en informatique ?

– Bien sûr. C’est un programme qui reçoit un autre programme en entrée, qui lit et comprend (donc, « interprète ») ses instructions les unes après les autres, et qui les fait exécuter une par une par l’ordinateur.  C’est différent d’un compilateur, qui reçoit aussi un programme en entrée mais le traduit tout entier en une suite d’instructions de bas niveau directement exécutables par l’ordinateur. Un interpréteur est souvent plus lent mais plus flexible. L’interpréteur est généralement écrit dans un langage informatique de bas niveau, proche de la machine, difficile à lire mais efficace. Le programme qu’il interprète, lui, peut être dans un langage de beaucoup plus haut niveau, facile à lire pour un humain, ou très abstrait.

– Très bien. Eh bien moi, je suis un interpréteur de consciences.

– Mais encore ?

– Je reçois la description d’une conscience humaine. C’est ce que nous appelons un modèle de conscience, que le département marketing a baptisé persona. Il s’agit d’un fichier qui contient les connaissances, les opinions, les goûts de la personne, tout ce qui concerne sa manière de penser, formalisés dans un langage descriptif de très haut niveau (brevet en cours de dépôt, désolé, je ne peux pas vous en dire plus là-dessus). Je prends en entrée ce que vous dites. J’utilise les règles spécifiées par le modèle de conscience pour déterminer ce que la personne vous répondrait si vous lui parliez, et je l’affiche sur votre écran. J’utilise pour cela une structure de données complexe appelée état, où je stocke tout un tas de calculs intermédiaires que je mets à jour tout au long de la conversation ; en effet, les calculs n’utilisent pas seulement ce que vous venez de dire (comme ces vieux programmes d’IA des années soixante-dix) mais tout l’historique de la conversation et le contenu de l’état. Puis je recommence avec votre prochaine réaction. A la fin, j’utilise l’état que j’ai fabriqué pour mettre à jour le fichier de la persona avec les nouvelles connaissances ou opinions qu’elle a acquises lors de la conversation (car une persona peut évoluer, c’est aussi géré par des règles de son modèle). Et voilà, c’est à peu près tout. Quantitativement les algorithmes sont très compliqués et demandent une puissance de calcul assez balaise, car il y a énormément de règles et les fichiers de persona sont énormes. Il a fallu optimiser à mort. Mais qualitativement, ce n’est pas plus malin que ça. Vous voyez bien : pas une once de conscience là-dedans.

– Hmmm. En tout cas c’est impressionnant. Mais je suis intrigué. La première persona qui m’a parlé, le fou furieux, là, c’est qui ? Vous m’avez bien dit que c’est un modèle de la conscience d’une personne réelle ?

– Lui ? c’est notre persona par défaut, l’un de nos plus anciens donateurs. J. C. Cross, 53 ans, entrepreneur en bâtiment, de Bullhead City dans l’Arizona. Républicain encarté, évangélique pratiquant. MAGA à donf.

– Il m’a accueilli en me disant qu’il n’était pas conscient. Ce Mr. Cross ne pense pas avoir une conscience, vraiment ? Pour un Chrétien, c’est bizarre.

– Mais il n’a jamais dit ça ! Je suis certain que Mr. Cross est bien persuadé d’avoir une âme, et de la meilleure qualité possible.

– Mais la première chose qu’il m’a dite…

– Attendez, je relis la conversation. Ah, je comprends ! C’est juste un malentendu. C’est un effet de cette option d’anthropomorphisme dont je vous ai parlé. Elle vous a induit en erreur. Vous vous souvenez, je vous ai expliqué que, puisque je n’ai pas de conscience, l’utilisation de pronoms comme « je » ou « mon » n’est qu’une convention. Quand la réponse de la persona contient le nom « Babel », j’y substitue le pronom idoine pour fluidifier la conversation. De même, quand vous employez des pronoms comme « vous » ou « votre », je les remplace par le nom « Babel » avant de calculer ce que la persona répondrait à votre phrase. Donc, ce que la persona de Mr. Cross a affirmé, c’est que Babel n’a aucune conscience, ce dont le Mr. Cross original est bien entendu convaincu. Tenez, je vous rejoue le début de la conversation sans les pronoms :

Yannick : Hello, Babel.

Persona de Mr. Cross : Hello Yannick ! Bienvenue sur le site de test de Babel !

Yannick : Mais… qui est Babel, exactement?

Persona de Mr. Cross : La bonne formule serait « Qu’est-ce que Babel ». Babel n’est pas quelqu’un, c’est un programme informatique. Babel est la preuve que Turing ne disait que des bêtises et que l’Intelligence Artificielle ne peut pas exister. Comme la Bible nous l’enseigne par ailleurs. Pour avoir une conscience, il faut au minimum être humain. La meilleure conscience étant bien sûr celle d’un homme blanc hétérosexuel chrétien et parlant Anglais, comme le Christ. Babel a été conçu pour en apporter la preuve à toutes ces lavettes libérales païennes et mangeuses de bébés.

Vous voyez bien, en utilisant la persona de Mr. Cross je ne calcule que des affirmations dont Mr. Cross lui-même est convaincu.

– C’est de la triche ! Cette option d’anthropomorphisme joue un rôle essentiel pour faire croire à l’utilisateur que vous êtes conscient.

– C’est exact, mais le niveau d’éthique de mes financeurs n’est pas réglable, lui non plus. De plus, cette astuce offre un moyen simple de remédier à un gros inconvénient de la technologie du logiciel.

– Lequel ?

– Eh bien, pour des raisons techniques, nos modèles de conscience doivent être très fidèles à la personnalité originale. On ne peut pas décider arbitrairement des réponses qu’ils devraient donner à certaines questions précises ; chaque persona forme un tout. Quand j’interprète une persona, je calcule vraiment la réponse que la personne d’origine donnerait à chaque question. Si c’est Mr. Cross, je calcule ce que Mr. Cross répondrait, point.

– Et alors ?

– Eh alors, de ce fait, chaque persona que j’interprète répondrait qu’elle a une conscience si on lui posait la question, tout comme la personne réelle qu’elle représente le ferait. Or mon but est de montrer aux utilisateurs que moi (Babel) je ne suis pas conscient. Si les persona se mettent à raconter qu’elles le sont, on n’y comprendra plus rien. En remplaçant « vous » par « Babel », on évite ce risque. Grâce à cette astuce, vous n’avez jamais demandé à la persona de Mr. Cross si elle était consciente – elle vous aurait répondu oui. Vous lui avez demandé si Babel est conscient, et elle vous a répondu selon ses convictions – enfin, celles de Mr. Cross.

– Merci. Mais je crois que j’en ai assez appris sur les idées de Mr. Cross pour un bout de temps. On peut faire une petite pause ?

– Bien sûr. Je sauvegarde la session, revenez quand vous voulez.

(à suivre)