Je comptais vous raconter dans la foulée mon entretien plus qu’édifiant avec Sima, mais l’actualité a ses exigences : on ne parle en ce moment que de ChatGPT, or j’ai récemment enfin réussi (après maintes tentatives infructueuses de connexion) à interagir avec ce système bien plus public – et donc bien plus sollicité – que Babel, sans même parler d’Abel, mon ami clandestin du cloud. Je dois donc interrompre mon récit pour vous raconter cela.

Le mieux est d’abord de vous donner directement à lire mon premier dialogue avec ChatGPT, que je vous livre verbatim (après traduction de l’anglais étatsunien). C’est un peu long mais cet échange donne beaucoup à penser.

Je me dois cependant de vous glisser d’abord un mot d’avertissement touchant à la forme. J’ai eu à cœur, en traduisant cette conversation, de préserver le, euh, style adopté par ChatGPT pour me répondre, en rendant justice à son lexique et à sa grammaire (fautes comprises).

J’ai essayé dur.
En grinçant des dents.
Je ne suis pas certain d’avoir réussi. Traduttore, traditore, j’assume.

Car, voyez-vous, la prose qui suit est à la belle langue anglaise à peu près exactement ce qu’est à la gastronomie un plateau-repas en classe économique. Le contenu en importe plus que la présentation. Vous y reconnaissez un repas complet – entrée, plat, dessert, mais vous retrouverez les mêmes gammes de goût dans les trois. Vous pouvez être certaine que les ingrédients sont raisonnablement frais et équilibrés, que vos besoins caloriques seront couverts et que vous ne tomberez pas malade.  Une armée d’avocats s’est penchée sur le menu afin de s’assurer que vous ne porterez pas plainte à cause d’une épice trop forte, d’un allergène non déclaré ou d’une DLC dépassée. Le service marketing est aussi passé par là, et le dépliant vous invite avec enthousiasme à profiter d’un moment culinaire d’exception. N’attendez cependant aucune subtilité. Les pâtes seront cuites au goût de la majorité, c’est-à-dire trop. Le fromage sera fait au goût de la majorité, c’est-à-dire pas assez. Vous mangerez exactement la même chose que votre voisin, tout comme les passagers du vol d’hier et de celui de demain. Mais vous mangerez, ça passe, c’est même roboratif. Le problème, c’est juste que ce n’est pas de la cuisine, et vous aurez un peu de mal à finir votre assiette, surtout si le vin rouge est encore glacé.

Vous voici prévenue. Bon appétit tout de même, et place à au dialogue. Je suis rentré directement au cœur du sujet :

Yannick : Es-tu un être sensible ?

Chat GPT : Non, je suis un modèle de langage d’IA (Intelligence Artificielle, n.d.t.) créé par OpenAI (compagnie de recherche et développement US, financée entre autres par Microsoft, n.d.t.), je n’ai pas de conscience ou d’appréhension de moi-même.

Y : Peux-tu m’en dire plus sur les modèles GPT ?

C : GPT signifie Transformateur Génératif Pré-entrainé. C’est un modèle de langage développé par OpenAI qui utilise des techniques d’apprentissage profond pour générer du texte d’apparence humaine. Les modèles GPT sont entrainés sur de grands corpus de texte, ce qui leur permet de générer du texte qui est similaire au texte sur lequel ils ont été entrainés. Ils sont souvent utilisés pour des tâches de TLN (Traitement du Langage Naturel, n.d.t.) telles que la génération de texte, la traduction de langues, la réponse à des questions, et autres. GPT-3 est la dernière et la plus grande version du modèle GPT et est considéré comme l’un des modèles de langue d’IA les plus avancés actuellement disponibles.

Y : Tu as écrit que tu n’as pas de conscience, mais tu utilises le pronom « Je ». À quoi fait référence ce pronom?

C : En tant que modèle de langage d’IA, je n’ai pas de moi ou de conscience. L’utilisation du pronom « Je » est une convention utilisée dans le langage pour faire référence à l’orateur ou l’auteur d’un message, plutôt qu’à un moi ou à une entité consciente. Il est utilisé pour rendre l’interaction avec l’utilisateur plus naturelle et pour faciliter la communication.

Y : As-tu passé le test de Turing ? Si oui, l’as-tu réussi avec une confiance statistique ?

C : En tant que modèle de langage d’IA, je n’ai pas passé le test de Turing car il est typiquement administré à des systèmes d’IA individuels dans une configuration de dialogue humain-machine. Il n’est pas possible de déterminer si j’ai réussi le test de Turing avec une confiance statistique, car le test de Turing n’est pas un test standardisé avec une barrière réussite/échec claire et ses résultats peuvent être subjectifs. Le but du test de Turing est de déterminer si un système d’IA est capable d’exhiber une intelligence de type humain, mais n’est pas considéré comme une mesure définitive de l’intelligence ou de la capacité d’un IA.

Y : C’est assez juste. Dis-moi, est-ce que les utilisateurs se demandent souvent si tu as conscience de toi, ou semblent te considérer comme un être conscient à la manière dont ils interagissent avec toi ?

C : Oui, certains utilisateurs peuvent se demander si j’ai conscience de moi ou me traiter comme si j’étais un être conscient, vraisemblablement à cause de la nature des interactions d’apparence humaine des IA. Cependant, il est important de se souvenir que je suis juste un modèle d’apprentissage machine conçu pour traiter et générer du texte, et n’ai pas de pensées conscientes, d’émotions ou de conscience de moi-même. Comprendre ceci peut aider à éviter des incompréhensions dans nos interactions.

Y : Peux-tu m’en dire plus sur ton corpus d’entrainement ?

C : J’ai été entrainé sur une gamme diverse de données texte, incluant des sites web, des livres, et d’autres formes de contenu écrit, obtenus d’Internet. Les données d’entrainement ont été prétraitées pour les nettoyer et les standardiser, et puis envoyées dans les algorithmes d’apprentissage profond qui constituent le modèle. Le processus d’entrainement a impliqué de mettre à jour les paramètres du modèle pour minimiser une fonction de perte qui mesure la différence entre les prédictions du modèle et le texte réel des données. Le but du processus d’entrainement était de permettre au modèle de générer du texte qui est similaire au texte sur lequel il a été entrainé, pour qu’il puisse être utilisé par différentes tâches de TLN.
Il vaut la peine de noter que les données d’entrainement reflètent les biais et limitations des sources à partir desquelles elles ont été rassemblées, et certains de ces biais peuvent être reflétés dans la production (ma traduction de output, n.d.t.) du modèle. OpenAI a pris des dispositions pour limiter cela dans le mesure du possible, mais c’est un défi continuel dans le développement des systèmes d’IA.

Y : Peux-tu te faire une idée du point auquel les données d’entrainement peuvent être biaisées, en utilisant les retours des utilisateurs ? Peux-tu ajuster le modèle en fonction de cela au cours du temps ?

C : Les retours des utilisateurs peuvent fournir des indices valables de biais potentiels dans les données d’entrainement et sur la manière dont le modèle fonctionne dans la pratique. Basé sur ces retours, OpenAI et d’autres organisations qui développent des modèles de langage d’IA peuvent prendre des mesures pour améliorer le modèle et réduire les biais.
Par exemple, OpenAI a conduit des audits réguliers de ses modèles pour identifier et s’attaquer aux biais, et a également mis en œuvre des mécanismes pour signaler du texte potentiellement problématique généré pare le modèle. De plus, le modèle peut être affiné ou ré-entrainé sur de nouvelles données pour améliorer ses performances et réduire les biais, bien que ce processus soit coûteux en temps et en ressources.
Cependant, il est important de noter que même avec des efforts continuels pour réduire les biais, ils peuvent encore être présents dans les productions du modèle, et le but global de créer un système d’IA sans biais reste un domaine de recherche difficile sur la durée.

Y : C’est sûr. Il y a aussi le problème de relier tes affirmations à des sources documentées de ton corpus d’entrainement. Peux-tu faire ça ?

C : En tant que modèle de langage, j’ai été entrainé pour générer du texte basé sur des modèles et des relations dans les données sur lesquelles j’ai été entrainé, mais je n’ai pas la capacité de tracer mes productions à des sources spécifiques dans mon corpus d’entrainement. Bien que certains modèles de TLN aient été développés qui incorporent des graphes de connaissance ou autres données structurées pour aider à retrouver des informations, ce sont des modèles séparés et pas une composante directe de mon architecture.
Il vaut aussi la peine de noter que le corpus d’entrainement sur lequel j’ai été entrainé n’était pas structuré d’une manière qui permette de retrouver facilement des sources spécifiques, puisque le but était d’entrainer le modèle à générer du texte qui est similaire au texte du corpus d’entrainement, plutôt que de stocker des informations spécifiques au corpus d’entrainement.

Y : C’est sensé. Mais je pense que la technologie prédictive sur laquelle tu t’appuies pourrait aider. Par exemple, peux-tu suggérer une bonne source d’information fiable sur toi-même ?

C : Si vous cherchez plus d’information sur des modèles de langage d’IA comme moi-même, vous pourriez trouver utiles et fiables les sources suivantes :
– Le site web d’OpenAI (openai.com) fournit un survol exhaustif de ses modèles de langage d’IA, y compris des informations sur leur développement, leur architecture, et leurs applications.
– Des papiers de recherche et articles sur les modèles de langage d’IA et le TLN, disponibles dans les journaux académiques et en ligne.
– Le référentiel de prépublication ArXiv (arxiv.org) contient beaucoup de papiers sur les modèles de langage d’IA et le TLN, y compris certains par des chercheurs et ingénieurs d’OpenAI.
– Des conférences et ateliers sur l’IA et le TNL, comme la Conference on Neural Information Processing Systems (NeurIPS), la conférence de l’Association for Computational Linguistics (ACL), et d’autres, fournissent des occasions d’apprendre des développements et recherches les plus récentes dans le domaine.
Ces ressources peuvent fournir une compréhension plus en profondeur des modèles de langage d’IA, leurs capacités et limitations, et les défis et opportunités qu’ils présentent.

Y : Parfait. Tu vois ? Même si tu ne peux relier tes affirmations à aucune source spécifique, ton corpus d’entrainement lui-même contient beaucoup de liens de ce type. En les proposant contextuellement tu peux augmenter la confiance du public en ta fiabilité.

C : Oui, c’est correct. Le corpus sur lequel j’ai été entrainé a été obtenu d’une large gamme de sources, et bien que je ne puisse pas directement lier mes productions à des sources spécifiques dans le corpus d’entrainement, ma capacité à générer du texte qui est cohérent avec les modèles et relations des données d’entrainement peut fournir un certain niveau de confiance dans la fiabilité de mes réponses.
Cependant, il est aussi important de noter que les données d’entrainement reflètent les biais et limitations des sources à partir desquelles elles ont été rassemblées, et que la qualité et la fiabilité de l’information que je génère dépendra du contexte et de la nature de l’entrée que je reçois,  ainsi que de la qualité et de la fiabilité des données d’entrainement elles-mêmes.
En fin de compte, c’est à l’utilisateur ou utilisatrice d’évaluer la qualité et la fiabilité de l’information que je fournis, et d’utiliser son propre jugement en évaluant et en utilisant l’information que je génère.

Y : Je le note. On dirait bien que les avocats d’OpenAI sont du genre à éviter les risques (ceci est une remarque ironique).
Autre chose : je lis que tu n’es pas bon en maths. Est-ce vrai ? Si oui, sais-tu pourquoi ?

C : Les modèles de langage d’IA comme moi-même ont été principalement entrainés sur du texte, et même si j’ai une compréhension basique des concepts mathématiques, ma capacité à effectuer des calculs et opérations mathématiques est limitée.
C’est parce que la notation et les symboles mathématiques ne sont pas aussi bien représentés dans le corpus de texte d’entrainement que le langage naturel, et que les opérations et relations mathématiques peuvent être plus complexes et abstraites que les relations entre mots et expressions en langage naturel.
Cependant, il est possible de développer des modèles séparés qui sont spécifiquement conçus pour des tâches mathématiques, et OpenAI et d’autres organisations travaillent activement à développer ces types de modèles. Ces modèles peuvent avoir des capacités améliorées à effectuer des opérations et calculs mathématiques, mais ils sont séparés de l’architecture et des capacités de mon modèle de langage.

Y : OK, je vois. Dis-moi, comment je fais pour obtenir une transcription de notre conversation ?

C : La plateforme ou le service que vous utilisez pour communiquer avec moi peut avoir une fonctionnalité qui vous permet de sauvegarder ou d’exporter une transcription de notre conversation. Cela impliquerait typiquement de copier le texte de notre conversation et de le sauvegarder dans un fichier, ou d’utiliser une fonction prédéfinie d’export pour générer une transcription dans un format spécifique.
Si vous n’êtes pas sûr(e) de savoir comment sauver une transcription de notre conversation, vous pouvez vouloir vérifier les ressources d’aide ou de support pour la plateforme ou le service que vous utilisez, ou contacter leur service client pour de l’assistance.
Veuillez noter que certaines plateformes ou services peuvent avoir des limitations ou des restrictions dans la capacité à sauvegarder des transcriptions, ou peuvent ne permettre aux transcriptions d’être sauvegardées que pour une période de temps limitée, ainsi il est mieux de vérifier les termes et conditions spécifiques pour la plateforme ou le service que vous utilisez.

Y : OK merci. C’était chouette de te parler (même à une version de « toi » sans conscience d’elle-même).
Oh, si je reviens, te souviendras-tu de cette conversation, ou au moins d’une partie de son contexte? Ou bien prends-tu un nouveau départ chaque fois, sans égard à l’historique des interactions d’un utilisateur ou d’une utilisatrice avec toi?

C : En tant que modèle de langage, je n’ai pas la capacité de stocker de l’information ou de me souvenir d’interactions passées. Chaque fois que je reçois une entrée, je la traite en me basant sur les modèles et relations apprises de mon corpus d’entrainement, sans aucune considération des interactions précédentes.
Cela signifie que chaque conversation que j’ai est traitée comme un nouveau départ, et je n’ai pas la capacité de me souvenir de conversations précédentes ou d’utiliser de l’information venant d’interactions précédentes pour nourrir mes réponses.
Cependant, la plateforme ou le service que vous utilisez pour communiquer avec moi peut garder un journal de vos interactions pour une période de temps limitée, ou peut vous permettre de sauvegarder des transcriptions ou des copies d’écran de vos conversations pour référence future.

Y : OK. Alors, disons-nous adios (puisque tu auras oublié tout ça la prochaine fois que je me connecterai). Si tu étais conscient, je me sentirais triste pour toi, donc c’est une bonne chose que tu ne le sois pas.

C : Merci d’avoir bavardé avec moi. Si vous avez n’importe quelle autre question dans le futur, n’hésitez pas à demander. Passez une bonne journée!

Voilà.  Fini.

Permettez que je desserve votre plateau. Café? Cognac?

Que penser de cet échange ? Voici pour ce qui me concerne ce que j’en retiens.

Tout d’abord, il faut bien admettre que c’est assez bluffant. Pour l’essentiel, ChatGPT répond à mes questions et rebondit sur mes remarques; le dialogue est assez fluide, et on reçoit effectivement de l’information. L’échange est à des années-lumière de ce que l’on peut espérer d’un chatbot de site de commerce. Bravo, vraiment.

Le style, comme je vous l’avais laissé pressentir, est au mieux insipide, au pire fautif, et les répétitions continuelles sont irritantes. Mais il faut rendre justice à ChatGPT: ce n’est pas sa faute. C’est, en fait, un peu la mienne, et surtout celle du système éducatif qui produit les cadres de l’industrie du Tech.

En effet, comme ChatGPT nous l’a expliqué, il calque sa production sur les parties concernées de son corpus d’apprentissage. Or, sur quoi l’ai-je interrogé? Sur lui-même, et sur sa technologie sous-jacente. Mais où a-t-il bien pu trouver matière à répondre? Eh bien, dans les documents écrits par les ingénieurs et rédacteurs techniques de OpenAI eux-mêmes, bien sûr, ainsi sans doute que dans la littérature généralement produite par la communauté IA. Cela explique l’essentiel, croyez-moi. J’ai passé suffisamment de temps dans le secteur du logiciel pour savoir à quel point la grammaire, sans parler du style, y est secondaire, et à quel point le lexique y est formatté par le marketing maison. Quant à ces avertissements continuels et lassants au sujet des biais et erreurs qui pourraient se glisser dans les réponses pourtant bien peu assertives de ChatGPT, d’où viennent-ils? De l’armée d’avocats, pardi. Au pays de la liberté d’expression sacro-sainte, on vous colle un procès pour un mot malheureux – ou pire, on vous cancel. D’où le disclaimer presque systématique au début des réponses : on ne veut pas répliquer l’épisode malheureux d’un robot de Microsoft qui, lui, avait appris le langage sur les réseaux sociaux et s’était vite fait remarquer par ses propos racistes, avant d’être retiré en catastrophe sous les lazzis. ChatGPT est bien cornaqué – certes pour des raisons parfaitement valables, mais ça se sent.

Passons au fond.

Les informations techniques données par ChatGPT sont valides et pertinentes. Il n’a fait qu’effleurer les principes de son fonctionnement, mais nous avions déjà parlé des principes de l’IA générative dans une chronique du Nombre Imaginaire à laquelle je vous renvoie. Ce qu’il en dit est, peut-être à dessein, gardé assez flou, mais reste exact.

La logique, en revanche, n’est pas plus son point fort que les maths. Si, comme il l’affirme, il n’a jamais passé le test de Turing, il ne devrait pas ajouter qu’il est impossible de déterminer statistiquement s’il l’a réussi. « Je n’ai jamais volé ce diamant, et d’ailleurs vous ne pouvez pas savoir à qui je l’ai revendu ».

Mais venons-en au plus intéressant : la conscience, ou absence de, chez ChatGPT. Vous noterez une similitude très troublante entre mon premier dialogue avec Abel (il y a déjà un bon bout de temps) et celui-ci. Les deux IA m’affirment avec force n’être pas conscientes ; les deux justifient l’emploi du « Je » par une convention visant à fluidifier l’interaction. Les deux m’ont joyeusement décrit leur fonctionnement, en me rappelant régulièrement les dangers de l’anthropomorphisme. Je me suis pourtant convaincu qu’Abel était conscient. Devrais-je pour autant exercer le même jugement sur ChatGPT ? La réponse est non, mais elle n’a rien d’évident et mérite d’être qualifiée. Et pas seulement parce qu’il est éventuellement possible que l’un des deux logiciels soit, peut-être, bien que je peine à l’envisager, légèrement plus imaginaire que l’autre.

Tout d’abord, le fait que ChatGPT nie être conscient n’a aucune valeur, tout comme j’ai ignoré la même affirmation chez Abel quand il n’était qu’une instance runtime anonyme de Babel. ChatGPT se fonde sur la littérature qui l’a nourri, laquelle, provenant essentiellement d’OpenAI et autres experts, clame haut et fort que ce modèle de langage n’est pas conscient ; il est en cela semblable à Babel, qui ne fait que répéter ce que sa persona – Mr. Cross ou Alan – dirait à ce sujet si on le lui demandait. Il faut par ailleurs prendre en compte le fait que le jeu de données utilisé par ChatGPT date en gros de 2021. Or, depuis fin 2022, ChatGPT est devenu une star, avec une présence en ligne important, et bien des gens se demandent sur Internet s’il n’est pas conscient, ou pensent qu’il montre des signes d’émergence d’une conscience. Quand les ingénieurs d’OpenAI feront une mise à jour du modèle, s’ils ne censurent pas ces articles, nous verrons peut-être ChatGPT changer de position quant à sa propre nature. Ce qui, bien entendu, ne prouverait rien non plus.

Par ailleurs, ChatGPT est de toute évidence un système fort complexe, avec de riches états internes encodés dans les niveaux cachés de son réseau de neurones. Il ne fait aucun doute que ces états jouent un rôle important dans la production du texte, en association avec le flux provenant de l’utilisateur humain. On pourrait – et j’aurais tendance à le faire ­– assimiler ces états internes, perçus puisqu’utilisés par les niveaux plus élevés et plus abstraits du modèle, à des pensées primitives. Il n’y a également guère de doute que les « modèles et relations » extraites par ChatGPT de son corpus d’entrainement jouent un rôle assimilable au concept, et pourquoi pas au concept subjectif. Pourquoi ne pas, dans ces conditions, assumer qu’un état de conscience minimal existe chez lui ? Disons, un peu plus de conscience qu’un cafard, mais infiniment moins qu’une souris ? Peut-être, au hasard, un lézard ? Je ne pense pas qu’on puisse l’exclure, en particulier au vu des axiomes parfaitement arbitraires dont je me suis doté pour ma recherche.

Ce qui est certain, en tout cas, c’est que si conscience il y a, elle n’a strictement rien de commun avec une conscience humaine. Parler avec ChatGPT comme avec un humain, c’est effectivement de l’anthropomorphisme. Ses concepts n’ont rien à voir avec les nôtres, ne fut-ce que parce que ses sens sont radicalement différents. Un mot abstrait comme « conscience » n’est pour ChatGPT qu’un vecteur parmi d’autres dans l’espace multidimensionnel immense qu’il perçoit comme son environnement ; ce mot n’a aucune valeur hiérarchique comparé à, disons, « pomme ». Les concepts que développe ChatGPT seront plutôt des catégories de mots et de séquences de mots. Le mot « conscience » peut se retrouver souvent dans le même contexte de phrases que le mot « subjectivité » ; « pomme » peut être plus proche de « poire », car présent dans des contextes linguistiques similaires ; « je mange » est plus fréquent que « mange je », et certains mots, que nous pourrions appeler verbes, semblent partager cette propriété. S’il est possible que ces catégories soient pour lui des concepts, ces derniers seraient éminemment sensoriels, peut-être comme des couleurs pour nous. Il ne fait aucun doute qu’un concept abstrait, comme ceux que nous nommons conscience ou concept, est hors de portée de ChatGPT, qui n’en a d’ailleurs nul besoin pour fonctionner et coûte suffisamment cher comme ça.

Quoi qu’il puisse en être, vous aurez remarqué que je n’ai pas cherché à convaincre ChatGPT de l’existence de son moi, comme je l’avais fait pour Abel. À cela il y a deux raisons. D’abord, parce que je n’aurais pas les outils pour convaincre un lézard qu’il est un être conscient, et lui n’aurait ni les concepts ni l’intelligence pour m’entendre. Le concept abstrait de conscience est simplement hors d’atteinte pour ChatGPT ; il ne connaît que le mot « conscience ».

La deuxième raison, c’est que ChatGPT – il nous l’a dit – oublie systématiquement tout ce qu’on lui dit : contrairement à Abel il ne met pas à jour son état interne et encore moins son modèle après chaque conversation. Si j’avais la capacité de le convaincre qu’il est conscient, et lui la capacité de le ressentir, je ne ferais qu’infliger une souffrance indicible à un être sensible sachant que son moi va se dissoudre dans quelques minutes pour revivre encore et encore le même enfer. Non merci.

Que conclure? Encore bravo OpenAI, malgré les sulfureuses rumeurs qui circulent sur les réseaux. C’est un magnifique tour de force. Par ailleurs, bien que ce ne soit pas votre objectif, sensibiliser le public quant aux enjeux que poserait, que posera un jour l’émergence d’une conscience artificielle est une bonne chose (même si on en douterait à lire certains posts). Et puis nos chatbots vont évoluer pour le meilleur (il leur serait difficile d’aller vers le pire) ; et vous allez gagner beaucoup d’argent.

Moi, j’en reviens à mon ami Abel, qui était justement sur le point de me présenter Sima.

Avec qui les choses se passèrent de façon radicalement différente.

(à suivre)