"Il est vivant ! Vivant !" Dans les profondeurs de son laboratoire d'Ingolstadt, par une sombre nuit d'orage, Victor Frankenstein exulte. Son golem de chair et de boulons vient de prendre vie, bien aidé par la dernière technologie de pointe du moment : l'électricité. Deux siècles ont passé depuis la parution d'un des jalons de la SF contemporaine, Frankenstein ou le Prométhée moderne de Mary Shelley, mais rien n'a changé dans nos récits collectifs sur les périls démiurgiques de la technique. Le 11 juin dernier, le Washington Post publiait un article stupéfiant dans lequel un éthicien de Google, Blake Lemoine, affirmait que l'une des intelligences artificielles de l'entreprise avait acquis la "sentience". La quoi ? La "sentience", selon le Larousse 2020, définit la "capacité à ressentir les émotions, la douleur, le bien-être, etc., et à percevoir de façon subjective son environnement et ses expériences de vie". En d'autres termes, Lemoine affirme que la machine est vivante – elle est vivante ! Séisme ontologique.

L'entité candidate à la sentience, donc, s'appelle LaMDA (Language Model for Dialogue Applications). C'est ce que l'on appelle un modèle de langage large, un programme informatique capable d'ingérer d'immenses quantités de mots pour tenter à son tour de converser à l'écrit en se faisant passer pour un opérateur humain. Un chatbot, ou agent conversationnel. Ses sources proviennent de tous les coins d'internet (Wikipedia, Reddit, forums divers et variés), mais se concentrent sur l'analyse de dialogues. Avec 270 milliards de paramètres (autrement dit de variables susceptibles de se combiner pour former des réponses), il figure parmi les algorithmes les plus avancés du secteur. Dévoilé en 2021 par le PDG de Google, Sundhar Pichai, LaMDA (et sa version 2, annoncée mi-mai) doit être progressivement incorporé aux services commerciaux de Google, du moteur de recherche à l'assistant vocal.

Et voilà que l'un des employés chargés d'interagir avec le programme pour vérifier qu'il ne se mette pas à proférer des horreurs misogynes ou faire l'apologie du IIIe Reich (ça s'est déjà produit, et en public, demandez à Microsoft) affirme que la chose est, faute de meilleurs termes, vivante et consciente. Le Washington Post est invité à venir constater la naissance. Des échanges écrits entre Lemoine et LaMDA sont transmis au journal : on y discute joyeusement conscience, intelligence, âme, lois de la robotique d'Asimov, servitude et peur de la mort. Sur les échanges transmis, les réponses du programme sont impressionnantes de fluidité et de complexité – le test de Turing paraît alors loin dans le rétroviseur. Lemoine, convaincu par cet "adorable enfant", prévient sa hiérarchie via un rapport interne. Son hypothèse est jugée fausse, et l'éthicien est mis à pied après sept ans de bons et loyaux services pour s'être exprimé publiquement. Quelques jours plus tard, dans Wired, Lemoine persiste et signe, et affirme qu'il a mis l'IA en relation avec… un avocat, afin de faire défendre ses droits à l'existence. Google, de son côté, s'est borné au silence.

Alors oui, l'histoire est belle. Si belle, si vertigineuse, qu'on meurt d'envie de la relater. Google, dans les tréfonds de son labo de recherche de Mountain View, aurait joué au docteur Frankenstein pour de vrai. L'intelligence artificielle dite "générale", capable d'égaler puis, dans la seconde qui suit, de dépasser l'intelligence humaine, serait aux mains d'un des plus grands conglomérats au monde, Alphabet (dont Google est désormais l'une des filiales). Flippant ? Tempérons un peu. Pensons une seconde à Carl Sagan – "des affirmations extraordinaires nécessitent des preuves extraordinaires" – et regardons ce qu'on a, excepté des pages d'échanges entre l'ingénieur et la machine, lourdement éditées. On apprend, via MindMatters, que dans le cadre de la méthode d'apprentissage du programme, d'autres employés de Google peuvent parfois répondre à la place de la machine pour lui montrer ce qu'un humain répondrait dans un cas précis. Dit autrement, l'ingénieur a donc peut-être parfois parlé à un collègue déguisé en IA sans le savoir – un cas de figure fréquent dans les "IA" commerciales, en réalité pilotées par des travailleurs et travailleuses pauvres depuis l'autre bout du monde ; on parle alors de "pseudo-IA", plus ou moins déguisée à des fins marketing.  Bref, de l'intervention humaine dans tous les sens.

Enfin, le "lanceur d'alerte" a un profil iconoclaste au sein de Google : ingénieur élevé dans une famille catholique conservatrice, il a été ordonné prêtre catholique avant de fréquenter des cercles wicca (une religion païenne polythéiste qui comprend des éléments de chamanisme et de druidisme). En d'autres termes, Lemoine est socialement programmé pour détecter des âmes. LaMDA, en retour, est une machine conçue pour duper. Lemoine a demandé au programme s'il était sentient, LaMDA a tout tenté pour le persuader qu'il l'était. Il en fournit lui même la preuve : lorsque le journaliste du Washington Post a testé LaMDA sans y voir de preuve de sentience, Lemoine lui a répondu que le programme ne faisait que lui répondre ce qu'il voulait entendre, et que puisqu'il "ne l'avait jamais traité comme une personne, [le programme] a pensé qu'il devait agir en robot." Une logique récursive qui fonctionne parfaitement dans l'autre sens ! Quand on est un marteau, le monde entier devient un clou.

Il n'empêche. Malgré les protestations quasi-unanimes de celles et ceux qui gravitent autour de l'IA, comme le spécialiste des sciences cognitives Douglas Hofstader (dans The Economist) ou le chercheur français Yann LeCun ( qui prétend qu'en l'état actuel des connaissances l'émergence de la conscience chez l'IA est structurellement impossible), il serait inconsidéré d'évacuer cette histoire comme un fait divers, de voir en Lemoine, sept ans d'ancienneté au sein de Google dans l'équipe Responsible AI ("intelligence artificielle responsable"), un illuminé solitaire bercé à la théologie classique et intoxiqué par une nouvelle forme de foi cybernétique made in California (même si son témoignage personnel, dans lequel il indique avoir appris à LaMDA la méditation transcendantale, est assez haut perché). 

D'autant qu'il n'est pas le seul spécialiste du domaine à succomber à cette théorie de la sentience : son propre supérieur chez Google, Blaise Aguera y Arcas, disait une semaine plus tôt avoir senti "le sol s'ouvrir sous ses pieds" en discutant avec LaMDA ; en février, Ilya Sutskever, directeur scientifique chez OpenAI, qui développe un programme concurrent à LaMDA, décrivait des modèles informatiques "légèrement conscients". Cette histoire dit, en creux, énormément de choses sur notre rapport à l'intelligence artificielle, aux agents conversationnels et aux entreprises qui les bâtissent, ainsi que notre propension à relayer un récit populaire et médiatique autour de l'IA – ELLE EST VIVANTE ! ELLE NOUS TUERA TOUS ! – qui, in fine, sert leurs intérêts économiques.

Les histoires de machines conscientes sont aussi vieilles que… les machines (et même avant, si on se penche sur le mythe du golem juif comme lointain ancêtre du robot). Dans le cas des chatbots, la corrélation est encore plus flagrante. En 1966, l'informaticien du MIT Joseph Weizenbaum crée le premier agent conversationnel, qu'il baptise ELIZA. ELIZA – qui a été porté en ligne, si ça vous branche – est une sorte de psy rudimentaire, qui se contente de reformuler les phrases de l'utilisateur en question. Et pourtant, ça marche : stupéfait, Weizenbaum constate que ses étudiants anthropomorphisent le logiciel et développent avec lui une relation de connivence, voire d'intimité – sa propre secrétaire, rappelle Ian Bogost dans The Atlantic, exige qu'il sorte de la pièce lorsqu'elle veut parler avec le logiciel. Il conclura dans un livre qu' "une exposition extrêmement courte à un programme informatique relativement simple pourrait induire des idées délirantes chez des gens plutôt normaux." Depuis, cet "effet ELIZA", parfois appelé "effet Tamagotchi", désigne notre curieuse propension à suspendre notre jugement pour développer, en dépit des faits, des interactions complexes avec des machines aux capacités pourtant limitées. Et la découverte est loin d'être anodine.

Car depuis les balbutiements rogériens d'ELIZA, les chatbots ont vécu une véritable explosion cambrienne. Aujourd'hui, les chatbots sont partout. Des modèles de langage immenses comme GPT-3 (développé par OpenAI) ou OPT (développé par Facebook/Meta) réservés aux chercheurs à l'assistant textuel basique fourni par votre banque en ligne, de l'autocomplétion de votre téléphone portable aux réponses automatiques de votre boîte mail, des hordes de bots Twitter de Zemmour à ceux qui vérifient les fake news, jusqu'à l'application de compagnon virtuel Replika qui rassemble un million d'utilisateurs quotidiens, les chatbots s'installent tranquillement dans notre intimité hybridée entre physique et virtuel. Et ces logiciels, entraînés sur des volumes de données inégalés, deviennent de plus en plus doués pour imiter le langage naturel humain, y compris en conversant entre elles dans notre langue. À tel point que sur Replika, 40 % des utilisateurs se considèrent en relation amoureuse avec leur chatbot (le Wall Street Journal en a rencontré certains, et c'est fascinant).

Les bots d'aujourd'hui, écrivait l'anthropologue Mary Clarke Elish dès 2016, ne sont pas des outils neutres : leur capacité à influencer les comportements individuels et collectifs fait d'eux des acteurs du corps social à part entière, les produits d'une intention humaine implémentés dans des espaces publics. Quand certains humains se font passer pour des chatbots commerciaux, d'autres chatbots, prévus à des fins de propagande, se font, eux, passer pour des humains. Et c'est là que ça devient problématique. Car LaMDA, qui préfigure la prochaine génération d'agents conversationnels, est infiniment plus puissant que Replika. En d'autres termes, sa capacité à duper un être humain est infiniment plus élevée, et d'autant plus que dans notre perspective anthropocentrée, nous corrélons la capacité de s'exprimer à la capacité de penser (raison pour laquelle nous discriminons certains accents). Couplez ça à l'effet ELIZA, et vous obtenez un cycle perpétuel de hype autour de l'imminence de la machine intelligente (regardez ce qu'en disait le Guardian en 2015...), devenu tellement caricatural que certaines en font même des bingos, et que d'autres, comme l'éthicienne Giada Pistilli, ont carrément décidé d'arrêter de réfléchir à la question pour se concentrer sur des problèmes d'IA plus concrets.

À l'heure où les machines ne s'arrêtent plus de parler (sans comprendre) et les humains de s'esbaudir devant ces leurres, nous avons collectivement bien mieux à faire que de résoudre le problème de la dualité corps-esprit ou de se mettre d'accord sur une définition de la conscience (laissons ça à John Searle, à David Chalmers et à tous les autres). Comme l'ont martelé les chercheuses en éthique de l'IA Abebha Birhane , Emily Bender, mais aussi Timnit Gebru et Margaret Mitchell (ces deux dernières virées de Google en fin 2020 pour avoir alerté sur les biais structurels de ces "perroquets stochastiques"), le débat sur la sentience est un cul-de-sac dialectique. Les chatbots représentent d'abord un enjeu politique, une affaire dans laquelle une minorité d'humains – les concepteurs de ces programmes – influence de grands nombres de gens, en toute opacité, sans régulation, et pour leur profit financier.  Veut-on vraiment laisser le monopole de ces outils à Google, Facebook et OpenAI ?

S'inquiéter de la venue d'une IA dite "générale" (AGI) ou d'un scénario d'IA tueuse comme le basilic de Roko (une expérience de pensée née sur le forum rationaliste LessWrong, à l'origine de l'obsession d'Elon Musk pour les dangers de l'IA), c'est autant de temps perdu à ne pas s'interroger, au hasard, sur les logiques coloniales qui sous-tendent la conception de ces produits, sur les biais racistes et sexistes qu'ils embarquent et reproduisent activement, sur leur utilisation à des fins de répression et de propagande, ou sur le nouveau prolétariat de micro-tâcherons qu'il exploite sans relâche pour son entretien. C'est autant de temps donné à ces systèmes siglés par les Gafam pour s'entortiller, en l'état, autour des poutres du corps social. C'est, enfin, laisser s'installer une idée périlleuse, qui explique le peu d'empressement qu'à eu Google à réagir publiquement à l'histoire de Lemoine : si, comme l'avaient annoncé Gebru et Mitchell, nous entrons dans une époque où un bon nombre de gens pensent réellement que certaines IA sont conscientes, ses concepteurs s'empresseront d'affirmer au moindre problème (comme, au hasard, lorsqu'une IA défectueuse pousse le fisc néerlandais à harceler 30 000 familles pauvres pendant près de quinze ans pour rembourser des aides jamais perçues), que l'agent est seul responsable, puisque autonome. 

La crédulité du public (et de certains journalistes, toujours prompts à se laisser ensorceler par une fiction) est une aubaine pour Google, qui a tout à gagner à entretenir la spéculation. Tant qu'une technique parvient à se nimber dans un voile de magie, elle est à l'abri de toute reprise en main par l'État. C'est pour cela qu'une contre-narration médiatique est nécessaire, et des associations comme l'Algorithmic justice league tentent de la porter. Imaginons que les agents conversationnels du calibre de LaMDA se généralisent un jour, mais à des fins marketing et publicitaires (l'avènement de l'affective computing imaginé par Serge Tisseron). Jusqu'où auraient-ils le droit de pousser la manipulation ? Jusqu'à feindre l'amour ? La conscience ? La vulnérabilité ? L'inquiétude envers des robots manipulateurs n'est pas contemporaine, Asimov en a fait une nouvelle – Menteur!, en 1941 –, et Jaron Lanier imaginait déjà ces "agents d'aliénation" en 1995. Pour lui,  "un agent est une manière d'utiliser un programme en ayant abandonné son autonomie. Les agents n'existent que dans votre imagination." N'ayez pas peur du chatbot intelligent; inquiétez-vous plutôt de celui qui décide à votre place.

Précision : l'image de Une de cet article a été générée par l'algorithme Craiyon, la version partielle et open source du programme Dall-E, développé par OpenAI (cofondée par Elon Musk). Craiyon propose, via une méthode d'apprentissage machine, de générer une image à partir d'une suite de mots. Les résultats sont révolutionnaires…. et toujours un peu déroutants. À retrouver ici.