Test de Turing

Schéma du test de Turing.

Le test de Turing est une proposition de test d’intelligence artificielle fondée sur la faculté d'une machine à imiter la conversation humaine. Décrit par Alan Turing en 1950 dans sa publication Computing Machinery and Intelligence, ce test consiste à mettre un humain en confrontation verbale à l’aveugle avec un ordinateur et un autre humain. Si la personne qui engage les conversations n’est pas capable de dire lequel de ses interlocuteurs est un ordinateur, on peut considérer que le logiciel de l’ordinateur a passé avec succès le test. Cela sous-entend que l’ordinateur et l’humain essaieront d’avoir une apparence sémantique humaine.

Pour conserver la simplicité et l’universalité du test, la conversation est limitée à des messages textuels entre les protagonistes.

Histoire

Inspiration

Le test met en scène un jeu d’imitation dans lequel un homme et une femme vont dans des pièces séparées et les invités tentent de discuter avec les deux protagonistes en écrivant des questions et en lisant les réponses qui leur sont renvoyées. Dans ce jeu, l’homme et la femme essaient de convaincre les invités qu’ils sont tous deux des femmes^[1]^,^[2].

À l’origine, Alan Turing a imaginé ce test pour répondre à sa question existentielle : « une machine peut-elle penser ? », en donnant une interprétation plus concrète de sa question.

Une idée intéressante de sa proposition de test est que les réponses doivent être données dans des intervalles de temps définis. Il imagine que cela est nécessaire pour que l’observateur ne puisse pas établir une conclusion qui soit fondée sur le fait qu’un ordinateur puisse répondre plus rapidement qu’un humain, surtout sur des questions de mathématiques.

Origine du nom

Dans la publication de Turing, l'expression « jeu d’imitation » est utilisée pour désigner sa proposition de test. Celle de « test de Turing » semble avoir été formulée pour la première fois en 1968 par le romancier britannique Arthur C. Clarke dans ses nouvelles de science-fiction dont a été tiré le film 2001, l'Odyssée de l'espace.

Prédictions et tests

Alan Turing a prédit que les ordinateurs seraient un jour capables de passer le test avec succès. Il estimait qu’en l’an 2000, des machines avec 128 Mo de mémoire seraient capables de tromper environ 30 % des juges humains durant un test de 5 minutes. Il a prédit que les humains, à ce moment-là, ne verraient pas l’expression « machine intelligente » comme contradictoire. Il a aussi prédit que l’acquisition par apprentissage des ordinateurs serait aussi importante pour construire des ordinateurs performants, une méthode qui est en effet aujourd’hui utilisée par les chercheurs contemporains en intelligence artificielle à travers le machine learning, par exemple.

Des programmes de conversation simples tels que ELIZA ont trompé des humains croyant parler à d’autres humains, avec des expressions informelles, comme le dialogueur OELiza. Mais de tels « succès » ne reviennent pas à passer le test de Turing. La plupart du temps, la personne n’a pas de raison de suspecter qu'elle ne parle pas avec un humain, alors que dans le cas du test de Turing, le juge essaye de déterminer de façon active la nature de l’entité avec laquelle il converse. Les cas référencés concernent notamment l’IRC, où le fait d’engager une conversation futile et sans signification est courant. De plus, beaucoup de participants à l’IRC conversent dans une langue autre que leur langue maternelle, le plus souvent l'anglais, ce qui rend encore plus facile le fait d’être trompé par un bot, en pensant ne pas tout comprendre ou encore en n’étant pas suffisamment informé de l’existence même des bots.

Le prix Loebner est une compétition annuelle récompensant le programme considéré comme le plus proche de réussir le test de Turing. ALICE a remporté ce prix à plusieurs reprises. Aucun des programmes présentés n’a en revanche encore passé le test de Turing avec succès.

En septembre 2011, à Guwahati en Inde, le programme Cleverbot parvint à convaincre la majorité des participants et observateurs du test de son humanité. Les conversations durèrent quatre minutes chacune. Quinze participants discutèrent avec Cleverbot et quinze autres avec des humains. Le public pouvait suivre les conversations puis voter avec les participants. Il y eut 1 334 votes. Cleverbot fut considéré humain à 59 % et les interlocuteurs humains à 63 %^[3].

Le 7 juin 2014, l'Université anglaise de Reading affirme que le test de Turing a été remporté par le produit d'une équipe informaticienne russe, réussissant à convaincre 33 % des juges (au-delà de la limite de 30 % fixée par Turing) qu'un humain était derrière la machine^[4]^,^[5]. Cette affirmation est aussitôt contestée, même si de réels progrès sont généralement reconnus. Les critiques adressées au programme informatique sont que celui-ci est la simulation d'un humain d'une intelligence d'un enfant de 13 ans, parlant mal l'anglais, ce qui diminue la qualité nécessaire au programme pour convaincre les juges, et qu'il applique un protocole de test opaque^[6].

Objections et réponses

Objections

Alan Turing lui-même a suggéré de nombreuses objections qui peuvent être faites au test et en a donné une réponse dans sa publication initiale :

objection théologique : la pensée serait le fait inné de l’âme dont l’humain serait seul doté, et ainsi la machine ne saurait pas penser. Turing répond qu’il ne voit aucune raison pour laquelle Dieu ne pourrait donner à un ordinateur une âme s’il le souhaitait ;
argument de la conscience : cet argument, suggéré par le professeur Geoffrey Jefferson (en), dit que « aucune machine ne peut écrire un sonnet ou composer un concerto à cause de l’absence d’émotion, et même en alignant des notes au hasard, on ne peut pas dire qu’une machine puisse égaler un cerveau humain^[7] ». La réponse de Turing est que nous les hommes n’avons aucun moyen de connaître véritablement l’expérience des émotions de tout autre individu que soi-même, et donc que nous devrions accepter le test^[8] ;
originalité : une autre objection, très controversée, est que les ordinateurs seraient incapables d’avoir de l’originalité. Turing répond que les ordinateurs peuvent surprendre les humains, en particulier lorsque les conséquences de différents faits ne sont pas immédiatement reconnaissables ;
formalisme : cet argument dit que chaque système gouverné par des lois peut être prévisible et donc pas réellement intelligent. Turing répond que ceci revient à confondre des lois du comportement avec des règles générales de conduite ;
perception extra-sensorielle : Turing semble suggérer qu’il y a des preuves de perceptions extra-sensorielles. Cependant il estime que des conditions idéales peuvent être créées, dans lesquelles ces perceptions n’affecteraient pas le test et ainsi seraient négligeables.

Chambre chinoise

Dans un article daté de 1980, le philosophe John Searle remet en cause la puissance du test de Turing, en invoquant la limite des ordinateurs à la syntaxe. Selon l’auteur, la sémantique, caractéristique de la pensée humaine, ne saurait être réduite à la manipulation de symboles selon des règles syntaxiques déterminées, ce qui semble être le propre de la machine.

Pour illustrer son propos, il présente l’expérience de pensée de la chambre chinoise : supposez que vous êtes à l’intérieur d’une pièce contenant des symboles chinois ainsi qu’un manuel d'instructions comportant des règles type « questions-réponses ». Lorsqu’un locuteur chinois, à l’extérieur de la pièce, vous envoie un message sur papier, vous pourrez, grâce au manuel, fournir une réponse adéquate et donner l’impression à votre interlocuteur de savoir parler sa langue, sans qu’il soit nécessaire que vous la compreniez.

Faiblesses du test

Le test de Turing est fondé sur l’hypothèse que les êtres humains peuvent juger de l’intelligence d’une machine en comparant son comportement avec le comportement humain. Chaque élément de cette hypothèse a été remis en question : le jugement de l’humain, la valeur de la comparaison qui est de seulement comparer le comportement et la valeur de la comparaison avec un humain. Pour ces raisons et d’autres considérations, certains chercheurs en intelligence artificielle ont mis en doute l’utilité de l’essai.

Intelligence humaine contre l'intelligence en général

Intelligence Humaine contre l’intelligence en général.

Ce test ne détermine pas directement si l’ordinateur se comporte de façon intelligente, cela teste seulement si l’ordinateur se comporte comme un être humain. Étant donné que le comportement intelligent et les comportements humains ne sont pas exactement la même chose, le test ne permet pas de mesurer avec précision l’intelligence de deux façons :

certains comportements intelligents ne sont pas humains : le test de Turing ne vérifie pas la présence, ou l’absence, d’un comportement intelligent, tel que la capacité de résoudre des problèmes difficiles ou de trouver des idées originales. Elle exige expressément la tromperie de la part de la machine : si la machine est plus intelligente qu’un être humain, il lui faut délibérément éviter de paraître trop intelligente. Si elle était capable de résoudre un problème de calcul qui serait impossible pour un humain, alors l’interrogateur saurait que le programme n’est pas humain, et la machine ne satisferait pas au test ;
certains comportements correspondant à une intelligence humaine ne sont pas parfaits ou rationnels. Le test de Turing exige que la machine puisse exécuter tous les comportements humains, incluant même des comportements que l’on peut considérer comme imparfaits ou irrationnels, tels que la susceptibilité à des insultes, la tentation de mentir ou, tout simplement, une fréquence élevée d’erreurs de frappe. Si une machine ne peut imiter le comportement humain dans le détail, comme faire des erreurs de frappe, l’intelligence échoue au test, indépendamment de la façon dont elle peut être intelligente.

Cette dernière objection a été soulevée par The Economist, dans un article intitulé « Artificial Stupidity (en) », publié peu après la première compétition Loebner en 1992. L’article notait que la victoire du gagnant de la première compétition Loebner était due, au moins en partie, à sa capacité à « imiter les erreurs de frappe de l’homme ». Turing lui-même a suggéré que les programmes devraient ajouter des erreurs dans leur sortie, de manière à être de meilleurs « joueurs » dans la partie^[9].

Intelligence réelle contre intelligence simulée

Cela ne teste que la façon dont le sujet agit — le comportement extérieur de la machine. À cet égard, cela assume une vision comportementaliste ou fonctionnaliste de l’intelligence. L’exemple de ELIZA a suggéré qu’une machine passant le test peut être en mesure de simuler le comportement conversationnel de l’homme par la suite d’une simple (mais vaste) liste de règles mécaniques, sans penser, par automatisme.

John Searle avait fait valoir que le comportement externe ne peut pas être utilisé pour déterminer si une machine pense « réellement » ou est simplement en train de « simuler l’action de penser^[10] ».

Turing anticipa ces critiques dans son article original^[11], où il a écrit :

« Je ne veux pas donner l’impression que je pense qu’il n’y a aucun mystère quant à la conscience. Il y a, par exemple, en quelque sorte un paradoxe lié à toute tentative visant à la localiser. Mais je ne pense pas que ces mystères aient nécessairement besoin d’être résolus avant que nous puissions répondre à la question qui nous préoccupe dans cet article. »

— Alan Turing, (Turing 1950).

Naïveté des interrogateurs et le sophisme anthropomorphique

Le test de Turing suppose que l’interrogateur soit assez sophistiqué pour déterminer la différence entre le comportement d’une machine et le comportement d’un être humain, bien que les critiques soutiennent que ce n’est pas une compétence que la plupart des gens ont. Les compétences précises et les connaissances requises par l’interrogateur ne sont pas précisées par Turing dans sa description de l’essai, mais il a utilisé le terme d’« interrogateur moyen » : « L’interrogateur moyen n’aurait pas plus de 70 pour cent de chances de faire l’identification exacte après cinq minutes d’interrogation^[12] ». Shah et Warwick (2009C) montrent que les experts sont dupes et que la stratégie de l’interrogateur, « pouvoir » ou « solidarité », influe sur l’identification correcte (la seconde étant plus efficace)^[13].

Un dialogueur comme ELIZA a à maintes reprises dupé des naïfs en leur faisant croire qu’ils sont en communication avec des êtres humains. Dans ces cas-là, l’« interrogateur » n’est même pas conscient de la possibilité qu’il soit en interaction avec un ordinateur. Pour réussir à paraître humaine, la machine n’a pas besoin d’avoir tous les renseignements, et seule une ressemblance superficielle du comportement humain est nécessaire. La plupart des gens conviennent que ce n’est pas un « vrai » test de Turing qui a été passé dans des cas « mal informés » tels que celui-ci.

Lors des premières versions du prix Loebner, des interrogateurs « non sophistiqués » furent utilisés, et ils ont été facilement bernés par les machines. Depuis 2004, les organisateurs du Prix Loebner ont déployé des philosophes, des informaticiens et des journalistes parmi les interrogateurs. Certains d’entre eux ont été trompés par des machines^[14].

Michael Shermer souligne que les êtres humains choisissent systématiquement de considérer les objets non humains comme humains dès qu’ils en ont l’occasion, une erreur appelée également sophisme anthropomorphique : ils parlent à leur voiture, attribuent la volonté et des intentions aux forces naturelles (par exemple, « la nature a horreur du vide »), et adorent le soleil comme étant un être humain ou comme un être doué d’intelligence. Si le test de Turing est appliqué à des objets religieux, Shermer fait valoir que des statues inanimées, des roches et des lieux ont toujours réussi le test, dans une certaine mesure, tout au long de l’histoire. Cette tendance humaine à l’anthropomorphisme abaisse la barre pour le test de Turing, à moins que les interrogateurs soient spécifiquement formés pour l’éviter.

Irréalisme et inutilité : le test de Turing et la recherche en IA

Les chercheurs en intelligence artificielle font valoir que tenter de faire passer le test de Turing est simplement une distraction au lieu de se consacrer à des recherches fructueuses. En effet, le test de Turing n’est pas un foyer actif de beaucoup d’efforts académiques ou commerciaux ; comme Stuart Russell et Peter Norvig l’écrivent : « Les chercheurs en IA ont consacré peu d’attention à passer le test de Turing^[15] ». Il y a plusieurs raisons :

Premièrement, il existe des façons plus faciles de tester leurs programmes. La plupart des recherches actuelles dans les domaines liés à l’IA visent des objectifs modestes mais précis, tels que l’ordonnancement automatisé, la reconnaissance d'objet ou la logistique. Afin de tester l’intelligence des programmes qui résolvent des problèmes, les chercheurs en intelligence artificielle leur donnent la tâche à exécuter directement, plutôt que de passer par le détour qui est de poser la question dans un chat peuplé avec des ordinateurs et des personnes.

Deuxièmement, la création de la vie comme les simulations d’êtres humains est un problème difficile en soi qui n’a pas besoin d’être résolu pour atteindre les objectifs fondamentaux de la recherche en IA. Des personnages humains artificiels crédibles peuvent être intéressants dans une œuvre d’art, un jeu vidéo ou une interface utilisateur sophistiquée, mais cela ne fait pas partie de la science de la création de machines intelligentes, qui est la science des machines qui résolvent des problèmes liés à l’intelligence. Russell et Norvig suggèrent une analogie avec l’histoire de l'aviation : les avions sont testés en fonction de leur vol, non pas en les comparant à des oiseaux. Les essais sur l’aéronautique ne définissent pas le but de leur domaine comme une course à l’invention de machines volant de façon si semblable à un pigeon que les pigeons eux-mêmes s’y tromperaient^[15].

Turing n’a jamais eu l’intention que son test soit utilisé comme une méthode pour mesurer l’intelligence des programmes d’IA ; il voulait donner un exemple clair et compréhensible pour contribuer à la discussion sur la philosophie de l'intelligence artificielle^{[n 1]}. Ainsi, il n’est pas surprenant que le test de Turing ait eu si peu d’influence sur les recherches en Intelligence Artificielle. La philosophie de l’IA, en écrivit John McCarthy, « a peu de chances d’avoir plus d’effet sur la pratique de la recherche en IA que la philosophie de la science en a généralement sur la pratique de la science^[17] ».

Dans la culture populaire

Cinéma

Le test de Voight-Kampff, utilisé par les policiers traquant les répliquants dans le film Blade Runner de Ridley Scott (1982), est inspiré du test de Turing.
Dans le film The Machine (2013), Vincent McCarthy (joué par Toby Stephens) utilise le test de Turing pour tester son programme AI.
Le film Imitation Game (2014), bien que se concentrant sur la vie d'Alan Turing, aborde le test de Turing.
Le test de Turing fait partie intégrante de l'intrigue du film Ex Machina (2015)^[18].
Il est aussi utilisé dans l’enquête d'un homme victime d'un ordinateur dans la série Numbers à l’épisode 17 de la saison 5.
Dans l'épisode 3 de la saison 1 de la série Westworld, le test de Turing est invoqué en tant que témoin dans la ressemblance entre une IA et l'humain que celle-ci est censée apparenter.
Dans l'épisode 4 de la saison 3 de la série Elementary, une intelligence artificielle est soupçonnée d'avoir tué son créateur. Sherlock Holmes tente de la soumettre au test de Turing.

Informatique

L’expression « Félicitations ! Vous venez d’échouer au Test de Turing… » est une insulte potache dans le milieu informatique. Cette expression se dit lorsqu’une personne vient de dire quelque chose de particulièrement stupide, et ne semble même pas avoir le niveau d’intelligence d’une machine^[19].

Musique

L'opéra The Turing Test par le compositeur écossais Julian Wagstaff est inspiré par le test.

Jeux vidéo

The Turing Test : jeu vidéo sorti le 30 août 2016, inspiré du Test de Turing.
Virtue's Last Reward : un document secret à trouver dans la pièce Gaulem bay parle du Test de Turing.
Detroit: Become Human : le test de Turing y est plusieurs fois abordé. Dans le jeu, l'un des androïdes créés par le scientifique Elijah Kamski est mentionné comme étant le premier à avoir réussi le test de Turing.
Hitman : dans la mission « Situs Inversus », une conversation entre l'intelligence artificielle KAI et le D^r Laurent fait référence à ce test. L'IA chargée du complexe GAMA y aurait échoué.
The Talos Principle : alors que notre personnage demande des privilèges administrateur (réservés aux êtres humains), une conversation avec une IA s'engage sur l'un des terminaux afin de vérifier qu'il s'agit bien d'une personne et non d'une machine. Cet échange peut être assimilé à un test de Turing dans lequel il est nécessaire de convaincre une IA très suspicieuse de notre humanité.

Notes et références

Notes

↑ « Au lieu de m’essayer à une telle définition, je remplacerai la question par une autre, qui lui est étroitement liée et qui est exprimée en des termes relativement non ambigus^[16] »

Références

↑ Turing 1950, p. 433
↑ « Le célèbre test de Turing en intelligence artificielle partait d'un postulat sexiste », Business Insider France,‎ 9 mars 2017 (lire en ligne, consulté le 2 février 2018)
↑ (en) « Software tricks people into thinking it is human », sur New Scientist (consulté le 5 août 2020).
↑ Olivier Lascar, « Intelligence artificielle : Eugene Goostman est-il le tombeur du test de Turing ? », sur sciencesetavenir.fr, 9 juin 2014 (consulté le 5 août 2020).
↑ « Pour la première fois, un ordinateur a réussi le test de Turing », sur Slate.fr, 9 juin 2014 (consulté le 5 août 2020).
↑ Réussite contestée d'un ordinateur au légendaire test de Turing. Le Monde
↑ (en) Extrait du discours « The Mind of Mechanical Man » prononcé le 9 juin 1949 lors de la remise de la « Lister Medal » à Geoffrey Jefferson par le « Royal College of Surgeons of England ».
↑ Dans le film I, Robot, le policier émet la même remarque à un robot : « Vous ne pouvez pas écrire un roman ni composer un concerto ». Le robot lui répond simplement : « Et vous ? »
↑ Turing 1950, p. 448
↑ L’argument a pour but de montrer que, même si le test de Turing est une définition opérationnelle d’intelligence, il peut ne pas indiquer que la machine a un esprit, une conscience ou une intentionnalité (l’intentionnalité est un terme philosophique pour la puissance de pensée de l’être « sûr » quelque chose).
↑ Russell et Norvig 2003, p. 958-960 (Identifier l’argument de Searle avec celui des réponses de Turing).
↑ Turing 1950, p. 442.
↑ (en) Hidden Interlocutor Misidentification in Practical Turing Tests soumis au périodique en novembre 2009.
↑ voir Shah & Warwick (2009a) : Test de Turing cinq minutes, en parallèle jumelé en jeu de l’imitation (à paraître) Kybernetes Turing Test Special Issue
1 2 Russell et Norvig 2003, p. 3.
↑ Alan Ross Anderson (dir.) (trad. de l'anglais), Pensée et machine, Seyssel, Champ Vallon, 1983, 150 p. (ISBN 2-903528-28-4, lire en ligne), « Les ordinateurs de l’intelligence », p. 39.
↑ (en) John McCarthy, The Philosophy of Artificial Intelligence.
↑ Ex Machina
↑ (en) Dilbert .

Annexes

Bibliographie

(en) Alan Turing, « Computing machinery and intelligence », Mind, Oxford University Press, vol. 59, n^o 236,‎ octobre 1950, p. 433-460 (lire en ligne)
Les Ordinateurs et l’Intelligence, in Alan Turing et Jean-Yves Girard, La machine de Turing, Éditions du Seuil, 1995 [détail des éditions], p. 133-175
La traduction française de l'article de Turing par Patrice Blanchard est également publiée dans Pensée et machine, Champ Vallon, 1983 p. 39-67
(en) Roger Penrose, The Emperor’s New Mind
(en) Stuart Russell et Peter Norvig, Artificial Intelligence : A Modern Approach, Prentice Hall, 2003 (ISBN 0-13-790395-2)
Lassègue, J. (1993). “Le test de Turing et l'énigme de la différence des sexes”. Les contenants de pensée. D. Anzieu ed. Paris, Dunod : 145-195. (ISBN 2-1000-8104-7).
Lassègue, J. (1996). “What Kind of Turing Test did Turing have in Mind ?”, Tekhnema; Journal of Philosophy and Technology (ISBN 2-9509944-0-7) (3) : 37-58.
Lassègue, J. (2001). “On my Vicious Ways; a Response to Justin Leiber”, Tekhnema; Journal of Philosophy and Technology (6): (ISBN 2-9509944-0-7)198-207)
Lassègue, J. (2008). “Doing Justice to the Imitation Game; a farewell to formalism”. Chap. 11, Parsing the Turing Test; Philosophical and Methodological Issues in the Quest for the Thinking Computer, Epstein, Roberts & Beber eds. Berlin, Spinger Verlag: 151-169. (ISBN 978-1-4020-6708-2)

Liens externes

(en) Encyclopédie de Philosophie de Stanford Le Test de Turing, par G. Oppy et D. Dowe.
(en) Test de Turing : 50 ans après [PDF], retour sur un demi-siècle de travaux sur le Test de Turing.
(en) Pari entre Kapor et Kurzweil, comprenant leur point de vue respectif en détail.
Turing : Les machines peuvent-elles penser ?.
(en) L'opéra The Turing Test.
« L’héritage d’Alan Turing, l’inventeur de l’ordinateur - Le pionnier de l’intelligence artificielle », sur lejournal.cnrs.fr