En fait, on doit une bonne approche de la question par le philosophe Wittgenstein en réponse au fameux "paradoxe de l'automate".
Imaginez que vous parlez à une personne derrière une cloison. Vous ne la voyez pas et la seule chose que vous recevez d'elle est ses réponses. La question est de savoir s'il s'agit d'un homme ou d'une machine... Alors vous la questionnez et vous déduisez de ces propos que c'est un homme si ces réponses sont suffisamment "naturelles" et ne se répète pas...
Mais imaginez que derrière se trouve une machine suffisamment compliquée dans ses réponses de telle sorte qu'on n'arrive à pas à déduire sa nature de machine quand on lui parle...
Alors, pour Wittgenstein , nous devons admettre que c'est un homme car la parabole de la cloison n'est rien d'autre que celle de toute communication humaine...Comment savons que nos parents, nos amis et ceux que l'on rencontre sont humains et comme nous? En leurs posant des questions...
Une machine qui arriverait à une tel degré de performances qu'elle pourrait tous nous tromper devra être déclarée humaine...
Il faut savoir que le physicien mathématicien Hofstadter a émis l'idée que la complexité de plus en plus croissante des programmes d'intelligence artificielle puisse provoquer un jour la godelisation de ses programmes. C'est à dire qu'il puisse devenir "indécidable" selon le fameux théorème de Godel (une théorie mathématique tend toujours à produire des axiomes indécidables). Or pour Hofstadter, la pensée est le produit de la complexité de la Nature, qui en produisant des êtres complexes depuis l'amibe aux mammifères, a tout ou tard produit un évènement annexe: la pensée qui n'est rien d'autre qu'une forme naturelle de godélisation. Pour Hofstader, tôt au tard, la machine pensera ("Gödel, Escher, Bach, les brins d'une guirlande éternelle " de Hofstader) .
Cette idée a inspiré un certain Arthur Clark, puis Cubrick pour "2001, l'odyssée de l'espace" avec l'ordinateur Hal: Hal est un ordinateur tellement puissant qu'il finit par Godeliser: certains choix qu'il fait sont "indécidables" mettant en péril la mission.
Une bonne nouvelle: si la pensée est une godélisation, alors les machines, en devenant pensante, feront...autant d'erreur que nous!
"Ne prenez pas la vie trop au sérieux. De toute façon,vous n'en ressortirez pas vivant!"