Ce qu'est vraiment une IA

Ces outils ne cherchent pas la bonne réponse. Ils composent une suite de mots plausible.

Presque toutes les mauvaises surprises viennent de la confusion entre ces deux choses. Alors prenons le temps.

Trois idées fausses, d’abord

« C’est un moteur de recherche amélioré. » Non. Un moteur de recherche te renvoie vers des pages qui existent déjà, écrites par quelqu’un. Un assistant conversationnel fabrique un texte qui n’existait nulle part avant que tu poses ta question. Ce n’est pas une différence de degré, c’est une différence de nature.

« C’est une base de données géante. » Non plus. Une base de données stocke des informations exactes et te les restitue à l’identique. Ces outils ne stockent pas de fiches : ils ont retenu des régularités dans le langage. Ils savent comment une réponse à ta question a tendance à être formulée, ce qui n’est pas du tout la même chose que savoir si elle est vraie.

« C’est un cerveau électronique qui réfléchit. » Non. Ni intention, ni conscience, ni continuité. Entre deux de tes messages, rien ne se passe. La machine n’attend pas, ne rumine pas, ne s’ennuie pas.

Alors qu’est-ce qu’elle fait ?

Voici l’image la plus fidèle que je connaisse.

Imagine quelqu’un qui aurait lu une quantité vertigineuse de textes (livres, articles, forums, documentation, conversations) mais qui n’en aurait retenu aucun mot précis. En revanche, il aurait développé une intuition extraordinaire de la façon dont le langage s’enchaîne : quels mots suivent quels mots, comment on formule une recette, un contrat, une consolation, une explication technique.

Tu lui poses une question. Il ne va pas chercher la réponse dans un tiroir. Il reconstruit une réponse, morceau par morceau, en choisissant à chaque instant la suite la plus vraisemblable compte tenu de tout ce qui précède.

C’est ce que fait le programme. Il produit son texte petit fragment après petit fragment, chacun choisi en fonction de ta demande et de ce qu’il vient lui-même d’écrire.

Pourquoi ça marche quand même si bien

Parce que dans énormément de situations, « la formulation la plus vraisemblable » est aussi la bonne réponse. Si tu demandes la capitale du Portugal, la suite de mots la plus plausible après « la capitale du Portugal est » est évidemment « Lisbonne ». La justesse est ici un effet secondaire, mais un effet secondaire très fiable.

Le problème commence quand la vraisemblance et la vérité se séparent.

L’assurance trompeuse

Un être humain qui ne sait pas hésite. Sa voix change, il dit « il me semble », il ralentit. On utilise ces signaux depuis l’enfance pour doser notre confiance.

Une machine qui produit du texte plausible n’a aucune raison d’hésiter. Une réponse inventée est composée exactement de la même manière qu’une réponse exacte : même ton assuré, même structure soignée, même vocabulaire professionnel. Rien, dans la forme, ne les distingue.

C’est ce qu’on appelle une hallucination, une affirmation fausse produite avec le même aplomb qu’une affirmation vraie. Le mot est mal choisi, d’ailleurs : il suggère un accident, alors que c’est le fonctionnement normal de l’outil poussé dans une zone où il n’a pas de matière solide.

Il n’y a pas de voyant rouge

Tu ne peux pas déduire du ton, de la longueur ou de la précision d’une réponse qu’elle est fiable. C’est contre-intuitif, et c’est là que se font la plupart des dégâts.

Ce qu’elle fait bien, ce qu’elle fait mal

Ça découle directement du mécanisme. Elle est excellente sur tout ce qui relève de la forme et de la transformation, beaucoup plus fragile sur tout ce qui relève du fait précis.

Reformuler, résumer, traduire un texte que tu lui fournis : très fiable. Changer le ton d’un message pour le rendre plus ferme ou plus doux : très fiable. Structurer des idées en désordre, expliquer un concept général de plusieurs façons, proposer des variantes et des angles : très fiable aussi.

En revanche, citer un chiffre ou une date de mémoire, dire ce qui s’est passé récemment, faire un calcul long sans se tromper, donner une information juridique ou médicale applicable à ton cas précis, affirmer qu’une personne a dit une chose précise : là, méfiance.

D’où la règle pratique la plus utile de cette fiche. Plus tu fournis toi-même la matière, plus la réponse est fiable. Un texte que tu colles et que tu demandes de résumer est infiniment plus sûr qu’une question posée dans le vide.

Une nuance honnête

Certains de ces outils peuvent aujourd’hui aller chercher des informations sur internet ou dans des documents que tu leur fournis, et citer leurs sources. Quand c’est le cas, la fiabilité change de nature : tu peux vérifier.

Mais deux précautions restent nécessaires. Vérifier que la source citée existe vraiment. Et vérifier qu’elle dit bien ce qu’on lui fait dire. On y revient en détail au module 3.

Dix minutes de pratique

Fais l’expérience toi-même, elle est plus convaincante que n’importe quelle explication.

Ouvre un assistant et demande-lui une information très pointue et vérifiable dans un domaine que tu connais bien : ton métier, ta commune, ton club, ta passion. Lis la réponse. Note ton impression de fiabilité sur 10, avant de vérifier quoi que ce soit. Puis vérifie réellement, source à l’appui.

Note l’écart. C’est cet écart entre l’impression de solidité et la solidité réelle que tu ne dois plus jamais oublier.

Vérifie ta compréhension

Question : un assistant te donne le titre d’un livre, son auteur, son éditeur et son année de parution, avec un résumé cohérent. Est-ce une preuve que ce livre existe ?

Réponse : aucune. Un titre plausible, un nom d’auteur plausible et une année plausible s’enchaînent aussi facilement qu’une information exacte. Tant que tu n’as pas retrouvé la référence dans un catalogue indépendant, tu n’as qu’une hypothèse bien habillée.

Dans la fiche suivante, on regarde d’où vient cette intuition du langage.