Ces IA sont constituées de plusieurs couches de “neurones” (des unités computationnelles qui font chacune un calcul mathématique différent). L’information contenue dans chaque prompt (ou instruction qu’on donne à l’IA) passe par chacune d'entre elles, les neurones d’une couche passant leur résultat aux couches suivantes qui se basent sur ces résultats pour faire leur propre calcul. Nous avons normalement accès seulement au résultat de la dernière couche, c’est-à-dire le résultat final qu’on voit à l’écran, mais ce qui se passe dans les couches intermédiaires reste caché.
Leur outil promet de voir dans ces couches intermédiaires, afin de détecter les mots persistant pendant plusieurs couches, qui représenteraient une sorte de mémoire de travail de la machine durant son processus. Au fur et à mesure de celui-ci, ces mots ajouteraient des concepts permettant à l’IA de parvenir à son résultat final. Si l’IA était une personne (ce qu’elle n’est pas...), on pourrait le comparer à ce qui se produit lorsque nous réfléchissons avant de répondre à une question. On ne dit pas tous les mots auxquels nous avons pensé, même s’ils nous ont aidé dans notre réflexion. Nous finissons par dire uniquement les mots que nous avons jugé les plus adéquats.
Suivre le “raisonnement” de la machine et détecter ses failles
Ces mots intermédiaires seraient visibles grâce à un outil nommé lentille jacobienne (ou J-lens), pour la matrice mathématique utilisée pour les déceler (matrice jacobienne) dans ce qu’ils appellent le J-space ou espace jacobien. Selon les auteurs, ces mots ne sont pas seulement des alternatives au mot final choisi par l’IA, mais des représentations internes que l’IA garde en mémoire pour mieux “comprendre” la question posée et comment y répondre. Par exemple, lorsque les auteurs ont demandé à Claude de faire un calcul arithmétique ((4+17)*2+7), un des mots détectés dans ce J-space était “math” (mathématiques en anglais), montrant que l’IA avait compris qu’il s’agissait de mathématiques et donc qu’elle devait réaliser un calcul avec des chiffres.
L’outil permettrait ainsi de mieux suivre le “raisonnement” de l’IA, mais aussi d’évaluer la qualité des réponses. Dans un autre exemple, leur J-lens aurait détecté le moment où la machine décide de tricher pour pouvoir répondre à une instruction. Elle devait trouver un problème dans des codes informatiques, sauf qu’il n’y en avait aucun. Comme l’IA devait trouver un problème, elle a décidé de l’inventer. Durant ce processus, deux mots sont apparus plusieurs fois dans le J-space : “panic” (pour panique) et “fake” (pour faux). La machine aurait donc “paniqué” lorsqu’elle n’a pas trouvé ce qu’on lui demandait de trouver, et puis aurait décidé de créer un “faux” pour pouvoir remplir son objectif de trouver une erreur, quitte à la fabriquer.
Ces affirmations sont bien sûr à prendre avec des pincettes tant qu’elles ne sont pas confirmées par d’autres équipes. Mais si elles se confirment, elles faciliteraient la détection des hallucinations qui pullulent dans les réponses des IA actuelles. Ou, pour reprendre l’élan poétique des auteurs, cet outil nous permettrait de plonger la tête sous l’eau pour voir si ce qui se cache sous la surface est bien vrai, ou un simple mensonge de la machine.