Quand l’IA fait des erreurs

Depuis quelques mois j’ai entrepris la programmation de la nouvelle version de mon gestionnaire de contenu destiné aux entreprises en utilisant différents agents (intelligence artificielle).

J’ai tout d’abord démarré l’expérience avec Open AI ; je lui ai demandé de créer les bases d’une application en utilisant un framework particulier et un ensemble de fonctionnalités souhaitées à venir.

Ma démarche n’est pas de faire produire l’application au complet mais plutôt d’utiliser les meilleures pratiques et les technologies d’aujourd’hui comme fondation.

Tout s’est passé relativement bien jusqu’à ce que nous arrivions à la couche de sécurité de cette application. La technologie utilisée pour l’authentification et celle qui détermine les autorisations ont fait l’objet de mises à jour. La documentation de l’API a été modifiée, mais pas le tutoriel qui sert visiblement Chat GPT à me répondre.

J’ai ensuite répété l’expérience avec Claude en lui donnant les mêmes informations de base et en lui spécifiant les mêmes besoins.

Chose fascinante : tout en passant par un chemin différent pour arriver à un résultat similaire au niveau de l’utilisabilité, Claude a été confronté au même problème de versions de documentation concurrentes.

Rien ne se crée,
tout se perd

Les deux modèles d’intelligence artificielle ont procédé de façon différente pour arriver aux résultat souhaité en me questionnant ou prenant des initiatives selon le cas. Claude est beaucoup plus autonome et directif alors que Chat GPT m’a fait réfléchir à des aspects marketing de mon projet après m’avoir fait perdre beaucoup de temps à se contredire.

Ce qui émerge de cette expérience, c’est que étant donné que ces LLM ne font que reproduire ce qui existe déjà en guise d’exemple sur le web tout projet qui relève de la recherche et développement est confronté à une pénurie de références.

Je confirme l’impression anticipée que mes collègues m’ont transmises en me disant que Claude était bien meilleur pour la programmation. J’ai cette impression malgré que nous soyons confrontés à une erreur.

Dans la manière qu’il a de prendre des initiatives et de m’en informer après coup, j’ai trouvé que c’était un processus de travail beaucoup plus efficace.

Toutefois, moi qui suis une bébite à la recherche de sens et de raison d’être, j’apprécie le côté arborescent de la réflexion de Chat GPT. J’ai plus de déviation dans les résultats mais comme c’est un peu ce dont je suis à la recherche, ça fait mon affaire si j’élargis moi-même le spectre de ma réflexion.

Je fais du chemin comme être humain quand l’intelligence artificielle refuse d’avancer.

Bref, la notion de bon ou mauvais est tout à fait abstraite pour moi à cette étape ci ; je n’ai pas assez de point de comparaison pour me faire une idée. Chose certaine : j’avance à une vitesse fulgurante mais dans une direction que je ne peux pas prévoir.

Ça ouvre le domaine des possibles mais ça complexifie beaucoup les processus et l’expérience client au final. On peut promettre n’importe quoi à n’importe qui et c’est probablement ce qui risque d’arriver : n’importe quoi.

On m’a suggéré plusieurs vidéos dans les dernières semaines. Je sens beaucoup de préoccupations de la part de mes collègues de tous les horizons ; l’intelligence artificielle menace notre emploi et notre façon de vivre en société.

L’inéluctabilité de la chose donne lieu à beaucoup d’angoisse.

D’un point de vue tout à fait personnel, on dirait que les seules personnes qui sont enthousiastes sont à la tête d’entreprise à la recherche de financement et les gens qui croient en la promesse ridicule d’une société où l’humain ne fait que profiter sans contribuer.