Et si l'IA qui vous répondait n'était pas toujours la même ?

Pendant longtemps, nous avons considéré une réponse d'IA comme un bloc unique. On pose une question, l'IA répond, fin de l'histoire.

Pourtant, une question reste rarement posée : comment cette réponse a-t-elle été construite ? A-t-elle été produite à partir des connaissances internes du modèle, ou bien après consultation du Web ?

La différence paraît subtile. Nos mesures montrent qu'elle peut profondément modifier le discours produit.

Une même question. Deux raisonnements différents.

Pour une même interrogation — « Faut-il faire confiance aux mesures de visibilité dans les IA ? » — nous avons comparé deux situations :

• l'IA répond uniquement avec ses connaissances internes ;
• l'IA répond après avoir consulté le Web.

Le résultat n'est pas simplement une réponse plus longue ou plus récente. Les critères mis en avant changent eux aussi.

Par exemple, sur cette mesure :

• le critère sécurité est nettement plus présent lorsque l'IA répond sans consulter le Web ;
• à l'inverse, la demande du marché devient beaucoup plus importante lorsque la recherche Web est activée.

Autrement dit : l'IA ne se contente pas d'ajouter des informations. Elle peut réorganiser les critères qu'elle considère comme importants.

Une réponse… mais quel moteur a réellement travaillé ?

Pour l'utilisateur, ces deux réponses se ressemblent. Dans les deux cas, le style est similaire, la mise en forme est similaire, le niveau de confiance paraît identique.

Pourtant, le raisonnement ayant conduit à la réponse n'est pas forcément le même. C'est une différence importante.

Aujourd'hui, les grands modèles alternent entre connaissances internes et récupération d'informations externes selon les capacités du produit, les paramètres disponibles ou la nature de la question. Cette architecture est largement connue sous le nom de Retrieval-Augmented Generation (RAG), qui combine les connaissances du modèle avec des informations récupérées depuis des sources externes.

Mais, dans la plupart des interfaces, l'utilisateur ne sait pas toujours précisément quel mode a été utilisé pour produire la réponse.

Ce n'est pas seulement une question technique

Cette distinction devient stratégique. Deux décideurs peuvent poser exactement la même question. L'un obtient une réponse principalement fondée sur la mémoire du modèle ; l'autre, une réponse enrichie par les contenus actuellement disponibles sur le Web.

Les deux réponses peuvent être pertinentes. Elles peuvent pourtant orienter la décision de manière différente.

Nos mesures n'expliquent pas pourquoi cette différence apparaît. Elles montrent simplement qu'elle existe sur la question étudiée.

Pourquoi cela change la façon d'interpréter une IA

Pendant des années, nous avons évalué les IA en comparant leurs réponses. Demain, il faudra probablement commencer par comprendre comment ces réponses ont été produites.

Car deux réponses identiques en apparence peuvent reposer sur deux constructions différentes :

• l'une issue principalement de la mémoire du modèle ;
• l'autre influencée par les informations que le Web rend visibles au moment de la requête.

Des travaux récents montrent d'ailleurs que les systèmes de recherche générative diffèrent fortement dans leur recours aux connaissances internes, aux sources externes et dans la stabilité de leurs réponses, ce qui introduit de nouvelles dimensions d'évaluation au-delà de la simple qualité de la réponse finale.

Une nouvelle question pour les entreprises

Lorsqu'une entreprise cherche à améliorer sa visibilité dans les IA, une interrogation devient alors essentielle : cherche-t-elle à influencer ce que l'IA « sait »… ou ce que l'IA « trouve » ?

Ce ne sont probablement pas les mêmes leviers. Et il est possible que ce ne soient pas les mêmes stratégies de communication, de contenu ou de présence sur le Web.

Ce que montre cette étude

Fait démontré

Pour la question analysée, l'activation de la recherche Web s'accompagne de changements mesurables dans les critères mis en avant par les IA, notamment sur la sécurité, la demande du marché et la qualité.

Observation récurrente

Les architectures modernes de recherche générative combinent de plus en plus les connaissances internes des modèles avec des informations récupérées en temps réel, ce qui peut modifier le contenu et la structure des réponses.

Question ouverte

À l'avenir, les utilisateurs auront-ils systématiquement la possibilité de savoir si une réponse provient principalement de la mémoire du modèle ou d'une recherche sur le Web ? Cette étude ne permet pas d'y répondre. Elle montre seulement que cette distinction peut avoir un impact mesurable sur le discours produit.