Réponse directe
Une IA répond différemment selon qu'elle utilise le web ou non. Sans recherche web, elle puise dans sa mémoire interne, ce qu'elle a appris à l'entraînement : le stock. Avec recherche web, elle va chercher des pages en direct : le flux. Ces deux modes donnent souvent des réponses très différentes sur une même marque. L'enjeu n'est pas seulement de mesurer l'un ou l'autre, mais de contrôler dans quel régime on interroge l'IA — car si on ne contrôle pas ce réglage, on ne sait pas ce qu'on mesure.
Le problème
Quand vous demandez à une IA « quelles sont les meilleures marques de [votre catégorie] », vous supposez qu'elle vous donne une réponse. En réalité, elle peut vous en donner plusieurs, radicalement différentes, selon un réglage que vous ne voyez pas : a-t-elle cherché sur le web, ou a-t-elle répondu de mémoire ? A-t-elle mélangé les deux ?
C'est un angle mort énorme. Une marque peut être omniprésente quand l'IA fouille le web en direct, et quasi absente quand elle répond de mémoire. Ou l'inverse. Ces deux situations n'ont pas du tout les mêmes conséquences — et la plupart des mesures ne disent même pas dans quel mode elles ont été prises.
L'idée à comprendre
Il faut comprendre ce que fait une IA quand elle répond, parce que tout part de là.
Le stock, c'est sa mémoire. À l'entraînement, le modèle a absorbé des milliards de textes et en a retenu des associations durables : telle marque va avec telle catégorie, tel attribut. Quand il répond sans web, il puise là-dedans. Ce stock est stable (il ne bouge qu'au ré-entraînement) et profond (il reflète une réputation installée sur des années). Si une IA vous cite spontanément, sans aller chercher, c'est un actif solide.
Le flux, c'est ce qu'elle trouve en direct. Quand l'IA cherche sur le web, elle récupère des pages actuelles. Ce flux est réactif (un bon article récent peut vous faire apparaître) et volatil (il dépend de ce qui est en ligne aujourd'hui).
Les deux se travaillent différemment : le flux se gagne avec du contenu frais et du référencement ; le stock se gagne sur la durée. Une marque forte dans le flux mais faible dans le stock est visible aujourd'hui, fragile demain.
Et voici le point que presque personne ne pose franchement. Quand un outil interroge une IA pour « mesurer votre visibilité », sait-il dans quel mode l'IA a répondu ? La plupart du temps, non. Il envoie une requête, récupère une réponse, et ne contrôle pas si le modèle a déclenché une recherche web, pour quelle partie de la réponse, ni s'il a mélangé mémoire et web. La réponse obtenue est donc un mélange de régimes non maîtrisé.
Conséquence directe, et il faut la dire honnêtement : un outil qui scrape les réponses d'IA ne mesure ni proprement le stock, ni proprement le flux. Il mesure quelque chose d'indéterminé — et il ne peut pas dire quoi. Ce n'est pas qu'il mesure « le flux » comme on le croit souvent. C'est qu'il ne sait pas ce qu'il mesure, parce qu'il ne contrôle pas le réglage.
Ce qu'on entend partout
« Votre visibilité IA, c'est ce que ChatGPT répond sur votre catégorie. » Répond comment ? De mémoire, sur le web, ou un mélange des deux ? Sans cette précision, « ce que ChatGPT répond » ne veut rien dire de mesurable.
« Nos outils mesurent votre présence dans les réponses des IA. » Dans quel régime ? Si l'outil ne le précise pas — et ne le contrôle pas — son résultat n'est pas qualifiable. On ne sait pas à quoi le rattacher.
« Pour être visible dans l'IA, publiez du contenu frais. » Bon conseil pour le flux. Sans effet sur le stock, qui ne bouge qu'au ré-entraînement. Confondre les deux, c'est promettre du durable avec un levier volatil.
Ma position de fond s'applique pleinement ici : seulement les faits. Et le premier fait, inconfortable, c'est qu'une mesure non contrôlée en régime n'est pas un fait exploitable. On ne peut pas conclure à partir de quelque chose dont on ignore la nature.
Ma vision : contrôler le régime, et dire où s'arrête la maîtrise
À partir d'ici, le registre change : on décrit l'instrument.
Ce qui distingue une mesure sérieuse, ce n'est pas de « capter le web ». C'est de contrôler le régime d'interrogation :
- Mesure en stock : interroger le modèle recherche web désactivée, pour capter sa mémoire propre.
- Mesure en flux : interroger recherche web activée, pour capter ce qu'il trouve en direct.
- Séparation nette : ne jamais mélanger les deux dans une même mesure ; chaque régime est isolé et identifié.
- Comparaison : l'écart stock/flux devient lui-même un indicateur (visibilité durable vs empruntée à l'actualité).
- Reproductibilité : chaque régime mesuré en répétition (n=20) avec marge d'incertitude, le tout scellé.
Contrôler le régime est ce qu'un scraper ne fait pas : il subit le mélange, mAIr le choisit.
Un avertissement, par honnêteté. Contrôler le régime d'interrogation (web activé ou non) ne signifie pas contrôler ce que le modèle fait à l'intérieur. Une IA reste une boîte noire : on ne maîtrise jamais à 100 % son fonctionnement interne. Ce que mAIr maîtrise, c'est les conditions de la mesure — le réglage, la répétition, le calcul, le scellement. Pas l'intérieur du modèle. Mesurer rigoureusement, ce n'est pas prétendre lire dans l'IA ; c'est interroger dans des conditions connues et constantes, et le dire.