Réponse directe
Une mesure de visibilité IA est fiable à condition d'être répétée. Une IA ne répond pas deux fois exactement pareil : interroger un modèle une seule fois ne donne pas une mesure, mais un instantané. La fiabilité vient de la répétition (poser la même question de nombreuses fois), du calcul mécanique des résultats, et de l'affichage d'une marge d'incertitude. Sans ces trois conditions, un « score de visibilité » n'est pas faux — il est simplement non fiable, parce qu'il ne dit pas à quel point il est stable.
Le problème
C'est l'objection que tout le monde a en tête, et elle est légitime : « si l'IA change de réponse à chaque fois, comment voulez-vous mesurer quoi que ce soit ? »
Elle est légitime parce qu'elle est vraie. Posez deux fois la même question à ChatGPT, vous obtiendrez souvent deux réponses différentes. Demandez à Claude et à Gemini, l'écart peut être énorme. C'est la nature même des modèles : ils ne récitent pas une vérité stockée, ils génèrent une réponse probable, et le probable bouge.
La plupart des outils du marché esquivent cette difficulté au lieu de l'affronter. Ils posent la question une fois, récupèrent une réponse, la transforment en score, et vous l'affichent comme si c'était gravé dans le marbre. C'est confortable à vendre. C'est trompeur à utiliser.
L'idée à comprendre
Reprenons une image qui parle. Dans un tribunal, on ne condamne personne sur la base d'un seul témoin, aussi convaincant soit-il. On croise les témoignages, on confronte les versions, on vérifie les pièces. Un témoin seul à la barre, même brillant, ne fait pas une vérité judiciaire.
Une réponse d'IA, c'est ce témoin. Extraordinairement convaincant, et seul à la barre. Le prendre au mot, c'est condamner sur un seul témoignage.
La solution n'est pas d'abandonner la mesure — c'est de croiser. Concrètement, mesurer la visibilité d'une marque de façon fiable suppose trois gestes :
- Répéter : poser la même requête un grand nombre de fois (par exemple 20), pour voir non pas une réponse mais la distribution des réponses.
- Quantifier la dispersion : si la marque apparaît dans 7 réponses sur 20, c'est une présence de 35 % — et cette fraction, mesurée sur un échantillon, peut être assortie d'un intervalle de confiance.
- Calculer mécaniquement : compter les présences, les rangs, les citations — sans demander à une IA de « juger » le résultat (ce qui rajouterait de l'instabilité par-dessus l'instabilité).
L'instabilité d'un modèle ne disparaît pas. Mais une fois mesurée et chiffrée, elle devient elle-même une information utile : une marque dont la présence varie de 35 % à 100 % selon le mode d'interrogation apprend quelque chose d'important sur sa visibilité.
Ce qu'on entend partout
« Les IA hallucinent et changent tout le temps, donc c'est impossible à mesurer. » Faux raccourci. C'est justement parce que ça varie qu'il faut mesurer rigoureusement, au lieu de regarder une fois. On mesure bien la météo, qui est instable, parce qu'on répète et qu'on modélise l'incertitude.
« Il suffit de poser la question pour voir. » Voir, oui. Mesurer, non. Une interrogation manuelle vous donne une impression. Une impression n'est pas une donnée sur laquelle décider un budget.
« Notre score est fiable, il est mis à jour en continu. » La mise à jour continue d'un chiffre non répété, c'est de l'instabilité affichée en temps réel. La fréquence de rafraîchissement ne remplace pas la répétition de la mesure.
Et c'est exactement là qu'arrive ma position : pas de confiance en l'IA, ni dans le vendeur, mais seulement dans les faits. Une réponse d'IA n'est pas un fait. Une mesure répétée, chiffrée, avec son incertitude affichée — ça commence à en être un.
Ma vision : l'instabilité se mesure, elle ne s'ignore pas
À partir d'ici, le registre change : on décrit l'instrument.
Rendre une mesure de visibilité IA fiable repose sur des choix de méthode explicites :
- n=20 : chaque requête est posée vingt fois en production, pour saisir la distribution réelle des réponses, pas un cas isolé.
- Intervalle de confiance (IC95) : le résultat est donné avec sa marge, pour qu'on sache à quel point il est stable.
- Calcul mécanique : toute l'agrégation (présence, rang, part de voix, stabilité) est faite en code. L'IA ne note jamais.
- Mesure de la stabilité elle-même : la constance des réponses devient un indicateur à part entière (une marque peut être très présente et très instable — c'est une information).
- Scellement : le rapport est daté et signé, donc reproductible et opposable.