Réponse directe
Une mesure de visibilité IA est fiable à condition d'être répétée. Une IA ne répond pas deux fois exactement pareil : interroger un modèle une seule fois ne donne pas une mesure, mais un instantané. La fiabilité vient de la répétition (poser la même question de nombreuses fois), du calcul mécanique des résultats, et d'un protocole stable, scellé et vérifiable. Sans ces conditions, un « score de visibilité » n'est pas faux — il est simplement non fiable, parce qu'il ne dit pas à quel point il est stable.
Le problème
C'est l'objection que tout le monde a en tête, et elle est légitime : « si l'IA change de réponse à chaque fois, comment voulez-vous mesurer quoi que ce soit ? »
Elle est légitime parce qu'elle est vraie. Posez deux fois la même question à ChatGPT, vous obtiendrez souvent deux réponses différentes. Demandez à Claude et à Gemini, l'écart peut être énorme. C'est la nature même des modèles : ils ne récitent pas une vérité stockée, ils génèrent une réponse probable, et le probable bouge.
La plupart des outils du marché esquivent cette difficulté au lieu de l'affronter. Ils posent la question une fois, récupèrent une réponse, la transforment en score, et vous l'affichent comme si c'était gravé dans le marbre. C'est confortable à vendre. C'est trompeur à utiliser.
L'idée à comprendre
Reprenons une image qui parle. Dans un tribunal, on ne condamne personne sur la base d'un seul témoin, aussi convaincant soit-il. On croise les témoignages, on confronte les versions, on vérifie les pièces. Un témoin seul à la barre, même brillant, ne fait pas une vérité judiciaire.
Une réponse d'IA, c'est ce témoin. Extraordinairement convaincant, et seul à la barre. Le prendre au mot, c'est condamner sur un seul témoignage.
La solution n'est pas d'abandonner la mesure — c'est de croiser. Concrètement, mesurer la visibilité d'une marque de façon fiable suppose trois gestes :
- Répéter : poser la même requête un grand nombre de fois (par exemple 20), pour voir non pas une réponse mais la distribution des réponses.
- Quantifier la dispersion : si la marque apparaît dans 7 réponses sur 20, c'est une présence de 35 % — et cette fraction, mesurée sur un échantillon, reflète la dispersion mesurée sur l'échantillon.
- Calculer mécaniquement : compter les présences, les rangs, les citations — sans demander à une IA de « juger » le résultat (ce qui rajouterait de l'instabilité par-dessus l'instabilité).
L'instabilité d'un modèle ne disparaît pas. Mais une fois mesurée et chiffrée, elle devient elle-même une information utile : une marque dont la présence varie de 35 % à 100 % selon le mode d'interrogation apprend quelque chose d'important sur sa visibilité.
Ce qu'on entend partout
« Les IA hallucinent et changent tout le temps, donc c'est impossible à mesurer. » Faux raccourci. C'est justement parce que ça varie qu'il faut mesurer rigoureusement, au lieu de regarder une fois. On mesure bien la météo, qui est instable, parce qu'on répète et qu'on modélise l'incertitude.
« Il suffit de poser la question pour voir. » Voir, oui. Mesurer, non. Une interrogation manuelle vous donne une impression. Une impression n'est pas une donnée sur laquelle décider un budget.
« Notre score est fiable, il est mis à jour en continu. » La mise à jour continue d'un chiffre non répété, c'est de l'instabilité affichée en temps réel. La fréquence de rafraîchissement ne remplace pas la répétition de la mesure.
Et c'est exactement là qu'arrive ma position : pas de confiance en l'IA, ni dans le vendeur, mais seulement dans les faits. Une réponse d'IA n'est pas un fait. Une mesure répétée, chiffrée, avec son incertitude affichée — ça commence à en être un.
Ma vision : l'instabilité se mesure, elle ne s'ignore pas
À partir d'ici, le registre change : on décrit l'instrument.
Rendre une mesure de visibilité IA fiable repose sur des choix de méthode explicites :
- n=20 : chaque requête est posée vingt fois en production, pour saisir la distribution réelle des réponses, pas un cas isolé.
- Protocole stable : la mesure suit un protocole identique à chaque fois, validé par nos tests de convergence — c'est ce qui la rend reproductible.
- Calcul mécanique : toute l'agrégation (présence, rang, part de voix, stabilité) est faite en code. L'IA ne note jamais.
- Mesure de la stabilité elle-même : la constance des réponses devient un indicateur à part entière (une marque peut être très présente et très instable — c'est une information).
- Scellement : le rapport est daté et signé, donc reproductible et opposable.
Concrètement, qu'est-ce qui rend la mesure fiable ? La même question est posée n=20 fois, dans des conditions strictement identiques, selon un protocole stable validé par nos tests de convergence. Le taux obtenu (par exemple 35 %) est un fait observé : ce que l'IA a répondu, à un instant donné, sur ces 20 interrogations — pas une impression tirée d'un seul essai. Plus les réponses sont constantes, plus la mesure est stable.
Pourquoi ça compte. Un chiffre sorti d'un seul essai se fait passer pour une certitude. Une valeur observée sur n=20 interrogations, elle, dit ce que l'IA a réellement répondu — c'est la différence entre une impression et une mesure.
Comment c'est garanti. Tout est agrégé mécaniquement en code, jamais par l'IA, puis le résultat est scellé (signature HMAC, daté) et vérifiable publiquement — reproductible et opposable.