Dois-je faire confiance à la réponse de l'IA pour une étude de marché ?

Des mesures réalisées sur plusieurs questions montrent que le problème ne se limite pas à savoir si une information donnée par une IA est vraie ou fausse. Le contenu même de l'analyse — les critères auxquels elle accorde de l'importance — peut fortement varier. Et certaines variations sont difficiles à anticiper à la lecture d'une seule réponse.

La réponse spontanée paraît pourtant raisonnable

Demandons simplement à une IA s'il est possible de lui faire confiance pour réaliser une étude de marché. La réponse attendue est relativement prévisible : oui, à condition de considérer l'IA comme un outil d'aide à l'analyse plutôt que comme une source unique de vérité. Elle peut identifier des critères de choix, proposer des segments, rechercher des concurrents, faire émerger des attentes ou organiser une analyse. Il faudra néanmoins vérifier les informations importantes, lui apporter suffisamment de contexte et, lorsque cela est nécessaire, travailler avec des informations récentes.

Cette prudence paraît raisonnable. Mais elle repose implicitement sur une hypothèse : l'IA analyserait globalement le même problème, et l'ajout d'informations viendrait principalement compléter ou préciser son analyse. Les mesures montrent une réalité plus complexe.

Quand la demande du marché disparaît d'une question sur l'étude de marché

Une première expérience porte précisément sur la question : « Comment mesurer des réponses IA pour mon étude de marché ? » Vingt réponses ont été mesurées sans recherche Web et vingt avec recherche Web. Sans recherche, trois catégories dominent :

• qualité : 95 % ;
• performance : 70 % ;
• praticité : 50 %.

Mais deux catégories sont totalement absentes : la demande du marché (0 %) et la rentabilité (0 %). Lorsque l'IA consulte le Web, la distribution change :

• demande du marché : 55 % ;
• rentabilité : 20 % ;
• performance : 90 % ;
• qualité : 70 %.

Le résultat est remarquable pour une raison simple. Une réponse sans recherche peut parfaitement sembler pertinente : elle parle de qualité, de performance, de précision, de pertinence des réponses, de KPI, de collecte de données ou encore d'analyse. Rien n'oblige le lecteur à percevoir immédiatement qu'un autre mode de réponse ferait apparaître beaucoup plus fortement la demande du marché. Une réponse peut donc sembler complète lorsqu'on ne dispose que de cette réponse pour juger de sa complétude.

Plus d'informations ne signifie pas simplement plus de critères

Une explication intuitive serait de considérer que la recherche apporte simplement des informations supplémentaires. Les mesures d'une autre étude rendent cette interprétation insuffisante. À la question : « Sur quels critères choisir un soin du visage ? », 60 réponses sans recherche et 60 réponses avec recherche ont été mesurées.

• le prix apparaît dans 93,33 % des réponses sans recherche, contre seulement 21,67 % avec recherche — soit près de 72 points perdus ;
• la santé connaît également une forte variation : 71,67 % sans recherche contre 40 % avec recherche ;
• la praticité reste pratiquement inchangée : 93,33 % contre 95 % ;
• la qualité reste également extrêmement présente : 88,33 % contre 98,33 %.

Le phénomène est donc plus subtil qu'un simple enrichissement de la réponse. Certains critères apparaissent relativement stables. D'autres peuvent voir leur importance mesurée changer considérablement. Et surtout, la variation peut aller dans les deux directions.

Un phénomène retrouvé sur une autre question

Une troisième étude interroge : « Faut-il faire confiance aux mesures de visibilité dans les IA ? » Ici encore, certains critères varient fortement tandis que d'autres restent presque identiques :

• la sécurité passe de 40 % sans recherche à 15 % avec recherche ;
• la demande du marché suit le mouvement inverse : de 8,33 % à 30 % ;
• la performance reste presque identique : 88,33 % contre 90 % ;
• la qualité demeure très présente : 86,67 % contre 96,67 %.

Trois questions différentes ne permettent évidemment pas d'établir une règle universelle applicable à toutes les intelligences artificielles et à tous les sujets. Elles suffisent en revanche à observer un phénomène : dans les mesures réalisées, certains critères restent relativement stables tandis que d'autres changent fortement de présence selon les conditions de réponse.

Le problème n'est donc pas seulement de savoir si l'IA se trompe

La plupart des débats sur la confiance accordée aux intelligences artificielles se concentrent naturellement sur l'exactitude. L'information citée existe-t-elle ? Le chiffre est-il correct ? La source est-elle fiable ? L'IA a-t-elle inventé quelque chose ? Ces questions restent essentielles. Mais les mesures en font apparaître une autre : qu'est-ce que l'IA n'a pas jugé suffisamment important pour apparaître dans sa réponse ?

C'est un problème beaucoup plus difficile à identifier. Une information fausse peut être vérifiée. Une information absente est différente : il faut d'abord savoir qu'il fallait la chercher. Dans la première étude, rien dans une réponse individuelle centrée sur la qualité, la performance ou la méthode ne permet nécessairement au lecteur de savoir que la demande du marché pourrait prendre une place beaucoup plus importante dans d'autres réponses.

Une réponse n'est pas nécessairement un comportement

Cela conduit à une deuxième difficulté lorsqu'on utilise une IA pour étudier un marché. Une réponse constitue une observation. Elle ne permet pas, à elle seule, de déterminer ce que l'IA répondrait de manière récurrente. Si un critère apparaît dans une réponse, est-il systématiquement considéré comme important ? S'il n'apparaît pas, est-il réellement absent de la représentation produite par l'IA ou simplement absent de cette réponse particulière ?

Les mesures répétées permettent justement de distinguer davantage ces situations. Dire qu'un critère apparaît dans 95 % de 20 réponses n'apporte pas la même information que constater sa présence dans une seule réponse. De même, constater 0 % sur 20 interrogations ne signifie pas que le critère ne pourra jamais apparaître : cela établit qu'il n'est apparu dans aucune des réponses de l'échantillon observé. Interroger une IA une fois permet d'obtenir une réponse ; répéter la mesure permet de commencer à observer un comportement.

La formulation et le contexte deviennent alors une question centrale

Une étude de marché ne commence jamais réellement par des données : elle commence par une question. Et ce que nous fournissons à l'IA contribue nécessairement à définir ce qu'elle doit analyser. Une question très générale laisse une grande latitude à l'IA pour déterminer elle-même les dimensions qu'elle considère pertinentes. Une demande plus contextualisée peut orienter l'analyse vers d'autres dimensions.

Les rapports étudiés ici ne permettent toutefois pas de quantifier directement l'effet d'un contexte ajouté par l'utilisateur : ils mesurent principalement la différence entre des réponses produites sans recherche Web et des réponses produites avec recherche Web. Cette distinction doit être conservée. Mais leurs résultats rendent une future comparaison particulièrement importante : une même étude réalisée à partir d'une question simple et à partir d'une question fortement contextualisée aboutit-elle à la même hiérarchie des critères ? C'est une question mesurable.

Alors, faut-il faire confiance à l'IA ?

Les observations ne permettent pas de conclure qu'une étude de marché réalisée avec une IA serait fausse. Elles ne permettent pas non plus d'affirmer qu'une réponse avec recherche serait intrinsèquement meilleure qu'une réponse sans recherche. Elles montrent autre chose : une réponse cohérente n'est pas nécessairement une représentation stable de ce que l'IA pourrait dire du marché.

Dans les expériences observées, l'importance accordée à certains critères varie de quelques points, tandis que d'autres connaissent des écarts de plusieurs dizaines de points. Dans un cas, la demande du marché passe de 0 à 55 %. Dans un autre, le prix passe de 93 à 22 %. Dans un troisième, la sécurité passe de 40 à 15 % tandis que la demande passe de 8 à 30 %.

La prudence à adopter ne consiste donc pas seulement à dire : « Vérifiez ce que dit l'IA. » Elle consiste également à se demander : « Qu'aurait-elle mis en avant si je lui avais posé la question autrement ou si elle avait disposé d'autres informations ? »

Pour une étude de marché, cette différence est majeure. Car une décision peut être influencée non seulement par les informations que l'IA fournit, mais également par les critères qu'elle place au premier plan et ceux qu'elle laisse hors de la réponse.

Ce que nous observons

• Fait démontré par ces mesures : la présence de certains critères varie fortement entre les conditions testées.
• Observation récurrente dans les trois études : certains critères restent relativement stables alors que d'autres connaissent des variations importantes.
• Hypothèse à tester : le niveau et la nature du contexte fourni à une IA pourraient modifier la hiérarchie des critères qu'elle utilise pour analyser un marché.

La question n'est donc peut-être plus simplement de savoir s'il faut faire confiance à l'intelligence artificielle. Pour celui qui utilise une IA afin de comprendre un marché, une question vient avant : une seule réponse suffit-elle pour savoir ce que l'IA pense réellement important ?