Social listening et IA : apports, limites et méthode de contrôle avec l’humain

Dans ma pratique de formateur et consultant, l’IA a réduit de 8 heures à 2 heures le temps de tri et de synthèse des verbatims, et m’a permis de passer de 5 à 10 sujets de veille suivis en parallèle. Elle est peu fiable sur l’ironie, les signaux faibles et le contexte culturel local. Vérifier manuellement 5 à 10 % des mentions, en ciblant les plus influentes, est d’usage pour fiabiliser les scores de sentiment.

“Ce nouveau produit, il tue.” Un outil d’analyse de sentiment peut classer ce verbatim comme négatif, alors qu’un lecteur humain y voit lui un compliment.

Cet écart résume le thème du #RDVLEW n°23, diffusé en live sur LinkedIn, avec Fabienne Billat, Conseil en communication, influence, stratégie numérique et speaker qui observe depuis 15 ans les usages numériques et les réseaux sociaux et accompagne des dirigeants sur leur notoriété. 

L’IA peut-elle analyser les émotions en social listening ?

L’IA décrypte et simule les émotions, mais ne les ressent pas. C’est la réponse de Fabienne Billat, qui souligne aussi la tendance des modèles à brosser l’utilisateur dans le sens du poil.

Pour montrer ce qui distingue le cerveau humain, Fabienne a proposé un exercice de neurosciences : ne pas penser à un ballon rouge pendant dix secondes. L’image du ballon apparaît avant même que la consigne de négation soit traitée. Cet exercice illustre que 95 % de nos activités quotidiennes relèvent d’un système automatique et rapide.

L’analyse de sentiment, c’est-à-dire la classification automatique d’une mention en positive, négative ou neutre, ne dispose pas de ce système. Des formulations comme “je déteste pas”, “pas mal” ou “c’est pas faux” peuvent être classées en négatif parce que l’outil retient les mots négatifs sans comprendre le sens global.

Comment l’IA accélère-t-elle la veille sur les médias sociaux ?

L’IA prend en charge les tâches situées entre la collecte et l’analyse : tri des verbatim, regroupement par thème, première synthèse. Par exemple, avant, je lisais et classais à la main des centaines de verbatim pour dégager les thèmes et la tonalité, puis je rédigeais les synthèses hebdomadaires ou mensuelles.

Mon processus actuel repose sur deux briques. La collecte passe par un outil de social listening. Le tri et la structuration passent par Claude ou encore ChatGPT, qui m’aident aussi à construire les requêtes. Au final, une tâche de 8 heures en demande environ 2, et je suis aujourd’hui 10 sujets clients en parallèle contre 5 il y a 5 ans, à temps de travail égal.

Le choix de ce qui compte pour le client, la prise en compte du contexte et les recommandations restent de ma responsabilité. L’IA fournit la matière, et l’analyste lui donne du sens.

Faut-il laisser faire l’IA pour générer les requêtes booléennes ?

Pour gagner du temps oui, à condition de savoir les relire et les corriger. Une requête booléenne combine des mots-clés et des opérateurs (AND, OR, NOT) pour définir ce que la veille inclut et exclut. Elle détermine la qualité de tout le corpus analysé ensuite.

Fabienne Billat a cité la déclaration d’un ministre selon laquelle, avec 300 mots de vocabulaire, on devient le jouet de l’IA. Avec un socle de connaissances et de vocabulaire, l’IA reste un outil : elle propose une requête, l’utilisateur la réajuste. Accepter ses propositions sans les examiner revient à lui déléguer une partie de sa réflexion. Fabienne relie ce risque à l’”effet cobra”, situation où une solution aggrave le problème qu’elle devait résoudre.

Quelles sont les limites de l’IA en analyse de sentiment ?

Les principales limites sont l’ironie, les signaux faibles, le contexte culturel local et les références à l’actualité. Ces erreurs sont d’autant plus risquées qu’elles s’affichent avec des dataviz soignées et des chiffres en apparence solides.

Un cas client l’illustre bien. Pour une structure de l’agri-tech présente dans plusieurs pays, l’analyse de sentiment automatisée appliquait la même grille de lecture partout. La réglementation, le vocabulaire et les mobilisations agricoles diffèrent pourtant d’un pays à l’autre : une publication neutre dans un pays peut être très négative dans un autre. Nous avons validé les sentiments pays par pays, en tenant compte des réalités locales, pour éviter une lecture faussée de la réputation de la marque sur certains marchés.

L’ironie pose un souci particulier en France, où le second degré est omniprésent. Les signaux faibles échappent à l’IA parce qu’ils ne reposent pas sur le volume de mentions, alors que les outils raisonnent plutôt en volume.

Pour limiter ces erreurs, je lis un échantillon de verbatim avant de valider un score, je fais relire l’analyse de chaque pays par une personne qui connaît le terrain, et je fournis à l’IA le secteur, le pays et l’actualité du moment dans chaque consigne. L’IA lit la langue, l’analyste lui, apporte le contexte.

Quelle part des mentions faut-il vérifier à la main ?

Il est recommandé de vérifier 5 à 10 % des mentions, au hasard et parmi les plus influentes, pour contrôler le score de sentiment.

L’échantillon combine des mentions tirées au hasard et les mentions les plus influentes. Vous mesurez ensuite l’écart entre votre lecture et celle de l’outil, puis vous ajustez les requêtes.

Les scores de sentiment sont fiables pour dégager des tendances sur de gros volumes. Ils le sont beaucoup moins pour une mention isolée, un propos ironique ou un jargon métier. Sur les outils de social listening, il est possible de corriger manuellement le sentiment et de prioriser les mentions à forte portée lors d’un pic, afin qu’un humain les valide avant toute remontée à la direction.

Pendant le live, un spectateur a demandé comment convaincre sa direction de conserver une analyse humaine. L’argument que je lui ai donné porte sur la responsabilité : en cas d’erreur dans un rapport présenté au COMEX, quelqu’un devra l’assumer, et l’IA ne signe pas. Fabienne a rappelé le cas d’un avocat américain ayant plaidé avec une jurisprudence inventée par un outil d’IA, exemple public des risques d’une délégation sans aucun contrôle.

Faut-il dire à ses clients que l’on utilise l’IA ?

La réponse est oui. 

Un client qui découvre après coup que l’IA a participé au travail peut le vivre comme une rupture de confiance. J’explique donc à mes clients ce que fait l’IA (collecter, trier, préparer les données) et ce qui reste humain (validation, analyse, recommandation).

Cette transparence répond à une objection fréquente : pourquoi payer si l’IA fait une partie du travail ? Le client ne rémunère pas le temps passé à trier des verbatim. Il rémunère l’expertise qui permet de savoir ce qui compte et quoi en faire. 

En formation, j’intègre l’IA au programme et je réalise des démos en direct, avec les réussites et bien entendu je montre les erreurs.

L’objectif pédagogique est que les apprenants sachent quand faire confiance à l’outil et quand vérifier ses résultats.

Fabienne a parlé de l’authenticité ensuite. La voix, le rythme, la posture et l’enthousiasme pèsent souvent plus que les mots dans l’adhésion à un propos. Elle a raconté avoir présenté sa start-up à un contact sans maîtriser son pitch. Il lui a répondu qu’il n’avait pas tout compris mais que le projet lui plaisait, et ils se sont revus quelques jours plus tard. Pour Fabienne, les maladresses d’un texte humain sont aussi des marqueurs de sincérité, là où de nombreux contenus générés par IA paraissent répétitifs et très corporate.

A retenir

L’IA rend la veille plus rapide et permet de couvrir davantage de sujets. Ses angles morts persistent, en particulier sur l’émotion, l’ironie et le contexte local, qui restent le domaine où l’expertise humaine fait la différence. Fabienne Billat invite à dépasser l’opposition entre technophiles et technophobes. Pour une équipe marketing, cela se traduit par une décision concrète : définir à quelles étapes de la veille un humain valide les résultats de l’IA.

Le replay du rendez-vous LEW n°23 est disponible ici 

FAQ : Questions fréquentes sur l’IA et le social listening

L’IA peut-elle remplacer un analyste en social listening ? Non. L’IA automatise le tri et la synthèse des verbatim, mais l’interprétation du contexte, la détection des signaux faibles et les recommandations stratégiques restent des tâches humaines.

Pourquoi l’analyse de sentiment automatique se trompe-t-elle sur l’ironie ? Les outils classent les mentions à partir des mots employés. Une phrase comme « ce produit, il tue » contient un terme négatif mais exprime un compliment, ce que l’outil ne détecte pas sans contexte.

Quel pourcentage de mentions vérifier à la main ? Entre 5 et 10 % des mentions, en combinant un tirage au hasard et les mentions les plus influentes, puis en ajustant les requêtes selon les écarts constatés.

Quels outils combiner pour une veille assistée par IA ? Un outil de social listening comme Talkwalker pour la collecte, puis un assistant IA comme Claude ou ChatGPT pour structurer les requêtes, regrouper les verbatim par thème et préparer les synthèses.