Analyse de sentiments et détecteurs de métaux

A l'instar d'un détecteur de métaux, l'analyse de sentiments fournit une information qui demande à être contrôlée. L'analogie, proposée lors du premier symposium sur le sujet mi-avril à New York, est reprise dans un billet passionnant sur le blog de Lingway : Sentiment Analysis Symposium : Lingway y était. Ce billet apportes des repères, mais soulève aussi quelques questions.

L'analogie semble en effet flatteuse. Si vous faites sonner le portique de sécurité dans un aéroport, alors vous êtes palpé. C'est la règle. L'intervention humaine se limite dans ce cas à lever les fausses alertes. Qu'en est-il dans le cas de l'analyse de sentiments ? Quand faut-il intervenir? Lorsque le logiciel ne sait pas traiter l'information ou également lorsqu'il la classe à tort dans l'une des catégories (positive, négative, les deux, ou neutre) ? La question reste ouverte, même si des éditeurs avancent des indicateurs de pertinence supérieurs à 90% pour les informations classées dans les catégories positive et négative.

80% de taux de réussite

Le taux de pertinence global dans la classification des opinions pourrait en fait atteindre 80%. « Et comme c’est aussi le taux moyen d’accord de deux jugements humains face à une expression (écrite) de sentiment, il semble illusoire de vouloir aller plus loin », souligne l'auteur du billet. Dans un livre blanc consacré au sujet et publié l'année dernière, Digimind se montre pour sa part un peu moins optimiste. Le spécialiste de la veille avance un taux de pertinence compris entre 70 et 75%.

En dépit de ces bons scores, l'analyse de sentiments a encore de beaux défis à surmonter. Trois d'entre eux sont repris dans le billet de Lingway. Le multilinguisme pour commencer. Ce n'est sans doute pas le plus complexe des trois à traiter. Les éditeurs américains ont dégainé les premiers, mais il existe aujourd'hui des initiatives dans les autres pays, par exemple le projet iPinion en France.

Plus ardu consiste à passer de l'analyse de sentiment à celle de l'influence. Ce qui présuppose d'être à même d'évaluer l'impact des différentes informations publiées en ligne. Et enfin, le sujet sans doute le plus ardu : s'attaquer non plus seulement à des entités nommées, dont les marques, mais à des sujets de société.

Larry Ellison ne resterait plus muet

Les limitations actuelles et les défis qui restent à relever dans l'analyse de sentiment ne doivent pas faire oublier les incroyables avancées opérées ces dernières années. Je me rappelle d'une conférence lors du salon Comdex Spring à Atlanta vers la fin des années 90. CNN et Oracle avaient conclu un accord autour du service CNN News.

Leurs deux champions, Ted Turner et Larry Ellison, faisaient le show sur scène tout en s'échangeant quelques piques. En réponse à l'une d'elles, le vice-chairman de Time Warner lança : « très bien, maintenant je voudrais les news qui parlent en bien de ma société et celles qui disent du mal de mes concurrents ». Le PDG d'Oracle n'avait su répondre. Ce n'est plus un défi aujourd'hui.

 

Promo Newsletter