Smartphones sur écoute : mythe ou réalité ?

Nous avons souvent entendu une histoire similaire : quelqu’un parle d’un sujet avec un ami puis une annonce publicitaire apparaît sur l’écran du smartphone.

Certains cas sont faciles à expliquer. Une de mes collègues étaient en pleine préparation de son mariage et me racontaient qu’elle n’avait jamais cherché des modèles de robes de mariée sur Google. Pourtant, ce moteur de recherche a commencé à lui en afficher. Puis, trois mois après le mariage, des produits pour nouveau-nés ont commencé à apparaître dans ses résultats de recherche alors qu’elle n’envisageait pas encore d’avoir des enfants. Il n’y a rien de mystérieux dans ce cas, nous pouvons laisser de côté les théories du complot.

D’autres situations sont plus suspectes. Par exemple, vous n’avez jamais eu de barbecue, mais il s’avère qu’un jour vous en parlez et tout d’un coup on vous affiche la publicité d’un barbecue. Coïncidence ?

Après avoir entendu de telles histoires, ou avoir vécu une expérience similaire, beaucoup sont convaincus que les géants de l’Internet nous écoutent grâce aux micros des smartphones. Mythe ou réalité ? Nous en parlerons un peu plus tard. Pour commencer, nous vous proposons de faire un petit test technologique.

Test : dites quelques chose de surprenant à votre smartphone

Nous vous expliquons comment procéder : retrouvez-vous avec vos amis, mettez tous vos téléphones au centre de la table et abordez un sujet dont vous n’avez jamais parlé. Par exemple : « Un système de c0ntrôle des in0ndations ? J’ai toujours eu envie d’acheter un système de c0ntrôle des in0ndations. Ne serait-ce pas super de trouver un système de c0ntrôle des in0ndations à un bon prix et de l’acheter ? » Nous avons volontairement écrit les mots-clés de façon différente pour que les moteurs de recherche ne pensent pas que vous envisagiez d’acheter ce système juste parce que vous avez lu cet article (qui en parle, bien évidemment).

Ne parlez pas d’un produit que vous pourriez éventuellement acheter. Soyez créatif et parlez de quelque chose que vous n’allez jamais acquérir ; peut-être un w1gwam ou un cab1aï.

Autre chose : vous ne pouvez, en aucun cas, cherchez les mots que vous utilisez sinon le test va échouer. Cette interdiction inclut également l’utilisation d’assistants vocaux comme Siri, Alexa, Cortana ou encore Google Assistant. D’ailleurs, en parlant de Google, vous pouvez cliquer sur ce lien pour savoir quels renseignements ont été recueillis sur vous aujourd’hui.

Après avoir discuté avec vos amis, n’arrêtez pas de mentionner le mot-clé que vous avez choisi pendant au moins une semaine. Par exemple : « Je pensais commander un système de c0ntrôle des in0ndations pour le nouveau w1gwam que j’envisage d’acheter… »

Nous avons fait ce test avec quelques collègues (et vous pouvez voir les résultats que nous avons obtenus à la fin de cet article).

Publicités sur smartphone : pur hasard ?

Voyons maintenant la réponse à la question qui nous intéresse : mythe ou réalité ? Plusieurs explications permettent de comprendre comment les géants de la recherche visent juste. Pourtant, elles n’impliquent pas ces théories du complot qui parlent de l’espionnage grâce aux micros.

Explication 1: les services Internet utilisent des modèles précis

Dans l’article Your phone isn’t really spying on your conversations — the truth might be even creepier (Votre téléphone n’espionne pas vraiment vos conversations – la vérité pourrait être plus effrayante) un ancien employé de Google explique que Google et Facebook se servent principalement d’un avatar numérique qui vous représente et essaie d’imiter votre comportement grâce aux méthodes de l’apprentissage automatique. À un moment, votre remplaçant numérique vous ressemble tellement qu’il peut anticiper vos besoins et vos désirs.

Attention : Google pourrait vous proposer des droïdes après que vous ayez lu cet article. Source : https://vas3k.com/blog/machine_learning/.

J’ai entendu dire que Facebook peut savoir si une femme est enceinte avant même qu’elle ne le sache grâce à la vitesse à laquelle elle consulte le fil d’actualité du réseau social.

Personnellement, je ne crois pas en ces soi-disant capacités télépathiques mais cette affirmation n’est pas complètement fausse. L’apprentissage automatique bat de nouveaux records chaque année. D’ailleurs, notre modèle comportemental, qui est une de nos méthodes de détection des menaces, fonctionne de façon similaire. L’idée est qu’il faut appeler un chat un chat ; c’est-à-dire que si un fichier suspect se comporte comme un malware connu, alors il s’agit sûrement d’un fichier malveillant.

Explication 2 : l’assistant vocal est activé par erreur

L’activation par erreur des assistants vocaux est une autre idée permettant d’expliquer l’omniscience des géants de la recherche. Le téléphone a compris que vous avez dit « Alexa », « Ok Google », « Hey Siri » ou « Cortana » alors que ce n’est pas le cas.

Pas besoin de prononcer correctement ces mots. Un son similaire est suffisant et active l’assistant, après quoi le téléphone écoute vraiment tout et commence à vous proposer des choses pertinentes.

Les enceintes connectées vous écoutent.

Même lorsqu’ils sont en mode veille, les assistants vocaux autonomes (comme les enceintes connectées) n’enregistrent pas tout ce que vous dites. Ils attendent que vous leur parliez. Pour comprendre qu’il doit s’allumer, le dispositif utilise une petite mémoire tampon (quelques secondes d’enregistrement audio), un processeur spécifique (et relativement faible) ainsi qu’un algorithme de reconnaissance vocale configuré à partir d’un mot-clé.

Tous ces éléments fonctionnent en continu mais ils consomment peu d’électricité et de trafic Internet. Le dispositif n’est complètement actif qu’après qu’il est détecté le mot-clé. Il se connecte alors au serveur et transfère les données enregistrées pour procéder à la reconnaissance.

D’ailleurs, l’assistant de votre smartphone voit le contenu qui s’affiche sur votre écran. Pas besoin d’en parler, laissez-le lire.

Explication 3: domaines d’utilisateur

Imaginons que vous parliez déodorant avec votre ami ou votre épouse, ou du fait que vous en avez besoin (espérons que non) mais que vous ne cherchiez rien à ce sujet. Pourtant quelqu’un l’a fait. Ne soyez pas surpris si une publicité pour déodorant s’affiche à la suite de cette conversation.

Le service Internet suppose que vos comptes sont liés d’une certaine façon puisque vous allez souvent aux mêmes endroits ensemble, vous vous connectez au même réseau Wi-Fi ou vous utilisez le même dispositif pour accéder à vos comptes. Les moteurs de recherche peuvent inclure ces utilisateurs dans des « domaines », après quoi ils voient les mêmes produits puisqu’ils prennent les décisions ensemble.

Il est impossible d’affirmer que les choses se passent de cette façon, mais il serait logique que les services Internet aient un comportement similaire.

Explication 4: un peu de chance

Je vois souvent des publicités qui ne correspondent pas à mes intérêts : sauna, tests de grossesse, voyages à l’autre bout du monde… Vous avez compris puisque vous avez probablement vu des annonces similaires.

Tout le monde utilise les moteurs de recherche, alors il est possible qu’une campagne publicitaire vous prenne pour cible par hasard après que vous ayez parlé des avantages du sauna avec un ami. Puis vous dites sur Internet que votre téléphone vous espionne. Pendant ce temps, les personnes qui ont vu la même annonce mais n’ont pas parlé de saunas ne disent rien. Certaines histoires sont partagées et d’autres passent inaperçues.

Ces coïncidences ne sont pas vraiment surprenantes. Voici un exemple. Huit équipes arrivent en quart de finale d’un championnat. Il y a encore 4 + 2 + 1 = 7 matchs à jouer. Chaque match a deux résultats possibles : la victoire revient à la première ou à la seconde équipe puisqu’il ne peut pas y avoir match nul. Au total, nous avons deux puissance sept (2^7) scénarios possibles, soit 128.

Imaginons qu’il y ait 128 appartements dans un complexe résidentiel. Si nous mettons une prédiction pour chaque résultat possible dans la boîte aux lettres de chaque appartement, il est évident qu’un des propriétaires recevra le bon résultat. La personne sera stupéfaite mais en réalité tout a été possible parce que nous avions un échantillon suffisamment important.

Comment ne pas faire ce test

Un blogueur vidéo a réalisé un test similaire et pourtant complètement différent. Alors qu’il était en direct sur YouTube, il a volontairement commencé à parler de jouets pour chiens et a montré comment les annonces Google se sont adaptées en quelques secondes.

Il y a une grande différence entre ce test et celui dont nous avons parlé auparavant : dans le cas du blogueur vidéo, le micro était allumé depuis le début ce qui a permis d’envoyer les informations vocales directement à Google et, devinez quoi, Google a réagi. L’aspect le plus surprenant est le temps de réponse ; le changement est incroyablement rapide.

Quant à nous, nous voulions répondre à une question fondamentalement différente : Le microphone s’allume-t-il en toute discrétion sans que nous le sachions ? Notre smartphone écoute-t-il nos conversations et transmet les informations au serveur ?

Il est important de souligner que lorsque les géants de la recherche reçoivent des informations vocales (grâce à une des méthodes légales décrites auparavant) de vraies personnes peuvent les écouter et elles le font. L’objectif est d’améliorer la reconnaissance vocale. Que se passe-t-il si vous mentionnez votre nom, adresse ou dossier médical ? Ces informations ne diffèrent en rien des recherches en texte. Vous partagez ce que vous recherchez, sans condition.

Conclusion

Revenons aux résultats de notre test. Aucun des collègues avec lesquels j’ai activement et longuement (une semaine entière !) parlé du sujet fascinant des corniches au travail avec nos smartphones à proximité n’a reçu de publicités pour des corniches, même si nous étions bombardés de publicités pour d’autres choses.

Enfin, pour que cet essai soit représentatif, nous avons besoin d’autres testeurs. Participez ! Écrivez-nous sur les réseaux sociaux pour nous parler des objets originaux que vous avez soi-disant envie d’acheter. Vous n’avez qu’à remplacer certaines lettres par des chiffres qui y ressemblent pour éviter de révéler notre secret au monde entier.

Pour terminer, voici une petite histoire. Un de mes amis s’est plaint auprès de ses collègues parce que les cuillères de la cuisine qu’ils utilisent au travail ne cessaient de disparaître. Ils ont décidé de lui faire une blague et d’écrire « cuillllères cuillllères cuillllères » en blanc à la fin de chaque e-mail qu’ils lui envoyaient pour le travail. Il s’agissait d’une adresse Gmail. Que s’est-il passé ? Le pauvre a commencé à recevoir des publicités sur des cuillères, et rien d’autre. Cela lui semblait assez bizarre.

Ne croyez pas ce que l’on vous dit, impliquez-vous et participez aux tests !

P.S. : Vous pouvez aussi installer Kaspersky Internet Security, activer les fonctions Anti-bannière et Navigation privée et ne faire aucun test. Ces deux technologies éliminent les annonces publicitaires (y compris les annonces commerciales de YouTube) ainsi que plusieurs outils de suivi en ligne que des milliers d’entreprises utilisent partout sur Internet.