Comment localiser une personne et déterminer sa pose à l’aide du Wi-Fi ?

Pour trouver un (honnête) homme, nous savons que Diogène se servait d’une lanterne, le philosophe faisant donc uniquement appel à des méthodes de reconnaissance optique. De nos jours, cependant, les scientifiques suggèrent plutôt d’utiliser des signaux Wi-Fi. Plus précisément, la méthode développée par trois chercheurs de l’université Carnegie-Mellon exploite le signal d’un routeur Wi-Fi domestique ordinaire, non seulement pour localiser une personne à l’intérieur d’une pièce, mais également pour déterminer sa pose.

Pourquoi utiliser le Wi-Fi ? Il existe plusieurs raisons à cela. Premièrement, contrairement à la reconnaissance optique, les signaux radio fonctionnent parfaitement dans l’obscurité et ne sont pas perturbés par des obstacles mineurs comme des meubles. Deuxièmement, le Wi-Fi est bon marché, ce qui n’est pas le cas des autres outils qui pourraient potentiellement faire l’affaire, comme les lidars et les radars. Troisièmement, le Wi-Fi est déjà omniprésent, et il suffit donc de l’atteindre et de s’en servir. Mais à quel point cette méthode est-elle efficace ? Et à quoi peut-elle servir ? Plongeons dans le vif du sujet.

DensePose : une méthode de reconnaissance de poses humaines dans des images

Pour commencer, nous devons prendre un peu de recul ; d’abord, il convient de comprendre comment il est possible, de manière générale, de repérer avec précision un corps humain et ses poses. En 2018, un autre groupe de scientifiques a présenté une méthode appelée DensePose. Ils l’ont utilisée avec succès pour reconnaître des poses humaines sur des photographies, c’est-à-dire sur des images en deux dimensions ne contenant pas de données supplémentaires sur la profondeur.

Voici comment cette méthode fonctionne : tout d’abord, le modèle DensePose recherche dans les images des objets reconnus comme étant des corps humains. Ensuite, ces objets sont segmentés en zones distinctes, chacune correspondant à une partie du corps particulière, puis ces zones sont analysées individuellement. Cette approche est utilisée, car les différentes parties du corps ne bougent pas de la même manière : par exemple, la tête et le torse se déplacent très différemment des bras et des jambes.

DensePose peut déterminer avec précision la pose de corps humains sur des photographies, et même générer des cartes UV de leurs surfaces. Source

Ainsi, le modèle a appris à corréler une image 2D avec la surface 3D du corps humain, ce qui permet d’obtenir non seulement des annotations d’image correspondant à la pose reconnue, mais également une carte UV du corps représenté sur la photo. Cette dernière permet, par exemple, de superposer une texture sur l’image.

Plus impressionnant encore, cette technique permet de reconnaître avec précision la pose de plusieurs personnes sur des photos de groupe, y compris sur ces photos chaotiques de « bal de promo » où les sujets sont entassés et se cachent partiellement les uns les autres.

DensePose détermine avec précision la position des sujets sur des photos de groupe. Source

De plus, à en croire les images présentes dans l’article, ainsi que les vidéos publiées par les chercheurs, le système peut même traiter sans problème les positions corporelles les plus inhabituelles. Par exemple, le réseau de neurones identifie correctement les personnes à vélo, à moto et à cheval, et il détermine également avec précision la pose des joueurs de base-ball, des joueurs de football, et même des danseurs de breakdance qui bougent souvent de manière imprévisible.

Le modèle DensePose fonctionne bien, même pour des poses tout à fait inhabituelles. Source

Un autre avantage de DensePose est qu’il ne requiert pas une puissance de traitement extraordinaire pour fonctionner. À l’aide d’une carte graphique GeForce GTX 1080, qui n’était déjà pas haut de gamme au moment où l’étude a été publiée, DensePose capture 20 à 26 images par seconde avec une résolution de 240×320, et jusqu’à 5 images par seconde avec une résolution de 800×1100.

DensePose et le Wi-Fi : des ondes radio à la place des photos

En résumé, l’idée des chercheurs de Carnegie-Mellon était d’utiliser le modèle d’IA de reconnaissance corporelle DensePose, déjà hautement performant, et de lui transmettre des signaux Wi-Fi à la place des photographies.

Dans le cadre de leur expérience, ils ont utilisé la configuration suivante :

• Deux postes équipés de routeurs domestiques TP-Link standard et dotés de trois antennes, le premier servant d’émetteur, le second servant de récepteur.
• Une scène de reconnaissance située entre ces deux postes.
• Une caméra montée sur un support installée à côté du routeur récepteur et capturant la même scène que celle que les chercheurs cherchaient à reconnaître à l’aide des signaux Wi-Fi.

Schéma général du banc d’essai pour la reconnaissance de poses humaines à l’aide du Wi-Fi. Source

Ensuite, ils ont lancé DensePose, qui a identifié la position des corps à l’aide de la caméra installée à côté du routeur récepteur, puis ils lui ont demandé d’entraîner un autre réseau de neurones fonctionnant avec le signal Wi-Fi du routeur récepteur. Ce signal a été prétraité et modifié pour permettre une reconnaissance plus fiable, mais il n’est question que de détails mineurs. Le fait est que les chercheurs ont bel et bien réussi à générer un nouveau modèle DensePose fondé sur le Wi-Fi, qui reconstitue avec précision la position de corps humains dans l’espace à l’aide de signaux Wi-Fi.

Dans de bonnes conditions, le modèle reconnaît très bien les poses humaines. Source

Limites de la méthode

Cependant, pour le moment, il est inutile de se hâter d’écrire des gros titres comme « Des scientifiques apprennent à voir à travers les murs grâce au Wi-Fi ». Tout d’abord, ici, la « vision » est assez abstraite : le modèle ne « voit » pas réellement le corps humain, mais il peut prédire son emplacement et sa pose selon certaines probabilités, en se fondant sur des données indirectes.

La visualisation, à l’aide de signaux Wi-Fi, d’un objet comportant des détails complexes, représente un véritable défi. C’est ce que démontre une autre étude similaire, dans laquelle des chercheurs ont mené des expériences avec des objets beaucoup plus simples que des corps humains ; et le moins que l’on puisse dire, c’est que les résultats obtenus étaient loin d’être parfaits.

Visualisation d’objets à l’aide d’un signal Wi-Fi : moins les contours sont prononcés, pire est le résultat. Source

Il est également important de noter que le modèle développé par les chercheurs de l’université Carnegie-Mellon est nettement moins précis que la méthode originale de reconnaissance de poses sur des photographies, et que ce modèle souffre également d' »hallucinations » assez importantes. Le modèle a particulièrement du mal avec les poses ou les scènes inhabituelles qui impliquent plus de deux personnes.

Le modèle DensePose fondé sur le Wi-Fi ne permet pas de traiter correctement les poses non standard ou un grand nombre de corps humains dans une même scène. Source

Par ailleurs, les conditions de test de l’étude ont été minutieusement contrôlées : avec une géométrie simple et bien définie, une ligne de vue dégagée entre l’émetteur et le récepteur et des interférences radio minimes, les chercheurs ont tout organisé pour pouvoir « pénétrer » facilement la scène avec des ondes radio. Il est peu probable que ce scénario idéal se reproduise dans le monde réel.

Ainsi, si vous craignez que quelqu’un ne pirate votre routeur Wi-Fi et surveille ce que vous faites chez vous, rassurez-vous. S’il y a quelque chose à craindre chez vous, c’est vos appareils domestiques. Par exemple, certains distributeurs de nourriture intelligents pour animaux de compagnie ou même certains jouets pour enfants sont dotés d’une caméra, d’un microphone et d’une connexion au cloud, tandis que les aspirateurs robots sont équipés d’un lidar qui fonctionne parfaitement dans l’obscurité, en plus d’être capables de se déplacer.

Et juste devant chez vous, un espion à quatre roues vous guette également. En matière de quantité d’informations collectées, les voitures d’aujourd’hui ont des kilomètres d’avance sur les montres intelligentes, les haut-parleurs intelligents et les autres gadgets du quotidien.