Tesla et Mobileye : pilote automatique dupé par des images « fantômes »

Prenez une scène typique d’un film : le personnage principal pense avoir vu quelqu’un sur la route, alors il essaie de l’éviter et se retrouve dans un fossé. Maintenant, imaginez que c’est réel – en quelque sorte – et qu’au lieu d’une illusion d’optique ou d’un tour joué par notre esprit, il s’agit d’une image projetée pendant une fraction de seconde par un cybercriminel à laquelle le pilote automatique de la voiture doit réagir. Des chercheurs de Georgia Tech et de l’Université Ben-Gurion du Négev ont démontré que ce type d’attaque « visuelle » était possible lors de la RSA Conference 2021.

Le fait de montrer des images dangereuses à l’intelligence artificielle ne date pas d’hier. Ces techniques consistent en général à utiliser des images modifiées afin que l’intelligence artificielle réagisse de manière inhabituelle. Tous les algorithmes d’apprentissage automatique ont le même talon d’Achille : si on connaît les éléments essentiels qui permettent de reconnaître une image (c’est-à-dire si on sait comment fonctionne l’algorithme), il est possible de modifier les images afin de perturber le processus de prise de décisions de la machine ou bien pour l’inciter à faire une erreur.

Mais la nouveauté de cette approche présentée lors de la RSA Conference 2021, c’est que les images montrées au pilote automatique n’ont pas été modifiées. Le pirate informatique doit pour cela savoir comment fonctionne l’algorithme ou connaître les attributs qu’il utilise. Les images ont été brièvement projetées sur la route à côté d’une série d’objets immobiles, et voici les conséquences :

Cette fois-ci, les images sont apparues pendant une fraction de seconde sur un panneau publicitaire se trouvant sur le bord de la route. Les résultats sont similaires :

Les auteurs de l’étude en ont conclu que les cybercriminels peuvent causer des ravages à distance sans laisser aucune preuve sur la scène du crime. Tout ce qu’ils doivent savoir, c’est combien de temps ils doivent projeter l’image afin de duper l’intelligence artificielle (les voitures autonomes possèdent un seuil de déclenchement afin d’éviter les faux positifs qui pourraient, par exemple, être causés par de la poussière ou de la terre sur la caméra ou le radar optique).

Désormais, la distance de freinage d’une voiture est mesurée en dizaine de mètres, donc en rajouter quelques-uns pour mieux évaluer la situation n’était pas un problème pour les développeurs en intelligence artificielle.

Temps nécessaire pour montrer une image fantôme aux systèmes de reconnaissance de Tesla et de Mobileye. Source

Cependant, les quelques mètres parcourus concernent le système de vision artificielle de Mobileye à une vitesse de 60 km/h. Ici, le temps de réaction est d’environ 125 millisecondes. Comme l’ont démontré les chercheurs, le seuil de réponse du pilote automatique de Tesla est de 400 millisecondes, ce qui est presque trois fois plus long.

À la même vitesse, il s’agirait de 7 mètres supplémentaires. Dans tous les cas, il s’agit toujours d’une fraction de seconde. Par conséquent, pour les chercheurs, une attaque peut venir de nulle part : en un rien de temps, vous pouvez vous retrouver dans un fossé et le drone projetant l’image n’est plus là.

Cette aberration dans le système nous donne de l’espoir, et peut-être qu’un jour les pilotes automatiques seront capables de repousser ce genre d’attaque : les images projetées sur des surfaces qui ne sont pas faites cela sont très différentes de la réalité. Les distorsions de perspectives, les bords irréguliers, les couleurs artificielles, le fort contraste et d’autres types d’anomalies permettent à l’œil humain de faire la différence avec de vrais objets.

Par conséquent, la vulnérabilité du pilote automatique aux attaques d’images fantômes vient de la différence de perception entre le cerveau humain et l’intelligence artificielle. Afin de réduire cet écart, les auteurs de l’étude proposent d’ajouter d’autres vérifications aux systèmes de pilotage automatique pour que les fonctionnalités soient cohérentes (la perspective, le lissage des bords, les couleurs, le contraste ainsi que la luminosité) et pour s’assurer que les résultats soient logiques avant de prendre une décision. Tout comme un humain, les réseaux neuronaux artificiels délibéreront selon les critères qui leur permettent de faire la différence entre une vraie caméra, un radar optique ou un fantôme éphémère.

Évidemment, ceci ajouterait une charge de calcul aux systèmes et entraînerait un fonctionnement parallèle de plusieurs réseaux neuronaux en même temps, tous préalablement préparés (un processus qui requiert beaucoup de temps et d’énergie). Quant aux voitures, qui sont déjà des ordinateur sur roues, devront passer au niveau supérieur pour devenir des superordinateurs.

Comme les Accélérateurs d’IA sont de plus en plus répandus, les voitures pourraient posséder plusieurs réseaux neuronaux artificiels qui fonctionneraient en parallèle sans consommer beaucoup d’énergie. Mais c’est une autre histoire.