Wegmans jouit depuis longtemps d’une réputation de marque axée sur le client, connue pour ses magasins propres, son service attentif et une sorte de fidélité aux épiceries qui limite la dévotion. Cette réputation a été testée le mois dernier lorsque des rapports ont révélé que l’entreprise avait commencé à collecter et stocker silencieusement des données biométriques sur les acheteurs dans certains endroits, y compris New York, dans le cadre d’un effort de prévention des pertes.
Selon Wegmans, le système est conçu pour alerter les employés lorsque des personnes qui sont soupçonnées d’avoir volé à l’étalage par le passé pénètrent à nouveau dans un magasin. La chaîne basée sur Rochester a souligné que les données ne sont pas partagées avec des tiers et sont utilisées strictement à des fins de sécurité. (Wegmans n’a pas répondu à une demande de commentaire de Focal Point.)
Cependant, la réponse a été rapide. Les clients, les législateurs et les défenseurs de la confidentialité des données ont fait part de leurs préoccupations concernant la reconnaissance faciale, le consentement et la question de savoir si l’analyse d’un grand nombre d’acheteurs pour identifier un nombre relativement faible de contrevenants constituait une réponse proportionnelle au vol au détail.
Le problème n’est pas seulement celui des Wegmans : d’autres chaînes d’épicerie (comme Whole Foods), des détaillants (Macy’s), plus des banques, des sociétés de cartes de crédit, des entreprises de soins de santé, des stades et d’autres entreprises sont en train d’avancer grâce aux systèmes biométriques. L’Assemblée de l’État de New York a actuellement une facture en attente qui nécessiterait des « avis clairs et des protections de la vie privée » lorsque les détaillants utilisent la technologie biométrique dans les magasins.
Rachel Barnhart, législatrice du comté de Monroe à New York, qui a écrit une lettre à Wegmans, déclare avoir été frappée par l’immédiateté et l’intensité du jeu. « Il y avait un sentiment écrasant : « Je vais juste à l’épicerie, pourquoi mon visage est-il scanné ? » dit-elle.
Le contrecoup concernait également la manière dont le déménagement s’est déroulé : silencieusement, avec peu d’explications publiques, et à un moment où les personnes sont déjà profondément sceptiques sur la manière dont les entreprises déploient l’ intelligence artificielle (IA), en particulier lorsqu’elles opèrent dans des espaces physiques.
« Lorsque vous n’avez pas de normes claires ou de réglementation cohérente, les organisations finissent par établir leurs propres règles. Et c’est là que le risque s’infiltre. »Melissa Bischoping, directrice principale de la recherche sur la sécurité et la conception de produits, Tanium
Pour les organisations qui regardent ce déploiement, l’épisode Wegmans souligne les risques de l’IA publique : la confiance est fragile, les lacunes en matière de gouvernance sont coûteuses et l’examen s’intensifie souvent uniquement après que les systèmes sont déjà en ligne, note Melissa Bischoping, directrice principale de la sécurité et de la recherche sur la conception de produits chez Tanium, une société innovante dans les solutions de cybersécurité et l’ informatique autonome (et éditrice de ce magazine).
« Lorsque vous n’avez pas de normes claires ou de réglementation cohérente, les organisations finissent par établir leurs propres règles », déclare Bischoping. « Et c’est là que le risque s’infiltre. »
La gouvernance de l’IA et le compromis de confiance de l’IA à haute friction
Lorsque les organisations déploient l’IA qui affecte directement les personnes dans les espaces physiques, que ce soit dans les épiceries, les aéroports ou les rues de la ville, elles redéfinissent la façon dont les clients expérimentent la marque.
« Les clients ne peuvent pas réinitialiser leur visage ou leur voix si quelque chose se passe mal, donc l’entreprise assume une responsabilité permanente pour ce qui est souvent un problème temporaire. »Dr Saiph Savage, professeur adjoint et directeur du Civic AI Lab de l’Université du Nord-Est
Le Dr Saiph Savage, professeur adjoint à l’Université Northeastern qui étudie l’IA centrée sur l’humain, déclare que les organisations sous-estiment souvent la manière dont les technologies axées sur la surveillance peuvent entrer en conflit avec les attentes en matière d’hospitalité ou de service. « Vous devez vous demander dans quelle mesure vous souhaitez modifier la relation du client avec la marque simplement pour optimiser une mesure opérationnelle », dit-elle.
Cette tension devient particulièrement prononcée lorsque l’avantage perçu est étroit, comme la réduction du vol à l’étalage, tandis que l’intrusion perçue affecte tous ceux qui entrent par la porte, dit-elle. Dans l’affaire Wegmans, les critiques se sont demandé si l’entreprise avait clairement articulé pourquoi la collecte de données biométriques était nécessaire, et encore moins si elle valait la retombée réputationnelle.
[Lire également : le nouveau dilemme de la biométrie : nous rendront-ils sûrs ou désolés ?]
Savage, qui dirige le Civic AI Lab de Northeastern, considère cela comme un problème de proportionnalité. La collecte d’identifiants personnels immuables pour relever un défi de vente au détail de longue date oblige les dirigeants à faire face à des compromis inconfortables. « Les données biométriques sont un actif inchangeable », déclare-t-elle. « Les clients ne peuvent pas réinitialiser leur visage ou leur voix si quelque chose se passe mal, donc l’entreprise assume une responsabilité permanente pour ce qui est souvent un problème temporaire. »
Données permanentes, responsabilité à long terme
Du point de vue de la cybersécurité, les données biométriques modifient fondamentalement le profil de risque d’une organisation. Contrairement aux numéros de carte de paiement ou aux mots de passe, les identifiants biométriques ne peuvent pas être pivotés après une violation. Une fois exposés, ils restent exposés.
« Très peu de personnes ont besoin d’accéder aux données brutes. Moins il y a de personnes qui peuvent le voir, plus le rayon d’explosion est petit si quelque chose ne va pas. »Bischopage
Les données biométriques occupent également une zone d’ombre réglementaire complexe aux États-Unis. Les protections de la vie privée varient selon l’État, et il n’existe pas de norme fédérale complète régissant la manière dont les informations biométriques doivent être traitées. Pour les organisations qui opèrent dans toutes les juridictions, ce manque d’uniformité introduit des défis de conformité avant même que les risques de sécurité ne soient pris en compte.
« Il y a beaucoup de marge de manœuvre dans la manière dont les entreprises décrivent ce qu’elles font des données biométriques », déclare Bischoping.
Cette salle d’agitation se contracte lorsque les choses tournent mal. En cas de violation, les conséquences s’étendent au-delà des pertes financières immédiates. Le bischopage souligne que les données biométriques qui apparaissent anonymisées au début peuvent devenir dangereuses lorsqu’elles sont combinées à d’autres ensembles de données compromis au fil du temps. « Vous commencez à voir des modèles de comportement : où les gens achètent, où ils travaillent, où ils vivent », dit-elle, en notant qu’une telle exposition peut être particulièrement préjudiciable pour les personnes confrontées à des risques de traque ou de violence domestique. « Les dommages causés à la marque ne doivent pas être sous-estimés. Si les clients ne se sentent pas en sécurité, ils cesseront de se présenter. »
Plutôt que de se concentrer uniquement sur le rendement à court terme, Savage exhorte les dirigeants à prendre en compte l’ensemble du cycle de vie du risque. « La réduction du vol à l’étalage sur cinq ans vaut-elle une responsabilité de 50 ans en cas de violation des données biométriques ? » elle demande, affirmant que l’exposition à long terme l’emporte souvent sur les gains opérationnels à court terme.
Gouvernance de l’IA avant le déploiement de l’IA, et non après
L’une des leçons les plus claires de l’épisode Wegmans est que la gouvernance ne peut pas être une réflexion après coup, déclare Savage. Les organisations déploient souvent des systèmes d’IA, en particulier ceux impliquant des données biométriques, avant d’avoir pleinement défini des critères d’utilisation, de responsabilité ou de sortie acceptables.
« Une fois les données biométriques disponibles, il n’y a pas de bouton Annuler. »Rachel Barnhart, législatrice du comté de Monroe (NY), D-Rochester
Savage souligne que les mesures de protection ne se limitent pas à la protection des données. « Elles visent à définir les limites où la technologie n’est plus autorisée à fonctionner », dit-elle, soulignant la nécessité de seuils clairs autour des taux d’erreur, des préjugés et des faux positifs.
La gouvernance doit également s’étendre aux contrôles d’infrastructure et d’accès. Selon Bischoping, les données biométriques n’ont pas besoin d’être largement disponibles pour être utiles sur le plan opérationnel. « Très peu de personnes ont besoin d’accéder aux données brutes », dit-elle. « Moins il y a de personnes qui peuvent le voir, plus le rayon d’explosion est petit si quelque chose ne va pas. »
Législation sur les tiers et les patchworks : des fils de déclenchement surprenants pour la gouvernance de l’IA
Les politiques de conservation sont tout aussi critiques. Un langage vague concernant la conservation des données « aussi longtemps que nécessaire » laisse trop de place pour que les informations sensibles persistent indéfiniment, ajoute Bischoping. « C’est ainsi que les données sont oubliées, et les données oubliées deviennent un trésor dans une future violation. »
Étant donné les risques en matière de confidentialité et de réglementation associés à l’utilisation de la technologie biométrique, les experts conseillent que tout cadre de gouvernance intelligent devrait également inclure une gestion améliorée de la conformité. Une visibilité accrue sur les données personnelles peut entraîner des problèmes de conformité et des préoccupations en matière de confidentialité si elles ne sont pas gérées dans des cadres stricts, et ces risques ne font qu’augmenter car l’inconfort du public avec l’IA exerce une pression sur les législateurs de diverses juridictions, ce qui entraîne un patchwork de législations.
Les fournisseurs tiers ajoutent une autre couche de risque. Si les données biométriques sont traitées ou stockées en externe, les organisations doivent comprendre où résident ces données, qui peut y accéder et ce qui se passe si l’activité du fournisseur change. Ces scénarios sont beaucoup plus faciles à gérer lorsque les cadres de gouvernance les anticipent, plutôt que de réagir après que la confiance a déjà été perdue, explique M. Bischoping.
Les organisations doivent supposer que toutes les données qu’elles collectent aujourd’hui existeront plus longtemps qu’elles ne l’attendent, déclare Bischoping.
« Les entreprises peuvent expérimenter cette technologie, mais elles n’absorbent pas personnellement les conséquences si elle échoue », ajoute Barnhart. « Les consommateurs le font. Et une fois les données biométriques disponibles, il n’y a pas de bouton Annuler. »
