Wegmans jouit depuis longtemps d'une réputation de marque qui place le client au premier plan : elle est réputée pour la propreté de ses magasins, la qualité de son service et une fidélité à cette enseigne qui frôle le dévouement. Cette réputation a été mise à l'épreuve le mois dernier lorsque le site a rapporté que l'entreprise avait commencé, en toute discrétion, à collecter et à stocker des données biométriques sur les clients dans certains magasins, notamment à New York, dans le cadre d'une initiative de prévention des pertes.
Selon le site , Wegmans, ce système est conçu pour alerter les employés lorsque des personnes soupçonnées d'avoir commis des vols à l'étalage par le passé reviennent dans un magasin. La chaîne, dont le siège se trouve à Rochester, a souligné que ces données ne sont pas communiquées à des tiers et sont utilisées strictement à des fins de sécurité. (Wegmans n'a pas répondu à une demande de commentaire formulée par un représentant d' .)
La réaction n'en a pas moins été rapide. Les clients, les législateurs et les défenseurs de la protection des données de l' ont exprimé leurs inquiétudes concernant la reconnaissance faciale, le consentement et la question de savoir si le fait de scanner un grand nombre de clients pour identifier un nombre relativement restreint de malfaiteurs constituait une réponse proportionnée au vol à l'étalage.
Le problème ne se limite pas à Wegmans : d'autres chaînes de supermarchés (comme Whole Foods), des enseignes de distribution (comme Macy's), ainsi que des banques, des sociétés émettrices de cartes de crédit, des entreprises du secteur de la santé, des stades et d'autres entreprises se lancent à corps perdu dans la mise en place de systèmes biométriques. L'Assemblée de l'État de New York examine actuellement un projet de loi qui imposerait « une information claire et des mesures de protection de la vie privée » lorsque les commerçants utilisent des technologies biométriques dans leurs magasins.
Rachel Barnhart, une élue du comté de Monroe, dans l'État de New York, qui a rédigé une lettre adressée à Wegmans, affirme avoir été frappée par la rapidité et l'intensité de la levée de boucliers. « On ressentait très fortement cette impression : “Je vais simplement faire mes courses, pourquoi scanne-t-on mon visage ?” » dit-elle.
La polémique portait également sur la manière dont cette décision a été annoncée : discrètement, sans véritable explication publique, et à un moment où le public se montre déjà profondément sceptique quant à la manière dont les entreprises déploient des systèmes d’ par intelligence artificielle (IA) — en particulier lorsqu’ils sont utilisés dans des espaces physiques.
«» En l’absence de normes claires ou de réglementation cohérente, les organisations finissent par établir leurs propres règles. Et c’est là que le risque s’installe. »Melissa Bischoping, directrice principale de la sécurité et de la recherche en conception de produits chez Tanium
Pour les organisations qui suivent cette affaire, l’affaire Wegmans met en évidence les risques liés à l’IA en contact avec le public : la confiance est fragile, les lacunes en matière de gouvernance de l’ e ont un coût élevé, et la surveillance ne s’intensifie souvent qu’une fois les systèmes déjà opérationnels, note Melissa Bischoping, directrice principale de la sécurité et de la recherche en conception de produits chez Tanium, une entreprise innovante dans le domaine des solutions de cybersécurité et de l’ de l’ informatique autonome (et éditrice de ce magazine).
« Lorsqu’il n’existe pas de normes claires ni de réglementation cohérente, les organisations finissent par établir leurs propres règles », explique M. Bischoping. « Et c’est là que le risque s’installe. »
La gouvernance de l'IA et le compromis entre confiance et « IA à forte friction »
Lorsque des entreprises déploient des technologies d'intelligence artificielle qui ont un impact direct sur les personnes dans des espaces physiques — que ce soit dans des supermarchés « », des aéroports ou dans les rues des villes —, elles redéfinissent la manière dont les clients perçoivent la marque.
«Les clients ne peuvent pas réinitialiser leur reconnaissance faciale ou vocale en cas de problème ; l’entreprise assume donc une responsabilité permanente pour ce qui n’est souvent qu’un problème temporaire. »Le Dr Saiph Savage, maître de conférences et directeur du Civic AI Lab de l'université Northeastern
Le Dr Saiph Savage, maître de conférences à l'université Northeastern et spécialiste de l'IA centrée sur l'humain, affirme que les organisations sous-estiment souvent à quel point les technologies axées sur la surveillance peuvent aller à l'encontre des attentes en matière d'accueil ou de service. « Il faut se demander dans quelle mesure on souhaite modifier la relation du client avec la marque dans le seul but d’optimiser un indicateur opérationnel », explique-t-elle.
Cette tension devient particulièrement marquée lorsque l'avantage perçu est limité — comme la réduction du vol à l'étalage — alors que l'atteinte à la vie privée perçue touche toutes les personnes qui franchissent la porte, explique-t-elle. Dans l'affaire Wegmans, les détracteurs se sont demandé si l'entreprise avait clairement expliqué pourquoi la collecte de données biométriques était nécessaire, sans parler du fait qu'elle valait la peine de risquer une atteinte à sa réputation.
M. Savage, qui dirige le Civic AI Lab de l'université Northeastern, présente cela comme un problème de proportionnalité. La collecte d'identifiants personnels immuables pour relever un défi de longue date dans le secteur de la distribution oblige les dirigeants à faire face à des compromis délicats. « Les données biométriques constituent un atout immuable », déclare-t-elle. « Les clients ne peuvent pas réinitialiser leur reconnaissance faciale ou vocale en cas de problème ; l'entreprise assume donc une responsabilité permanente pour ce qui n'est souvent qu'un problème temporaire. »
Données permanentes, responsabilité à long terme
Du point de vue de la cybersécurité, les données biométriques modifient fondamentalement le profil de risque d’une organisation. Contrairement aux numéros de cartes de paiement ou aux mots de passe , les identifiants biométriques ne peuvent pas être modifiés après une violation de données. Une fois exposés, ils le restent.
«» Très peu de personnes ont besoin d'accéder aux données brutes. Moins il y a de personnes qui peuvent le voir, plus le rayon d'action sera réduit si quelque chose tourne mal. »Évêché
Aux États-Unis, les données biométriques se situent également dans une zone grise réglementaire complexe. Les mesures de protection de la vie privée varient d'un État à l'autre, et il n'existe aucune norme fédérale exhaustive régissant la manière dont les données biométriques doivent être traitées. Pour les organisations qui exercent leurs activités dans plusieurs juridictions, ce manque d'uniformité pose des défis en matière de conformité avant même que les risques de sécurité ne soient pris en compte.
« Les entreprises disposent d’une grande marge de manœuvre dans la manière dont elles décrivent l’utilisation qu’elles font des données biométriques », explique M. Bischoping.
Cette marge de manœuvre se réduit lorsque les choses tournent mal. En cas de violation, les conséquences vont bien au-delà des pertes financières immédiates. M. Bischoping souligne que les données biométriques qui semblent anonymisées au premier abord peuvent devenir dangereuses lorsqu'elles sont associées, au fil du temps, à d'autres ensembles de données ayant fait l'objet d'une fuite. « On commence à discerner des schémas de comportement : où les gens font leurs courses, où ils travaillent, où ils vivent », explique-t-elle, soulignant qu’une telle exposition peut s’avérer particulièrement dangereuse pour les personnes exposées à des risques de harcèlement ou de violence conjugale. « Il ne faut pas sous-estimer l'atteinte à l'image de marque. » « Si les clients ne se sentent pas en sécurité, ils cesseront de venir. »
Plutôt que de se concentrer uniquement sur le rendement à court terme, M. Savage invite les dirigeants à prendre en compte l'ensemble du cycle de vie du risque. « La réduction du vol à l'étalage sur cinq ans vaut-elle la peine d'assumer une responsabilité civile de 50 ans en cas de fuite de données biométriques ? » demande-t-elle, en faisant valoir que les conséquences à long terme l'emportent souvent sur les gains opérationnels à court terme.
La gouvernance de l'IA avant son déploiement, et non après
L'une des leçons les plus évidentes à tirer de l'affaire Wegmans est que la gouvernance ne peut pas être une considération secondaire, affirme M. Savage. Les organisations déploient souvent des systèmes d'intelligence artificielle — en particulier ceux qui traitent des données biométriques — avant d'avoir clairement défini les conditions d'utilisation acceptables, les responsabilités ou les critères de sortie.
«Une fois que les données biométriques sont diffusées, il n’y a pas de bouton “Annuler”. »Rachel Barnhart, élue du comté de Monroe (New York), démocrate de Rochester
M. Savage souligne que les mesures de sécurité ne visent pas uniquement à protéger les données. « Il s’agit de définir les limites au-delà desquelles la technologie n’est plus autorisée à fonctionner », explique-t-elle, soulignant la nécessité de fixer des seuils clairs en matière de taux d’erreur, de biais et de faux positifs.
La gouvernance doit également s'étendre aux infrastructures et aux contrôles d'accès à l' . Selon M. Bischoping, il n'est pas nécessaire que les données biométriques soient largement accessibles pour qu'elles soient utiles sur le plan opérationnel. « Très peu de personnes ont besoin d’accéder aux données brutes », explique-t-elle. « Moins il y a de personnes qui peuvent le voir, plus le rayon d'action sera restreint si quelque chose tourne mal. »
Les tiers et la fragmentation législative : des écueils inattendus pour la gouvernance de l'IA
Les politiques de conservation sont tout aussi essentielles. Une formulation vague selon laquelle les données doivent être conservées « aussi longtemps que nécessaire » laisse une trop grande marge de manœuvre pour que des informations sensibles restent en circulation indéfiniment, ajoute M. Bischoping. « C’est ainsi que les données tombent dans l’oubli — et ces données oubliées deviennent une véritable mine d’or lors d’une future fuite de données. »
Compte tenu des risques liés à la vie privée et aux exigences réglementaires associés à l'utilisation des technologies biométriques, les experts recommandent que tout cadre de gouvernance intelligent intègre également une gestion renforcée de la conformité aux normes « ». Une visibilité accrue sur les données à caractère personnel peut entraîner des problèmes de conformité et soulever des préoccupations en matière de protection de la vie privée si elle n'est pas gérée dans le cadre de réglementations strictes ; or, ces risques ne peuvent que s'accroître à mesure que le malaise du public face à l'IA pousse les législateurs de différentes juridictions à agir, ce qui se traduira par un patchwork législatif.
Les fournisseurs tiers constituent un risque supplémentaire. Si des données biométriques sont traitées ou stockées en externe, les organisations doivent savoir où ces données sont conservées, qui peut y accéder et ce qu'il advient si l'activité du prestataire venait à changer. Ces scénarios sont bien plus faciles à gérer lorsque les cadres de gouvernance les anticipent, plutôt que de réagir une fois que la confiance a déjà été perdue, explique M. Bischoping.
« Les organisations doivent partir du principe que toutes les données qu'elles collectent aujourd'hui seront conservées plus longtemps qu'elles ne le prévoient », explique M. Bischoping.
« Les entreprises peuvent tester cette technologie, mais elles n’en subissent pas personnellement les conséquences en cas d’échec », ajoute M. Barnhart. « Ce sont les consommateurs qui le font. » « Et une fois que les données biométriques sont diffusées, il n’y a pas de bouton “Annuler”. »
