Reconnaissance faciale et libertés fondamentales au tournant de la redevabilité

En ces temps de transition législative et réglementaire en matière de technologies de surveillance, la vigilance démocratique est de mise. Une analyse de Caroline Lequesne.

2024, année charnière, s’il en est en, matière de surveillance des foules. Le saut n’est pas tant applicatif, ni même quantitatif : les technologies de surveillance investissent nos espaces urbains – notre espace public – de longue date, au gré d’expérimentations intempestives ou d’équipements (parfois) fantasques. Le tournant se situe à un autre niveau de compréhension : celui de la normalisation des usages. Deux dynamiques convergentes en sont à l’origine. D’une part, les événements jouent des effets de catalyse : l’organisation des Jeux olympiques (JO) à Paris a précipité l’éclaircissement des cadres existants pour embrasser la « modernité ». Selon un discours officiel, qui souffre de peu de contradictions, le pays hôte se « doit » d’être à la hauteur des enjeux en intégrant, à son dispositif sécuritaire, les technologies dernier cru. Une herméneutique technologisante s’est emparée du politique, plaçant l’intelligence artificielle au cœur des attentes et des solutions. La loi d’expérimentation des JO en est la résultante : elle prévoit la mise en test de la vidéosurveillance dite intelligente, ou VSA, pour les événements sportifs et culturels qui jalonneront la période¹. D’autre part, à l’échelon européen cette fois, l’année 2024 marque l’aboutissement de trois années de négociations au terme desquelles la première législation occidentale sur l’IA a vu le jour. La reconnaissance faciale, en particulier – les technologies policières, plus largement -, ont été le siège d’intenses débats et de douloureux compromis. Le texte adopte, pour la première fois, des dispositions idoines traçant les lignes de la légalit². La surveillance des foules virevolte sur la ligne des IA inacceptables pour finir sa course dans la catégorie des usages haut risque, à la faveur d’exemptions suffisamment larges pour ouvrir un univers de possibles. L’existence de ces bases légales, et la normalisation qui en découle, déplacent les termes du débat. Il ne s’agit plus tant de déterminer l’opportunité que le comment ; le mode d’emploi, plus que le balisage. Les prochains rendez-vous en témoignent. De la mise en l’œuvre à l’évaluation des expérimentations conduites, jusqu’à l’adoption d’une loi « reconnaissance faciale » au parlement français³, ils seront ceux de la mise en œuvre des régimes. Dans cette transition du temps législatif et réglementaire, la vigilance démocratique demeure de mise. Selon le modèle du pluralisme radical, que défendait Jacques Vanderlinden⁴, c’est au départ des acteurs et des plus petits échelons applicatifs que se jouent les garanties fondamentales : quels sont les agents habilités et formés à utiliser ces technologies ? Comment s’intègrent ces dernières aux chaînes décisionnelles dans le continuum de sécurité ? Quel est l’environnement – le contexte – managérial des déploiements ? Comment identifie – t – on, et répond– on, aux discriminations et erreurs (éventuelles) générées par ces systèmes ? Par quel moyens le public est-il informé ? Participe -t-il à la dynamique normative ou en est-il le seul objet ? Autant de questions qui dessineront, in fine, le modèle de redevabilité algorithmique. L’évaluation de ses enjeux et des premiers jalons établis à l’aune des libertés fondamentales invite à interroger les contours de l’anonymat dans l’espace public et les implications du déploiement de la « vision artificielle ».

Se mouvoir dans l’anonymat de l’espace public

Si l’anonymat n’est pas en tant que tel un principe garanti, il n’en constitue pas moins une condition de la démocratie. A l’échelon collectif, comme individuel, il garantit l’exercice de nos droits : liberté de manifester, de se réunir, de s’aimer. De manière significative, l’adoption des technologies de surveillance des foules, dans les régimes autocratiques, coïncide avec les périodes de tensions politiques, et plus spécifiquement les périodes électorales⁵. En Russie, en Iran, en Afghanistan, elles ont intégré l’arsenal de répression des opposants politiques. Plus largement, il est important de garder à l’esprit qu’elles conservent et exercent, en toutes circonstances, une force de coercition volontaire. L’effet de dissuasion – ou « chilling effect » – résultant du déploiement des technologies de surveillance, a fait l’objet de multiples études⁶ ; elles mettent en évidence l’entrave que constitue l’identification par l’autodiscipline. Celle-ci n’est pas sans rappeler la discipline foucaldienne : de la mise sous contrôle des corps visant à « fabriquer » les bons citoyens⁷. Dans l’œil vigilant et omniscient s’exerce un pouvoir disciplinaire qui encourage aux comportements vertueux et la rectitude morale. En certaines circonstances, se « montrer » différent peut être compris (et traité comme) un acte de déviance. L’anonymat peut encore, et dans le même sens, être perçu comme une garantie de sécurité : une protection contre un pouvoir arbitraire, certes, mais au-delà, contre l’instauration d’un panopticon moderne, qui renseignerait tout un chacun sur l’existence de l’autre : c’est la jeune fille harcelée, la star que l’on suit, cet autre qui ne partage pas mes opinions politiques. L’anonymat s’impose comme une composante essentielle de la vie privée et intime.

L’espace public est-il encore « anonyme » ? Le droit européen conjugue aujourd’hui la réponse au conditionnel, ouvrant la voie à une consécration nationale de la fin de l’anonymat. Il est intéressant d’observer que son érosion fut d’abord engagée en pratique, sur le fondement du consentement et, disons-le, d’une « praticité » qui a séduit le consommateur dans les espaces (accessibles au) public(s). Le passage des frontières dans les aéroports en constitue un bon exemple. Le déploiement d’automates d’authentification a participé de l’« accoutumance » des passagers, déjà rompus à la pratique sur leur smartphone. En parallèle, des usages « sauvages » ont mis à jour l’appétit des forces de l’ordre pour ces technologies. L’affaire Clearview fut, à cet égard, remarquable à plus d’un titre : la plus grande base de données biométriques jamais constituée a été vendue et introduite dans les polices du monde entier⁸. Si les usages en France n’ont pas été avérés, les investigations journalistiques les ont mentionnés. En outre, l’enquête conduite par l’Office de surveillance policière belge a révélé la rapidité avec laquelle ces technologies pouvaient investir les pratiques policières. Plus récemment, le scandale Briefcam – nom du logiciel israélien éponyme, vendu à grand nombre de municipalités françaises pour la surveillance de l’espace public et doté de fonctionnalités de reconnaissance faciale – a confirmé cette dynamique⁹. Bien que la jurisprudence française voie dans la biométrie une limite, nous y reviendrons, l’habitus de la surveillance fait manifestement son lit dans les usages. L’AI Act en est aussi la résultante. La législation européenne ne méconnaît pas les risques d’atteintes aux droits et libertés. Le considérant 18 souligne le caractère « particulièrement attentatoire » des systèmes d’identification en temps réel. Nécessité et proportionnalité déplacent toutefois le compromis dans les usages subordonnés : si le déploiement de systèmes d’identification biométriques dans les espaces accessibles au public à des fins répressives est envisagé au rang des pratiques dites « inacceptables » – et donc interdites –, il est largement admis au titre des exemptions prévues à l’article 5d. L’utilisation de ces systèmes est en effet autorisée pour la recherche ciblée de victimes potentielles spécifiques de la criminalité et de personnes disparues (i) ; la prévention d’une menace spécifique, substantielle et imminente pour la vie ou la sécurité physique des personnes physiques ou la prévention d’une attaque terroriste (ii); la localisation ou l’identification du suspect d’une infraction pénale visée à l’annexe Iia¹⁰, et punissable dans l’État membre concerné d’une peine ou d’une mesure de sûreté privatives de liberté d’une durée maximale d’au moins quatre ans, déterminées par le droit de cet État membre (iii). Notons que ces lignes rouges sont évolutives, l’article 5(4) offrant d’importantes marges de manœuvre aux États membres susceptibles de limiter le champ d’application de la technologie. Le compromis acceptable, au regard du régime de libertés, se loge en outre dans une série de garanties procédurales, légitimant le caractère proportionné des atteintes : autorisation préalable, évaluations, inscription au registre des déploiements. C’est également aux États que reviendra le soin d’en préciser les termes.

Nous voilà donc au milieu du gué. L’octroi d’une base légale met un terme aux errances régulatoires en autorisant expressément les déploiements, sans fixer, dans le menu détail démocratique, les conditions opératoires qui conditionneront le respect du principe de proportionnalité. A cet égard, quatre points de vigilance apparaissent décisifs : l’habilitation des agents et la hiérarchie dans les chaînes opératoires et décisionnelles ; les contrôles (et moyens alloués à leur mise en œuvre) ; la temporalité des opérations (leur caractère exceptionnel) ; la « maîtrise » technologique des acteurs publics procédant au déploiement et les relations avec les opérateurs privés qui les conditionnent. Ces points sont stratégiques en ce qu’ils contribueront à placer – ou non – les différents acteurs impliqués, du fournisseur technique à l’usager final dans une économie de la redevabilité : plus les usages seront disséminés et discrétionnaires, plus le spectre de l’anonymat, et avec lui celui des libertés, sera restreint.

Vision artificielle et œil humain

Le second enjeu décisif dans un régime de libertés tient à la délégation algorithmique susceptible de s’opérer : les logiques opératoires se distinguent dès lors que l’on ne fait pas/plus « avec », mais « par » une machine. Le jeu des délégations n’est ni étranger au juriste, ni problématique en soi ; notre système juridique fonctionne sur l’articulation de délégations de pouvoirs, de légitimité et de compétences. Il le devient dès lors qu’il conduit le titulaire légitime d’un pouvoir à l’abandonner, de surcroît à une « boîte noire ».

L’existence d’une délégation « algorithmique » est sujette à controverse. Même dans les sentiers étroits de la décision automatisée, le recours à ces systèmes semble davantage relever, en droit, de l’assistance décisionnelle qui ne jouit elle-même d’aucun statut. Cette lecture est la résultante de l’appréciation du Conseil constitutionnel, concernant l’hypothétique abandon de compétence du pouvoir réglementaire au profit d’un système algorithmique au sein des administrations¹¹. Il précisait, à cette occasion, que ces systèmes « n’ont ni pour objet ni pour effet d’autoriser l’administration à adopter des décisions sans base légale, ni à appliquer d’autres règles que celles du droit en vigueur » ; qu’à cette première garantie, supposant la neutralité technologique, s’ajoutait en outre celle « d’un recours administratif, placé sous le contrôle du juge, qui est susceptible d’exiger de l’administration la communication des caractéristiques de l’algorithme ». La maîtrise du traitement – entendue comme « le pouvoir expliquer, en détail et sous une forme intelligible, à la personne concernée la manière dont le traitement a été mis en œuvre à son égard » constituait en outre la troisième garantie législative identifiée, écartant l’hypothèse d’une délégation. En d’autres termes, dès lors qu’une décision est fondée en droit, peut faire l’objet d’un recours devant le juge et d’une explication, elle ne constitue pas une délégation de pouvoir « algorithmique ».

La réalité managériale et les contextes de déploiement interrogent toutefois cette posture. Dans les finalités des systèmes d’abord. De l’identification biométrique à l’identification d’un comportement jugé « anormal », les outils de surveillance sont conçus et surtout déployés pour suppléer et décupler les capacités de surveillance policière. En guidant l’œil de l’agent qui ne peut assurer, seul, la surveillance de centaines de caméras, ils intègrent le continuum de sécurité comme un outil managérial potentiellement décisif. De manière corrélative, dans ses modes de fonctionnement, ensuite. Ceux-ci sont contingents et propres à chaque déploiement mais l’on comprend, à l’aune de ce qui précède, que les systèmes conditionnent inévitablement les opérations sur le terrain. Moins un agent sera formé – ou plus les exigences de rentabilité seront élevées –, plus le ratio décisionnel de l’agent par rapport au système sera faible et la dépendance significative, rendant la délégation effective.

A l’aune des droits et libertés fondamentaux, la délégation algorithmique soulève au moins deux types de difficultés. La première a fait l’objet de nombreuses mises en garde et relève du droit de la non-discrimination. Une vision artificielle est inévitablement la vision d’un monde¹² qui n’est, à ce titre, pas exempte de biais. Elle peut conduire à des erreurs ciblées sur certains publics en raison de leur genre, de leur couleur de peau ou de leur handicap. Les arrestations erronées – et récurrentes – des individus de couleur noire par la police américaine en sont le triste syndrome¹³. Le manque de représentativité des jeux de données mobilisés au service de l’entraînement de ces modèles a été particulièrement, et de longue date, décrié¹⁴. Plus généralement, les IA dites « physiognomoniques » – qui intéressent tous les aspects du comportement ou de « l’allure » pour identifier, indépendamment des identités civiles, les personnes « déviantes » – reposent également, dans leur principe même, sur des discriminations¹⁵. Ces systèmes sont ainsi source d’erreurs, qui en sus d’être discriminantes, engagent l’exercice des droits de la défense. La performativité d’un système, la force de véracité qu’il est susceptible d’exercer sur un agent ne disposant pas des moyens de le comprendre, de le contrer, et d’en mitiger les effets, peut compromettre la mise en œuvre du droit à un procès équitable. De même, dès lors que l’œil artificiel est embarqué dans la qualification juridique des faits, c’est le principe de légalité qui est interrogé. Dans le cas de la flagrance, prévue à l’article 73 du code de procédure pénale, est-ce encore l’agent qui constate ou l’œil artificiel qui « fait constater » à l’agent ? Soulignons que mal maîtrisé, ces systèmes peuvent enfin constituer un risque pour la sécurité elle-même : une submersion de faux positifs inclinant à la baisse de vigilance des agents, la dépendance à l’outil non compensée par la présence physique en cas de cyberattaques, le vol de données sensibles, etc.

Notons que les menaces décrites sont ici pointées comme autant de risques, qui se conjuguent au gré des contextes et des environnements légaux. Le législateur s’efforce d’y répondre préventivement, au travers de diverses mesures visant à conserver un contrôle humain « effectif ». Ce souci se lit d’abord dans l’interdiction formulée à l’article 5(d bis) de l’AI Act qui prohibe tout procédé d’évaluation ou de prédiction d’une infraction pénale, sur la seule base du profilage d’une personne physique ou l’évaluation de ses traits de personnalité et de ses caractéristiques par un système d’IA¹⁶. La garantie humaine se lit en creux dans l’exception, le règlement précisant que « cette interdiction ne s’applique pas aux systèmes d’IA utilisés pour soutenir l’évaluation humaine de l’implication d’une personne dans une activité criminelle, qui est déjà fondée sur des faits objectifs et vérifiables directement liés à l’activité criminelle ». L’usage de ces systèmes entre dans le champ de l’acceptabilité – et par suite de la légalité –, dès lors que « l’évaluation humaine » fondée sur des « éléments objectifs » peut en corroborer les résultats. L’article 29 le rappelle expressément : « dès lors que les déployeurs exercent un contrôle sur le système à haut risque, ils veillent à ce que les personnes physiques chargées d’assurer [leur] surveillance humaine disposent des compétences, de la formation et de l’autorité nécessaires, ainsi que de l’assistance requise ». Deux autres séries de mesures peuvent être mentionnées au titre de la garantie humaine. D’une part, l’instauration de contre-pouvoirs institutionnels aux différentes étapes de la chaîne de déploiement se comprend comme une exigence de redevabilité. L’article 5.3 de l’AI Act soumet le recours à l’identification biométrique, à distance, « en temps réel », dans des espaces accessibles au public, à des fins répressives, à l’autorisation préalable d’une autorité judiciaire ou d’une autorité administrative indépendante dont la décision est contraignante. De même, et sans préjudice de cette première mesure, l’article 5.3a impose que chaque utilisation de ce type de système soit notifiée à l’autorité de surveillance du marché concernée et à l’autorité nationale chargée de la protection des données. Ces dernières sont tenues de soumettre des rapports annuels concernant cette utilisation à la Commission, laquelle sera chargée de produire un rapport annuel agrégeant l’ensemble des données des Etats membres. D’autre part, en tant que systèmes à haut risque, les systèmes d’identification biométriques seront soumis à des exigences techniques limitant les potentielles discriminations. L’article 10.2 requiert ainsi que les données d’entraînement, de validation et d’essai soient soumises à des « pratiques appropriées de gouvernance et de gestion des données en fonction de la finalité du système d’IA ». La disposition insiste particulièrement sur l’importance de l’examen « en vue de porter atteinte aux droits fondamentaux ou d’entraîner une discrimination interdite par le droit de l’Union, en particulier lorsque les données de sortie influencent les données d’entrée pour des opérations futures ». Les ensembles de données de formation, de validation et d’essai sont « pertinents, suffisamment représentatifs et, dans la mesure du possible, exempts d’erreurs et complets au regard de l’objectif visé ». Le texte ajoute qu’ils « présentent les propriétés statistiques appropriées, y compris, le cas échéant, en ce qui concerne les personnes ou les groupes de personnes auxquels le système d’IA à haut risque est destiné à être appliqué ». Conformément à l’article 64, il appartiendra aux autorités nationales de contrôler ou veiller « au respect des obligations découlant du droit de l’Union en matière de protection des droits fondamentaux, y compris le droit à la non-discrimination ». Celles-ci seront dotées d’un pouvoir d’enquête et le non-respect des obligations par les fournisseurs ou les déployeurs de systèmes est passible de sanctions, jusqu’à 15 000 000 euros d’amendes ou 3 % du chiffre d’affaires mondial annuel pour les entreprises.

Ces dispositions sont encourageantes et disent la mesure prise par le législateur européen des atteintes potentielles aux droits fondamentaux. Leur efficacité demeure, toutefois, sujette à caution : la traduction concrète de ces exigences, les moyens alloués au contrôle et à la formation, la qualité des programmes d’information, la mise en œuvre de la gouvernance et la propension des entreprises à jouer le jeu de la transparence sont autant d’inconnues dans l’équation.

Le tournant normatif engagé a ainsi contribué à poser les jalons de la redevabilité et ses principes, mais l’ancrage des systèmes de surveillance des foules dans un régime de libertés demeure encore à inventer. Le renversement de la pyramide impose le menu examen des décrets d’application, des protocoles de déploiement, des contrats conclus avec les opérateurs techniques et de la doctrine des autorités de contrôle qui constitueront le maillage et l’horizon de la démocratie technologique.

1. Article 10 de la LOI n° 2023-380 du 19 mai 2023 relative aux jeux Olympiques et Paralympiques de 2024 et portant diverses autres dispositions, ci-après « Loi JO ». [↩]
2. Proposition de Règlement du Parlement Européen et du Conseil établissant des règles harmonisées concernant l’intelligence artificielle et modifiant certains actes législatifs de l’union, COM/2021/206 final, ci-après « AI Act ».[↩]
3. Proposition de loi n°1342, adoptée par le Sénat, relative à la reconnaissance biométrique dans l’espace public.[↩]
4. J. Vanderlinden, Les pluralismes juridiques, Buylant, Bruxelles, 2013, coll. « Penser le droit », 418. [↩]
5. M. Beraja, A. Kao, D. Y. Yang, and N. Yuchtman, “Exporting the surveillance state via trade in AI,” Working Paper, Center on Regulation and Markets at Brookings, January 2023 en ligne : https://www.brookings.edu/wp-content/uploads/2023/01/Exporting-the-surveillance-state-via-trade-in-AI_FINAL-1.pdf [↩]
6. OHCHR Rights to freedom of peaceful assembly and of association – Report of the Special Rapporteur on the rights to freedom of peaceful assembly and of association, 17 May 2019, A/HRC/41/41; OHCHR, Surveillance and human rights – Report of the Special Rapporteur on the promotion and protection of the right to freedom of opinion and expression, 28 May 2019, A/HRC/41/35. UN Human Rights Commissioner, Impact of new technologies on the promotion and protection of human rights in the context of assemblies, including peaceful protests, Report of the United Nations High Commissioner for Human Rights, 24 June 2020, A/HRC/44/24; International Network of Civil Liberties Organizations (INCLO), Facial Recognition Tech Stories and Rights Harms from around the World, January 2021, pp. 5-8; pp 13-17.[↩]
7. M. Foucault, Surveiller et punir, Naissance de la Prison, Gallimard, Paris, 1975, collection « Bibliothèque des Histoires, 352 p. [↩]
8. K. Hill, Your Face Belongs to Us, Random House, 2023, 352 p. [↩]
9. C. Lequesne, Retour sur l’affaire Briefcam : la surveillance technologique aux frontières de la légalité, Le Club des juristes, 15 dévembre 2023, en ligne : https://www.leclubdesjuristes.com/societe/retour-sur-laffaire-briefcam-la-surveillance-technologique-aux-frontieres-de-la-legalite-4116/ [↩]
10. Sont à ce titre mentionnés : le terrorisme ; la traite des êtres humains; l’exploitation sexuelle des enfants et la pédopornographie ; le trafic illicite de stupéfiants et de substances psychotropes ; le trafic illicite d’armes, de munitions et d’explosifs ; le meurtre, les blessures corporelles graves ; le commerce illicite d’organes et de tissus humains ; le trafic illicite de matières nucléaires ou radioactives ; les enlèvements, séquestrations et prises d’otages ; les crimes relevant de la compétence de la Cour pénale internationale ;la saisie illégale d’aéronefs/navires ; le viol ; la criminalité environnementale; le vol organisé ou à main armée ; le sabotage; la participation à une organisation criminelle impliquée dans une ou plusieurs infractions énumérées ci-dessus.[↩]
11. Cons. const., déc. n° 2018-765 DC, 12 juin 2018.[↩]
12. Sur cette idée voy. notamment J. E. Dobson, The birth of computer vision, University of Minnesota Press, 2023, 224p. [↩]
13. T. J., Benedict, “The Computer Got It Wrong: Facial Recognition Technology and Establishing Probable Cause to Arrest”, Notes, Wash. & Lee L. Rev. (2022-2849), p. 849.[↩]
14. Les travaux pionniers en la matière sont ceux de Joy BUOLAMWINI et Timmit GEBRU, “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”, Conference on Fairness, Accountability, and Transparency, Proceedings of Machine Learning Research 81:1–15, 2018.[↩]
15. Voir nos travaux sur la question : C. Lequesne (dir.) et J. Keller, « Surveiller les foules – Pour un encadrement des IA physiognomoniques », Rapport pour l’Observatoire de l’Éthique Publique, 2023, 92 p.[↩]
16. En France, il s’agit en outre d’une limite posée par le Conseil constitutionnel qui exclut la possibilité d’adopter des décisions « produisant des effets juridiques à l’égard d’une personne ou l’affectant de manière significative » sur le seul fondement d’un traitement automatisé de données à caractère personnel » portant sur des données sensibles. Cons. const., déc. n° 2018-765 DC, 12 juin 2018, cst 65. [↩]