Search
Close this search box.

Vous êtes victime d’un incident de sécurité ? Contactez notre CERT

13/05/2024

Cybersecurity Insights

L’encadrement de l’intelligence artificielle par l’IA Act, quid des données personnelles ?

Adoption de la vidéosurveillance algorithmique en vue des JO 2024, interdiction de Open AI en Italie, l’équilibre entre protection des données et intelligence artificielle semble encore difficile à trouver. Cet article vise à présenter l’état du droit actuel de l’encadrement de l’intelligence artificielle par l’IA ACT. Comment les droits et les libertés des personnes physiques sont-ils garantis ?

Le cadre légal en matière d'intelligence artificielle

Le cadre légal en matière d'intelligence artificielle.

1 – Les composants du cadre légal.

Le cadre légal en matière d’intelligence artificielle (IA) est le suivant :

  • Le Règlement européen sur la gouvernance des données : règl. (UE) 2022/868, 30 mai 2022.
  • La Proposition de règlement sur l’IA : Comme. UE, 21 avr. 2021, Doc. COM (2021) 206 final, Artificial Intelligence Act (AI Act)

Concernant l’AI Act, il est encore en discussion. Les Comités et Contrôleurs européens de la protection des données (CEPD) a pris le soin d’émettre des recommandations sur cette proposition de règlement. L’une des limites soulevées par les CEPD porte sur la conjugaison de l’AI Act avec le cadre légal existant en matière de protection des données personnelles :

  • Règlement général sur la protection des données (UE) 2016/679 du 27 avril 2016 (RGPD) ;
  • Directive « police-justice » (UE) 2016/680 du 27 avril 2016 ;
  • Règlement (UE) 2018/1725 du 23 octobre 2018 sur la protection des données traitées par les institutions, organismes et organes de l’Union.
  • Règlement européen 2022/868 du 30 mai 2022 portant sur la gouvernance européenne des données et modifiant le règlement (UE) 2018/1724.

Précisions que l’on s’intéresse ici au cadre légal européen. Si toutefois vous êtes intéressés par les dispositions internationales, vous êtes invités à consulter l’article suivant : La prise de conscience internationale de l’importance de la question éthique – Almond.

2 – Les objectifs de l’encadrement juridique de l’IA.

Il convient de rappeler quels sont les objectifs visés par les textes qui composent le cadre légal en matière d’intelligence artificielle.

D’une part, l’IA Act a pour objet de :

  • Renforcer la confiance en la matière.
  • Rendre le marché européen compétitif.
  • Harmoniser des règles en matière d’IA.

D’autre part, le Règlement européen sur la gouvernance des données a pour objet de :

  • Garantir l’accès à de grands volumes de données au profit de l’économie européenne tout en garantissant un meilleur contrôle sur les données afin de renforcer la souveraineté numérique de l’Europe.
  • Favoriser le partage des données personnelles et non personnelles en mettant en place des structures d’intermédiation.
  • Encadrer et offrir une assistance technique et juridique facilitant la réutilisation de certaines catégories de données protégées du secteur public (informations commerciales confidentielles, propriété intellectuelle, données personnelles).
  • Mettre en place des certifications :
    • Une certification obligatoire pour les fournisseurs de services d’intermédiation de données.
    • Une certification facultative pour les organismes pratiquant l’altruisme en matière de données.

 3 – Tableau comparatif: AI Act vs RGPD. 

AI Act
RGPD
Mesures pour la protection des données
  • Approche fondée par les risques.
  • Interdiction des pratiques d’IA dont l’utilisation est considérée comme inacceptable car contraire aux valeurs de l’Union.
  • Absence de mesures spécifiques pour la protection des données personnelles.
  • Registre des traitements de données personnelles.
  • Durée de conservation.
  • Droits des personnes concernées.
  • Privacy by design.
  • Sécurité des données.
Digital ethic officer vs Data protection officer
  • Le Digital ethic officer :

    • Rôle non défini par l’AI Act.
    • Joue un rôle central dans la conformité réglementaire.
    • Contrôler et réglementer les systèmes de conformité internes, et l’adoption de nouvelles technologies.
    • Réglementer l’utilisation éthique de la technologie. 
    • Développer de meilleures pratiques éthiques qui alignent l’entreprise sur les dernières nouveautés technologiques.
    • Responsable de toutes les conséquences juridiques ou financières pouvant résulter d’un manquement au respect éthique.
    • Définir le cadre éthique d’une entreprise.
  • Le Data protection officer :

    • Rôle prévu par le RGPD.
    • Informer et conseiller le responsable du traitement sur les obligations en matière de protections des données personnelles.
    • Assurer le respect des droits des personnes concernées.
    • Sensibiliser, informer et conseiller les salariés de l’entreprise sur la protection des données personnelles.
    • Contrôler le respect du RGPD.
    • Être disponible et répondre aux questions des personnes concernées (salariés, clients, patients, prospects, …).
    • Assurer une coopération avec la CNIL.
    • Non responsable en cas de non-conformité du responsable de traitement sauf si complicité.
Sanctions
Jusqu'à 30 000 000 EUR ou, jusqu’à 6 % du chiffre d’affaires annuel mondial total.
Jusqu'à 20 millions d’euros ou jusqu’à 4 % du chiffre d’affaires annuel mondial total.

Les enjeux de l'AI Act.

En tant que règlement, le texte sera d’application directe dès son entrée en vigueur, avec une portée extraterritoriale impliquant nombre d’acteurs non européens, et avec des sanctions dont les montants maximums dépassent ceux du RGPD et peuvent aller jusqu’à 30 millions d’euros ou 6 % du chiffre d’affaires annuel mondial, le montant le plus élevé étant retenu.

Présentation de l’AI Act.

1- Une approche fondée sur le risque.

La proposition de règlement sur l’IA est construite sur une approche fondée sur le risque et s’attache principalement à réguler les systèmes d’IA qu’elle identifie à haut risque et qui sont définis dans une annexe III.

Les systèmes d’IA à haut risque sont ceux utilisés dans les infrastructures dites « critiques » telles que l’énergie ou les transports, dans l’éducation ou la formation professionnelle (exemple : la notation d’épreuves d’examen), les composants de sécurité des produits (exemple : dans le cadre de la chirurgie assistée par robot), l’emploi et les ressources humaines (exemple : le tri de CV pour une procédure de recrutement), les services publics et privés essentiels (exemple : l’évaluation du risque de crédit pour obtenir un prêt), le maintien de l’ordre, la gestion de la migration, de l’asile et des contrôles aux frontières, l’administration de la justice, les processus démocratiques, etc.

Voici un aperçu des éléments retenus pour définir un haut risque.

Il s’agit des systèmes d’IA destinés à être utilisés :

  • Pour l’identification biométrique à distance « en temps réel » et  «a posteriori» des personnes physiques ;
  • En tant que composants de sécurité dans la gestion et l’exploitation du trafic routier et dans la fourniture d’eau, de gaz, de chauffage et d’électricité ;
  • Pour déterminer l’accès ou l’affectation de personnes physiques aux établissements d’enseignement et de formation professionnelle ;
  • Pour évaluer les étudiants des établissements d’enseignement et de formation professionnelle et pour évaluer les participants aux épreuves couramment requises pour intégrer les établissements d’enseignement ;
  • A aider les autorités judiciaires à rechercher et à interpréter les faits et la loi, et à appliquer la loi à un ensemble concret de faits.

La définition du haut risque représente un fort enjeu, car ce sont les systèmes d’IA qualifiés à haut risques qui feront l’objet d’une régulation.

2- Les pratiques d’IA interdites.

Le titre II établit la liste des pratiques d’IA interdites. Le règlement introduit une distinction entre les utilisations de l’IA qui créent un risque inacceptable, un risque élevé et un risque faible ou minimal. La liste des pratiques interdites comprend tous les systèmes d’IA dont l’utilisation est considérée comme inacceptable car contraire aux valeurs de l’Union, par exemple en raison de violations des droits fondamentaux.

Quelques exemples de pratiques d’IA interdites :

  • Système d’IA qui a recours à des techniques subliminales au-dessous du seuil de conscience d’une personne pour altérer substantiellement son comportement d’une manière qui cause ou est susceptible de causer un préjudice physique ou psychologique à cette personne ou à un tiers.
  • Système d’IA qui exploite les éventuelles vulnérabilités dues à l’âge ou au handicap physique ou mental d’un groupe de personnes donné pour altérer substantiellement le comportement d’un membre de ce groupe d’une manière qui cause ou est susceptible de causer un préjudice physique ou psychologique à cette personne ou à un tiers.
  • La mise sur le marché, la mise en service ou l’utilisation, par les pouvoirs publics ou pour leur compte, de systèmes d’IA destinés à évaluer ou à établir un classement de la fiabilité de personnes physiques au cours d’une période donnée en fonction de leur comportement social ou de caractéristiques personnelles ou de personnalité connues ou prédites, la note sociale conduisant à l’une ou l’autre des situations suivantes, ou aux deux :
    • le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes entiers de personnes physiques dans des contextes sociaux dissociés du contexte dans lequel les données ont été générées ou collectées à l’origine;
    • le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes entiers de personnes physiques, qui est injustifié ou disproportionné par rapport à leur comportement social ou à la gravité de celui-ci.
  • Systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives, sauf si et dans la mesure où cette utilisation est strictement nécessaire eu égard à l’un des objectifs suivants:
    • la recherche ciblée de victimes potentielles spécifiques de la criminalité, notamment d’enfants disparus;
    • la prévention d’une menace spécifique, substantielle et imminente pour la vie ou la sécurité physique des personnes physiques ou la prévention d’une attaque terroriste;
    • la détection, la localisation, l’identification ou les poursuites à l’encontre de l’auteur ou du suspect d’une infraction pénale visée à l’article 2, paragraphe 2, de la décision-cadre 2002/584/JAI du Conseil et punissable dans l’État membre concerné d’une peine ou d’une mesure de sûreté privatives de liberté d’une durée maximale d’au moins trois ans, déterminées par le droit de cet État membre.

Les recommandations des Comité et Contrôleurs européens de la protection des données (CEPD) à propos de la proposition de règlement sur l’IA.

1- Des interdictions plus strictes et davantage de risques à prendre en compte.

Les CEPD recommandent dans leur avis conjoint de compléter cette liste, notamment en y intégrant les systèmes d’IA utilisés pour déterminer une prime d’assurance, évaluer des traitements médicaux ou encore à des fins de recherche sur la santé.

Ils préconisent fortement de mettre régulièrement à jour l’annexe III, qui liste les systèmes d’IA identifiés à haut risque, afin de s’assurer que son périmètre soit toujours approprié et qu’elle corresponde à la pratique.

Les CEPD reprochent que les exceptions à l’interdiction de l’utilisation de la reconnaissance faciale en temps réel dans des espaces accessibles au public à des fins répressives sont tellement larges qu’elles permettent aisément de justifier son utilisation.

A propos de la liste des pratiques d’IA interdites, les CEPD recommandent d’être beaucoup plus tranché et d’inclure dans cette liste davantage de systèmes d’IA, tels que :

  • Tout système dont l’utilisation aurait un impact sur la dignité humaine, tout système de social scoring y compris ceux réalisés par les entreprises privées et non pas uniquement ceux des autorités publiques.
  • Tout système d’identification biométrique automatique dans l’espace public ou qui permettrait d’aboutir à une catégorisation des personnes sur la base de critères discriminants et supposés (origines ethniques, sexe, orientation sexuelle, opinions politiques, etc).

Les CEPD recommandent que des risques plus généraux devraient être pris en compte, tels que les risques suivants :

  • Risque pour un groupe d’individus,
  • Risque pour les droits et libertés fondamentaux,
  • Risque pour la société dans son ensemble.

2- La prise en compte de la protection des données personnelles.

Articulation avec le droit de la protection des données personnelles. Concernant l’articulation de l’AI Act avec le droit de la protection des données personnelles, la proposition de règlement sur l’IA manque de précision sur son articulation avec les textes régissant la protection des données à caractère personnel, à savoir :
  • le règlement général sur la protection des données (UE) 2016/679 du 27 avril 2016 (RGPD) ;
  • la directive « police-justice » (UE) 2016/680 du 27 avril 2016 ;
  • le règlement (UE) 2018/1725 du 23 octobre 2018 sur la protection des données traitées par les institutions, organismes et organes de l’Union.
Privacy by design. Les CEPD regrettent l’absence de mention relatives aux personnes concernées et de leurs droits. Par ailleurs, les CEPD recommandent de prévoir que les systèmes d’IA soient respectueux des données dès la conception (privacy by design), notamment pour les systèmes de machine learning qui utilisent de nombreuses données d’entraînement, y incluant le cas échéant des données à caractère personnel. Droits des personnes concernées. Les CEPD recommandent que l’AI Act devrait citer les droits des personnes concernées, comme le droit de ne pas faire l’objet d’une prise de décision automatisée. En outre, les CEPD estiment que les droits à l’effacement et de rectification devraient être pensés dès la conception et les droits à la limitation et à l’effacement devraient toujours être garantis. Dans un souci de transparence, le CEPD rappelle enfin que les personnes doivent toujours être informées lorsque leurs données personnelles sont utilisées par un système d’IA. Analyse d’impact. Les CEPD recommandent d’effectuer une évaluation des risques ultérieure et adaptée à l’usage voulu, comme une analyse d’impact relative à la protection des données. Par ailleurs, les CEPD précisent que la proposition de règlement devrait spécifier que le responsable de traitement doit le cas échéant l’effectuer. Le mécanisme de mise en conformité. Concernant les mécanismes de mise en conformité :
  • le marquage CE devrait inclure la protection des données by design ;
  • l’évaluation de la conformité effectuée par un tiers doit être généralisée à tous les systèmes d’IA à haut risque ;
  • les mécanismes de certification devraient inclure les normes relatives à la protection des données personnelles.
Pour veiller à la conformité de l’AI Act, le texte prévoit que les Etats membres auront le choix de désigner l’autorité de contrôle chargée de veiller au respect du prochain règlement. En France, c’est la CNIL qui se démarque pour endosser ce rôle. En effet, c’est ce qui ressort de l’étude du  Conseil d’Etat publiée le 30 août 2022, particulièrement en raison de « la très forte adhérence entre la régulation des systèmes d’IA et celle des données, en particulier des données à caractère personnel ».

Création d'un service dédié à l'IA (SIA) au sein de la CNIL.

Consciente des enjeux présents et futurs de l’IA sur la protection des données personnelles, la CNIL annonce, le 23 janvier 2023, la création d’un SIA.

 

  • Composition du SIA : 5 personnes. Juristes et ingénieurs spécialisés. Le SIA sera rattaché à la direction des technologies et de l’innovation de la CNIL dont le directeur, Bertrand PAILHES, était précédemment coordonnateur national pour la stratégie d’IA au sein de la Direction interministérielle du numérique et du SI de l’Etat (DINSIC).

 

  • Objectifs du SIA :
    • Répondre aux interrogations des organismes publics et privés sur la légalité de certains usages liés au développement de l’IA.
    • Promouvoir les bonnes pratiques liées au développement de l’IA au regard du RGPD et dans la perspective de la proposition de règlement sur l’IA.

 

  • Principales missions du SIA :
    • Faciliter au sein de la CNIL la compréhension du fonctionnement des systèmes d’IA, mais aussi pour les professionnels et les particuliers ;
    • Consolider l’expertise de la CNIL dans la connaissance et la prévention des risques pour la vie privée liées à la mise en œuvre de ces systèmes ;
    • Préparer l’entrée en vigueur de l’AI Act (en cours de discussion au niveau européen) ;
    • Développer les relations avec les acteurs de l’écosystème ;
    • Produire du « droit souple » (référentiels, recommandations, etc.) ;
    • Instruire les demandes d’avis adressées par le gouvernement ;
    • Apporter un support dans l’instruction de plaintes et l’adoption de mesures correctrices en cas de manquements liés à l’utilisation d’un système d’IA.

 

La CNIL n’est pas la seule autorité de protection des données à s’intéresser à l’IA. La CNIL britannique, l’ICO (Information Commissioner’s Office), a quant à elle participé à un groupe de travail dédié à l’IA. En effet, l’ICO préside un groupe de travail informel pour les régulateurs qui se concentre sur les questions liées à l’IA. Ce groupe a été créé sur la base des principes de partage d’informations, de coordination et d’harmonisation. Il sert de forum pour le développement d’une approche collaborative et multilatérale de la réglementation de l’IA par les régulateurs britanniques existants.

 

L’IA constitue un enjeu présent, et l’existence d’un texte juridique qui répond aux défis posés par l’IA est plus que nécessaire. Toutefois, comme nous avons pu le voir, il n’est pas aisé d’y répondre efficacement et l’entrée en vigueur de l’AI Act peut prendre du temps.

Pour toute question portant sur l’usage éthique de l’intelligence artificielle, vous pouvez contacter nos équipes d’experts : Nous contacter – Almond

Sources

Maria IDJOUBAR

Consultante Governance, Risks & Compliance

Jour 2 | Quel est l’artefact forensique qui permet de prouver une exécution d’un programme sous Windows ?

  • Réponse 1 : JumpList

  • Réponse 2 : ShimCache

  • Réponse 3 : $MFT

  • Réponse 4 : Prefetch

Jour 1 | Quel texte européen permettra qu’à partir de fin 2027, tous les produits vendus dans l’UE et comprenant des composants numériques seront exempts de vulnérabilités et maintenus pendant tout leur cycle de vie ? #DigitalTrust

  • Réponse 1 : Le Cyber Security Act
  • Réponse 2 : Le Cyber Resilience Act
  • Réponse 3 : La Directive REC
  • Réponse 4 : La Directive NIS2