Rechercher
Fermer ce champ de recherche.

Vous êtes victime d’un incident de sécurité ? Contactez notre CERT

02/02/2023

Cybersecurity Insights

La prise de conscience internationale de l’importance de la question éthique

La notion d’éthique a toujours été beaucoup questionnée et définie. Souvent appréciée dans un prisme plutôt philosophique, on observe que chaque grande avancée qu’elle soit médicale ou industrielle est accompagnée de son questionnement éthique. La définition du dictionnaire aujourd’hui, pour le mot éthique, est la suivante : « Ensemble des principes moraux qui sont à la base de la conduite de quelqu’un » [1].

Ainsi, on comprend que l’éthique est un cadre moral composé de règles qui guident les comportements. Un cadre éthique est donc observable à l’échelle individuelle, on parle alors des valeurs personnelles d’un individu. À l’échelle d’un pays, l’établissement de lois a pour vocation d’encadrer les comportements, néanmoins, elles peuvent être remises en question au nom de la morale. Comme il est difficile de convenir d’une universalité de la morale, le cadre à cette échelle est un compromis.

Ce même besoin d’encadrement s’observe en parallèle de l’avancement et de l’innovation dans un domaine. Il est par exemple nécessaire de se poser des questions sur les finalités et les conséquences sur l’Homme d’un projet scientifique. Si cela peut sembler évident quand la recherche concerne la santé, il n’en est pas moins important concernant les avancées technologiques. Ce premier état des lieux autour de la question éthique, nous offre de nombreuses pistes d’approfondissement que nous verrons dans des analyses dédiées.

Les débuts du questionnement

Les législateurs en ont pris conscience au cours des dernières années, faisant naître de nombreux projets de loi concernant l’éthique numérique, et plus particulièrement concernant les projets en lien avec l’Intelligence Artificielle (IA). Ces nouveaux enjeux sont aujourd’hui compris et le risque de dérive incite aux réflexions sur la nécessité de proposer un cadre éthique.

Les projets liés à l’intelligence artificielle sont particulièrement concernés car ils ont déjà un impact direct sur nos vies et celui-ci ne va faire qu’augmenter au fil du temps. La réglementation commence donc là mais il est pertinent de penser que les recommandations seront élargies à l’ensemble des projets technologiques. Ces impacts peuvent être positifs et révolutionner la vie de nombreuses personnes dans le bon sens mais il a rapidement été mis en avant que le risque d’impacts négatifs, souvent non anticipés par les initiateurs du projet, sont loin d’être négligeables.

Les conséquences pouvant être observées à large échelle, il est apparu nécessaire que les discussions sur la régulation soient faites sur la scène internationale. En novembre 2021, l’UNESCO a publié une recommandation sur l’éthique de l’intelligence artificielle, même si ce n’est pas la première initiative en ce sens, c’est la première regroupant autant de pays.[2] Elle met en avant les valeurs suivantes : « le respect, la protection et la promotion des droits de l’homme, des libertés fondamentales et de la dignité humaine », « la prospérité de l’environnement et des écosystèmes », « l’assurance de la diversité et de l’inclusion » et « l’édification de sociétés pacifiques, justes et interdépendantes ». Elle propose ensuite des pistes sur la manière de garantir la protection de ces valeurs au travers du respect de différents principes et l’identification de différents domaines d’actions stratégiques.

Des initiatives de réglementation régionales sont également en cours, prés existants ou non à la publication de cette recommandation, elles seront nécessairement influencées par son contenu.

On peut parmi elles citer :

  • Le projet de règlement européen sur l’intelligence artificielle (IA ACT)[3] : dernière proposition de texte en date de novembre 2022[4].
  • Le dossier « Spécifications éthiques de l’intelligence artificielle de nouvelle génération » publié par la Chine [5] en septembre 2021.
  • Le National Defense Authorisation Act[6] (NDAA) des Etats-Unis pour l’année 2021/2022 propose également plusieurs mesures concernant la stratégie américaine en intelligence artificielle et le AI Risk management framework[7] publié par le NIST en janvier 2023. Les états américains individuellement se positionnent également sur la question[8].

Les normes comme outil d’influence

L’établissement rapide d’un cadre normatif concernant l’Intelligence Artificielle est stratégiquement intéressant. Les normes sont des outils d’influence non-négligeable et l’état des lieux des projets réglementaires nous donne des indices sur les différents choix stratégiques de chacun.

Certains ont pour ambition de se positionner comme leader sur les questions d’éthique de l’IA et espèrent instaurer des « modèles à suivre ». D’autres ont un positionnement plus défensif et veillent à la protection de leurs intérêts économiques en premier lieu. D’autres encore, sont un peu plus en retrait, suive les tendances tout en cherchant comment faire leur place et se rendre indispensable.

On peut donc différencier plusieurs acteurs de la scène internationale jouant un rôle dans la construction d’un cadre éthique de l’IA :

  • À une échelle nationale de nombreux pays ont lancé une initiative de régulation comme : la France, l’Allemagne, le Brésil, la Chine, le Japon, la Corée du Sud, le Rwanda, le Ghana ou encore le Sénégal.
  • À une échelle supranationale l’Union Européenne, n’est pas la seule à avoir initiée des travaux, c’est également le cas de l’Union Africaine.

Des recommandations ont également été publiées par l’OCDE, basées sur les recommandations européennes du EU High Level Experts Group (2019)[9]. Les recommandations de l’UNESCO proposent la première approche globale prenant en compte les différences culturelles existantes entre les nations.

Des initiatives privées de standardisation ont également créé des comités pour réfléchir sur les questions d’éthiques liées à l’intelligence artificielle notamment. On retrouve par exemple le projet de norme ISO[10] : ISO/IEC JTC 1/SC 42 Intelligence artificielle et l’initiative d’IEEE sur l’éthique des systèmes autonome et intelligent[11].

Une adaptation inévitable du secteur privé : une anticipation nécessaire

Les entreprises du secteur privé ont tout à gagner à être des éléments moteurs de cette évolution. On observe de plus en plus d’initiative en ce sens comme :

Le financement de recherches à l’Institut pour l’éthique de l’intelligence artificielle à l’université technique de Munich (TUM IEAI) en Allemagne qui a pour objectif de « recherches indépendantes et scientifiques pour apporter des connaissances et des conseils à la société, l’industrie, les législateurs et les décisionnaires des secteurs privé et public »[12]. On retrouve parmi leurs partenaires Fujitsu ou encore META.

À plus petite échelle, il apparaît aujourd’hui indispensable pour les entreprises d’anticiper les conséquences de la mise en place de ce cadre éthique sur leurs activités et cela que l’intelligence artificielle soit ou non au cœur de leur métier.

Plusieurs actions peuvent être mises en place comme :

  • Une veille réglementaire ciblée
  • La mise en place d’un comité de réflexion sur le cadre éthique
  • Une analyse des risques et des conséquences ciblant les enjeux éthiques

L’actualité sur le sujet est riche mais il est nécessaire de la suivre pour ne pas se laisser dépasser et voir des projets prometteurs pénalisés par manque d’anticipation.

Références

Alia SAADI

Consultante Governance, Risks & Compliance

Voir les derniers Cybersecurity Insights

25 novembre 2024
Avec une souche éprouvée, des outils bien choisis et des cibles stratégiques, 8Base se distingue comme une menace particulièrement redoutable. […]
12 novembre 2024
L'IA est devenue un facilitateur de la conduite des affaires cybercriminelles. La résilience exigée au sein de diverses organisations pour […]
29 octobre 2024
L'usurpation d'identité vous effraie ? De l'arnaque corporate jusqu'aux manipulations à l'échelle globale, l'essor des deepakes incarnant des personnalités publiques […]
28 octobre 2024
2024 is the year of elections. But how does it impact the threat landscape? Almond would like to share a […]
22 octobre 2024
Les interfaces que vous utilisez chaque jour subissent de multiples assauts, et leur manipulation met en danger de nombreuses entreprises […]
2 octobre 2024
Le Moyen Orient attire tous les regards après l'attaque sur la chaine d'approvisionnement des bippers et de talkies-walkies. L'Iran, acteur […]
17 juillet 2024
CWATCH vous invite au travers de cet article à vous interroger sur l’écosystème d’attribution actuel et les impacts de celui-ci […]
26 juin 2024
À l'approche des Jeux olympiques de Paris, la communauté de la cybersécurité a déjà observé une augmentation des activités malveillantes.
20 juin 2024
Ce Cybersecurity Insights a pour but de naviguer entre l’intérêt, le fonctionnement et l’étendue du marché des scanners de vulnérabilités. 
10 juin 2024
2024 is the year of elections. But how does it impact the threat landscape? Almond would like to share a […]

Jour 12 | Parmi ces propositions, quelle technique Mitre Atta&ck est la plus utilisée par les attaquants ?

  • Réponse 1 : OS Credential Dumping
  • Réponse 2 : Valid Account
  • Réponse 3 : Impair Defenses
  • Réponse 4 : Remote services

Jour 11 | Challenge OSINT

  • Réponse 1 : 

  • Réponse 2 : 

  • Réponse 3 :

  • Réponse 4 : 

Jour 10 | Parmi ces structures de données de la mémoire dans Windows, quelle est celle qui permet de lister les processus en cours d’exécution ?

  • Réponse 1 : EPROCESS

  • Réponse 2 : Kernel Debugger Data Block (KDBG)

  • Réponse 3 : Kernel Processor Control Region (KPCR)

  • Réponse 4 : Process Environment Block (PEB)

Jour 9 | Quel est le problème si la suite cryptographique TLS_RSA_WITH_AES_256_CBC_SHA256 est utilisée avec l'extension encrypt_then_mac pour la sécurité d'une communication TLS ?

  • Réponse 1 : L’algorithme de chiffrement est trop faible

  • Réponse 2 : L’intégrité de la communication n’est pas assurée

  • Réponse 3 : Il n’y a pas la propriété de confidentialité persistante (Perfect Forward Secrecy)

  • Réponse 4 : Le serveur n’est pas correctement authentifié

Laïus explicatif : La bonne réponse est le manque de confidentialité persistante.

La suite TLS_RSA_WITH_AES_256_CBC_SHA256 utilise la clé publique RSA du serveur pour chiffrer le secret partagé utilisé pour sécuriser les échanges de la session TLS : en cas de compromission de la clé privée du serveur, l’ensemble des échanges des sessions passées peuvent être déchiffrés par un attaquant.
La confidentialité persistante (connue sous le nom de Perfect Forward Secrecy en anglais) consiste en l’utilisation d’un échange Diffie-Hellman éphémère pour négocier le secret partagé, sans utilisation de la clé RSA du serveur.

Jour 8 | Quel est l'avantage d'utiliser un outil de couverture de code lors d'une session de fuzzing ?

  • Réponse 1 : Réduire le temps de fuzzing en optimisant certaines instructions assembleur.

  • Réponse 2 : Utiliser la technique de « pré-chauffage » du harnais (« warming code attack »).

  • Réponse 3 : Pouvoir analyser facilement les sections de code atteintes par le fuzzer.

  • Réponse 4 : Ne pas prendre en compte les vulnérabilités de type use-after-free.

Laïus explicatif : Les outils de couverture de code (“code coverage” en anglais) permettent de savoir avec précision quelles lignes de code d’un programme qui ont réellement été exécutées. Lors d’une session de “fuzzing”, ces outils peuvent aider l’analyste à savoir si les fonctions ciblées ont été atteintes par le fuzzer. Cette technique a notamment été utilisée par un membre de l’équipe Offsec pour trouver une vulnérabilité dans une bibliothèque open-source (voir notre article de blog)

Jour 7 | Quelle est la principale éthique qui doit être prise en compte dans le développement de l’Intelligence Artificielle ?

  • Réponse 1 : L’équité et la non-discrimination

  • Réponse 2 : La transparence des algorithmes utilisés

  • Réponse 3 : La sécurité et la confidentialité des données

  • Réponse 4 : Toutes les réponses

Laïus explicatif : L’équité et la non-discrimination sont des principes fondamentaux dans le développement de l’IA. Les systèmes d’IA doivent être conçus pour éviter les biais et assurer qu’ils ne favorisent pas des groupes spécifiques au détriment d’autres, afin de garantir un traitement juste et égal pour tous les utilisateurs. La transparence des algorithmes est cruciale. Les utilisateurs doivent comprendre comment les décisions sont prises par l’IA, ce qui inclut la possibilité d’expliquer les résultats ou actions générés par un système d’intelligence artificielle, afin d’éviter des décisions opaques ou injustes. La sécurité et la confidentialité des données sont enfin des préoccupations majeures lorsque l’on développe des systèmes d’IA, car ces technologies peuvent collecter et traiter des informations sensibles, ce qui soulève des questions sur la protection des données personnelles et la vie privée.

Jour 6 | Selon vous, en moyenne combien de ransomware ont eu lieu par jour en 2023 dans le monde ?

  • Réponse 1 : 1 par jour

  • Réponse 2 : 100 par jour

  • Réponse 3 : 30 par jour

  • Réponse 4 : 12 par jour

Laïus explicatif : En moyenne 12 attaques ransomware ont été signalées par jour par des victimes dans le monde en 2023 selon les chiffres d’Almond. Pour plus d’informations, n’hésitez pas à consulter notre Threat Landscape.

Jour 5 | Challenge de stéganographie

Réponse : PASSI RGS, PASSI LPM, CESTI, ANJ, Cybersecurity made in Europe, PCI QSA Company et Swift

Etape 1 : Observer l’image, trouver 3 logos cachés (Cybersecurity made in Europe, PCI QSA Company & Swift) et une indication pour chercher dans les métadonnées du fichier. 

Etape 2 : Challenge de stéganographie

En lançant dans son terminal un des outils les plus courants, « binwalk », on trouve une image JPEG dans le PDF. En extrayant les données grâce au même outil et en renommant le fichier en .jpeg, on voit apparaitre une image cachée. Ensuite, en utilisant « steghide », on peut extraire le fichier avec le mot de passe « Almond ». Ce fichier contient une suite de caractère encodée en base64. En la déchiffrant, on obtient les quatre autres certifications : PASSI RGS, PASSI LPM, CESTI et ANJ. 

Jour 4 | Concernant les accompagnements de la nouvelle qualification PACS de l’ANSSI, sur la portée Sécurité des Architectures, quels sont les domaines qui font partie du périmètre possible d’un accompagnement ?

  • Réponse 1 : la sécurité réseau, l’authentification, et l’administration du SI

  • Réponse 2 : la sécurité réseau, la sécurité système, et les mécanismes de chiffrement

  • Réponse 3 : l’administration du SI, le cloisonnement, les sauvegardes, et la stratégie de détection/réponse

  • Réponse 4 : tous ces sujets et plus encore

  • Laïus explicatif : Le référentiel PACS, sur la portée Sécurité des Architectures, porte bien sur tous les sujets liés de près ou de loin aux infrastructures du SI. La liste n’est pas exhaustive et est à adapter à chaque prestation d’accompagnement suivant le périmètre d’intervention. Dans le référentiel, l’ANSSI propose une liste de sujets à adresser dans un rapport PACS page 28 et 29.

    https://cyber.gouv.fr/sites/default/files/document/PACS_referentiel-exigences_v1.0.pdf

Jour 3 | Quel référentiel permet la certification de produits de sécurité ?

  • Réponse 1 : NIS2

  • Réponse 2 : Critères Communs

  • Réponse 3 : PASSI

  • Réponse 4 : ISO27001

Laïus explicatif : Le schéma Critères Communs est un ensemble de normes et méthodologies permettant de cadrer les moyens utilisés pour évaluer, de manière impartiale, la sécurité d’un produit de sécurité (logiciel ou matériel). Ce schéma est reconnu internationalement au travers de plusieurs accords (SOG-IS, CCRA et prochainement EUCC).

Le référentiel PASSI permet la qualification, par l’ANSSI, des prestataires d’audit de la sécurité des SI. ISO27001 est la norme décrivant les bonnes pratiques à suivre dans la mise en place d’un SMSI. Enfin, NIS2 est une directive visant à harmoniser et à renforcer la cybersécurité du marché européen.

Jour 2 | Quel est l’artefact forensique qui permet de prouver une exécution d’un programme sous Windows ?

  • Réponse 1 : JumpList

  • Réponse 2 : ShimCache

  • Réponse 3 : $MFT

  • Réponse 4 : Prefetch

Laïus explicatif : Le Prefetch est un artefact spécifique à Windows qui optimise le chargement des programmes. Lorsqu’un programme est exécuté pour la première fois, Windows crée un fichier dans le dossier C:\Windows\Prefetch, qui contient des informations sur le programme et les ressources qu’il a utilisées. Ces fichiers incluent également des horodatages correspondant à la première et aux dernières exécutions. L’existence d’un fichier Prefetch (.pf) pour un programme est une preuve solide qu’il a été exécuté. C’est l’un des artefacts forensiques les plus fiables pour prouver l’exécution d’un programme.

Jour 1 | Quel texte européen permettra qu’à partir de fin 2027, tous les produits vendus dans l’UE et comprenant des composants numériques seront exempts de vulnérabilités et maintenus pendant tout leur cycle de vie ? #DigitalTrust

  • Réponse 1 : Le Cyber Security Act
  • Réponse 2 : Le Cyber Resilience Act
  • Réponse 3 : La Directive REC
  • Réponse 4 : La Directive NIS2 

Laïus explicatif : Le Cyber Resilience Act, qui a été publié ces derniers jours au Journal Officiel de l’Union Européenne est entré en vigueur le 10 décembre 2024. A compter de cette date, les fabricants et éditeurs doivent adapter leur processus pour pouvoir continuer à vendre des produits au sein de l’UE après le 10/12/2027.

EU Cyber Resilience Act | Shaping Europe’s digital future