B. DES RISQUES DE MANIPULATIONS POLITIQUES VOIRE DE DÉSTABILISATION
1. Désinformation au carré
L'EPTA, réseau européen des structures parlementaires scientifiques, a consacré son rapport pour l'année 2024 aux relations entre l'intelligence artificielle et la démocratie203(*), un travail auquel l'OPECST a apporté sa contribution.
Problématique traditionnelle, la désinformation change désormais d'échelle avec l'IA et en particulier l'IA générative. Les manipulations de l'information avec intention de tromper, qu'il s'agisse de contenus falsifiés ou de fausses informations, sont très largement amplifiées par ces technologies.
L'Observatoire international sur les impacts sociétaux de l'intelligence artificielle et du numérique, structure canadienne, a publié en octobre 2024 un rapport204(*) où il rappelle que la désinformation a toujours existé, de la campagne de désinformation menée par l'Empereur Auguste contre ses adversaires dans la Rome antique aux fausses nouvelles entourant la campagne de vaccination contre la covid-19 en passant par la prétendue présence d'extraterrestres sur la surface de la Lune avancée par le journal The New York Sun à des fins de sensationnalisme au XIXe siècle. Mais il souligne que la création de contenus trompeurs à grande échelle grâce à l'IA provoque une augmentation des risques de désinformation. La possibilité de discerner entre ce qui est vrai et ce qui ne l'est pas s'affaiblissant, les conséquences peuvent être très significatives. L'IA accélère cette ère de la post-vérité (Post-Truth Era).
Le Global Risks Report 2024 du World Economic Forum fait même de la désinformation le risque le plus important à court terme dans le monde. Il précise que la majorité des experts interviewés ont mentionné, de façon préoccupante, la perspective d'une polarisation croissante de nos sociétés et plus spécifiquement une polarisation des clivages identitaires et idéologiques dans les prochaines décennies, ce qui menacerait nos démocraties.
Cette désinformation peut d'ailleurs aller jusqu'à viser la déstabilisation de pays entiers ou d'opérations militaires spécifiques. L'un des vecteurs de cette désinformation préjudiciable à nos sociétés sont les deepfakes, ces hypertrucages réalistes que l'IA a récemment perfectionnés.
2. Hypertrucages réalistes (« deepfakes »)
Plus spécifiquement que la désinformation, les IA génératives font courir le risque de trucages hyperréalistes, qui outre les escroqueries, touchent d'ores et déjà le monde politique. Ces deepfakes sont des procédés de manipulation qui recourent à l'intelligence artificielle pour créer des contenus truqués mais ultraréalistes, y compris en matière audiovisuelle avec des vidéos trompeuses. Les personnalités politiques ou les candidats aux élections en sont très régulièrement les victimes : montage par IA de photos truquées, de contenus audio ou vidéo. Les candidats aux dernières élections américaines ont chacun été victimes de nombreux deepfakes, certaines photos, en apparence vraies, ou vidéos avec des voix entièrement reconstituées, ayant été vues plusieurs dizaines de millions de fois.
Ces contenus n'étant pas accompagnés d'indications précisant qu'ils sont produits par IA et donc truqués, ils deviennent des informations partagées, avec une logique parfois virale, qui les font courir plus vite que les rumeurs et qui portent atteinte aux victimes des trucages. Ces deepfakes peuvent influencer le vote de certains électeurs, y compris ceux qui, de bonne foi, voient ces contenus sans jamais pouvoir imaginer qu'ils sont faux.
Alors que les contenus truqués étaient plutôt faciles à détecter auparavant y compris parfois à l'oeil nu, une telle discrimination devient désormais de plus en plus délicate à effectuer. Les trucages hyperréalistes générés par IA générative requièrent en règle générale une analyse détaillée voire technique pour déceler leur nature de deepfake. Ils ont explosé depuis un an : des chercheurs ont analysé 136 000 contenus de vérification des faits (fact-checking) produits entre 1995 et novembre 2023, dont la majorité après 2016. Ils notent une explosion de ces faux contenus créés par l'IA à partir du printemps 2023205(*).
Une solution qui est avancée autant par la Chine que l'Union européenne, et dans une moindre mesure par les États-Unis, est de rendre obligatoire l'ajout de filigranes discrets (Watermarking) permettant d'identifier ces trucages.
3. Cybersécurité et risque d'attaques à grande échelle
Le présent rapport n'a pas pour objet de traiter l'ensemble des risques liés à l'IA : il se focalise sur les enjeux de cybersécurité spécifiquement liés aux systèmes d'IA génératives. Il aborde également le débat sur le risque existentiel lié à l'arrivée de l'intelligence artificielle générale (IAG).
Les systèmes d'intelligence artificielle ont démontré des capacités avancées pour la programmation informatique avec des modèles comme Codestral de Mistral, capable de maîtriser plus de 80 langages informatiques206(*). Le développement de ces compétences implique des risques pour la sécurité et plus spécialement la cybersécurité, surtout en cas d'utilisations malveillantes de l'IA, d'autant plus que des méthodes existent pour contourner les mesures de sécurité mises en place par les entreprises pour éviter l'utilisation illégale de leurs modèles.
Il est donc important de prendre la mesure de ces risques afin de pouvoir les anticiper et les contrôler. Il est, par exemple, nécessaire non seulement de savoir de quelle nature sont ces risques et quels risques peuvent être anticipés, mais aussi de prévoir les réponses à ces menaces. Ces risques peuvent être causés par les systèmes d'IA générative eux-mêmes ou ce sont ces derniers qui peuvent faire l'objet d'attaques.
a) La typologie des usages malveillants de l'IA générative
Une étude réalisée par Google en 2024207(*) a permis d'établir une taxonomie précise et assez complète des « tactiques de mauvais usages de l'IA générative ». Cette typologie montre que les possibilités d'utilisations de l'IA avec des intentions malveillantes sont nombreuses.
Abus exploitant les capacités de l'intelligence artificielle générative
|
Tactique |
Définition |
|
|
Représentation réaliste de la ressemblance humaine |
Usurpation d'identité |
Assumer l'identité d'une personne réelle et entreprendre des actions en son nom. |
|
Utilisation d'éléments |
Utiliser ou modifier l'image d'une personne ou d'autres éléments d'identification. |
|
|
Faux nez |
Créer de faux profils et de faux comptes en ligne. |
|
|
Images intimes non consenties |
Créer du matériel sexuel explicite en utilisant l'image d'une personne adulte. |
|
|
Matériel pédopornographique |
Créer du matériel sexuellement explicite impliquant des enfants. |
|
|
Représentations réalistes de non-humains |
Falsification |
Fabriquer ou représenter faussement des preuves, y compris des rapports, des pièces d'identité, des documents. |
|
Violation de la propriété intellectuelle |
Utiliser la propriété intellectuelle d'une personne sans son autorisation. |
|
|
Contrefaçon |
Reproduire ou imiter une oeuvre, une marque ou un style et la faire passer pour originale. |
|
|
Utilisation de contenu généré |
Mise à l'échelle et amplification |
Automatiser, amplifier ou mettre à l'échelle des flux de travail. |
|
Ciblage et personnalisation |
Affiner les sorties pour cibler les individus avec des attaques sur mesure. |
Source : Marchal et al., 2024, op. cit.
b) Comment répondre à ces nouveaux risques en matière de sécurité face à l'essor de l'IA générative aujourd'hui ?
Face aux risques accrus en termes de sécurité avec le développement de l'IA générative, les techniques doivent évoluer. Une vigilance est de mise face aux stratégies de contournement des attaquants. Ces derniers entrent avec les défenseurs dans une spirale de montée en technicité sous l'effet des progrès de l'IA. Les réponses deviennent ainsi de plus en plus complexes à mesure que les attaques se perfectionnent, et réciproquement...
L'Agence nationale de la sécurité des systèmes d'information (Anssi) a publié en avril 2024 un rapport présentant ses recommandations de sécurité pour les systèmes d'IA générative, qui prend la forme d'un Guide208(*). Ce document vient compléter les informations fournies par l'étude de Google et présente également les risques majeurs et prioritaires que fait courir spécifiquement l'utilisation de l'intelligence artificielle générative.
Le rapport dresse notamment la liste des risques et des vulnérabilités concernant les intelligences artificielles génératives qui présentent une menace potentielle pour ses utilisateurs. Ce document ne traite pas de l'éthique de l'IA, ni de la vie privée et de la protection des données personnelles, ni de la sécurité liée à la faible qualité des données ou de la faible performance des modèles d'IA, notamment d'un point de vue métier.
L'utilisation de services d'IA générative tiers, tels que ChatGPT ou DeepL, expose à des risques de perte de confidentialité. Les prestataires de ces services collectent et utilisent les données pour optimiser leurs modèles, empêchant le maintien de la confidentialité des informations sensibles. Il est donc essentiel de ne pas transmettre de données sensibles à ces services grand public, y compris des informations contractuelles, financières, ou des données personnelles.
L'exfiltration de données est une autre menace majeure en lien avec la précédente. Les modèles d'IA générative peuvent être manipulés pour extraire des informations sensibles à partir des données d'entraînement ou des requêtes des utilisateurs. Des techniques d'attaque adverse peuvent être employées pour exploiter des vulnérabilités et accéder à des informations confidentielles, posant des risques significatifs pour la confidentialité et la sécurité des données.
Les systèmes d'IA générative interconnectés à d'autres applications peuvent aussi servir de vecteurs pour des attaques latéralisées. Un attaquant peut ainsi exploiter une vulnérabilité dans le système d'IA pour infiltrer d'autres systèmes critiques, comme des services de messagerie interne. De plus, l'injection de codes malveillants dans du code source généré par l'IA peut entraîner des sabotages d'applications métiers, compromettant la sécurité et l'intégrité des opérations d'une organisation.
Les paramètres ou poids des modèles d'IA propriétaires sont des actifs précieux. Leur vol peut compromettre l'intégrité des modèles et permettre à des attaquants d'améliorer leurs propres systèmes d'IA ou de lancer des attaques plus efficaces. La protection des paramètres des modèles est donc cruciale pour maintenir la sécurité et la compétitivité technologique.
De façon générale, les systèmes d'IA générative exposés au public, risquent de voir leur fonctionnement altéré ou détourné par des acteurs malveillants. Par exemple, un chatbot peut fournir des réponses incorrectes ou inappropriées à la suite d'une manipulation malveillante, affectant ainsi la réputation de l'organisation qui l'utilise. Cette menace est particulièrement critique pour les services interactifs en ligne, où la perception du public joue un rôle crucial.
Pour faire face à ces attaques, l'Anssi recommande des mesures de protection aux développeurs et aux utilisateurs de systèmes d'intelligence artificielle. Elle identifie les bonnes pratiques à mettre en oeuvre depuis la phase de conception et d'entraînement d'un modèle d'IA jusqu'à la phase de déploiement et d'utilisation en production.
Il est, par exemple, recommandé aux développeurs :
- de mener une analyse de risque avant l'entraînement du modèle ;
- de sécuriser les données d'entraînement ;
- de limiter l'utilisation de l'IA pour la génération de code critique ;
- de former et sensibiliser les développeurs d'IA aux risques de sécurité et d'attaques ;
- de mettre en place des mesures contre les attaques par déni de service (DDoS) contre les serveurs.
Vos rapporteurs renvoient à ce guide de l'Anssi pour un approfondissement de ses préconisations en matière de sécurité pour les systèmes d'IA générative.
* 203 Cf. « EPTA report 2024 on Artificial Intelligence and Democracy » : https://eptanetwork.org/news/epta-news/24-publication/140-epta-report-2024
* 204 Cf. le rapport de l'Observatoire international sur les impacts sociétaux de l'intelligence artificielle et du numérique, 2024, « Éduquer contre la désinformation amplifiée par l'IA et l'hypertrucage : une recension d'initiatives de 2018 à 2024 » : https://www.obvia.ca/ressources/eduquer-contre-la-desinformation-amplifiee-par-lia-et-lhypertrucage-une-recension-dinitiatives-de-2018-a-2024
* 205 Cf. Nicholas Dufour et al., 2023, « Large-Scale Survey and Dataset of Media-Based Misinformation. In-The-Wild » : https://arxiv.org/pdf/2405.11697
* 206 https://mistral.ai/news/codestral/
* 207 Nahema Marchal, Rachel Xu, Rasmi Elasmar, Iason Gabriel, Beth Goldberg, et William Isaac, 2024, « Generative AI Misuse : A Taxonomy of Tactics and Insights from Real-World Data », étude de Google.
* 208 « Recommandations de sécurité pour un système d'IA générative. Guide de l'Anssi », 29 avril 2024 : https://cyber.gouv.fr/publications/recommandations-de-securite-pour-un-systeme-dia-generative