AMENDEMENT

Après l’alinéa 6

Insérer un paragraphe ainsi rédigé : 

…. – Lorsque le test de discrimination de nature statistique mentionné au 3° du I porte sur des conséquences d’un traitement algorithmique, ses résultats peuvent être vérifiés grâce à une analyse du code source et, le cas échéant, des données utilisées pour l’entraînement de l’algorithme qui sont mis à disposition à cet effet.

Le présent amendement du groupe Écologiste – Solidarité et Territoires vise à aménager la procédure des tests de discrimination lorsque ceux-ci portent sur les conséquences d’un traitement algorithmique.

Force est de constater que les traitements algorithmiques jouent un rôle toujours grandissant et sont par exemple employés pour l’octroi des prêts bancaires, l’attribution des places de l’université ou encore la surveillance de l’espace public. 

Cependant, leurs décisions sont souvent discriminatoires, car des défauts de conception de l’algorithme ou des banques de données utilisées pour l’entraînement incomplètes peuvent provoquer des biais et des discriminations.

À titre d’exemple, l’Agence des droits fondamentaux de l’Union européenne a souligné que « la technologie de reconnaissance faciale présente des taux d’erreur plus élevés lorsqu’elle est utilisée sur des femmes et des personnes de couleur, ce qui produit des résultats biaisés qui peuvent finalement entraîner une discrimination ».

Or, ces discriminations sont difficilement détectables, car les algorithmes constituent généralement des « boîtes noires » dont le fonctionnement n’est pas communiqué. C’est pourquoi le Défenseur des Droits et la Cnil ont constaté dès 2020 que les discriminations des algorithmes « ne sont bien souvent mesurables par les chercheurs qu’à l’échelle des groupes » (Algorithmes : prévenir l’automatisation des discriminations). Dans la mesure où ils permettent de mesurer justement des effets à l’échelle de groupe, ce sont des tests statistiques qui peuvent identifier des pratiques discriminatoires des algorithmes. 

Même si de tels tests peuvent évaluer les résultats des décisions prises suite au traitement algorithmique, cette méthode ne permet pas d’identifier précisément quelle partie de l’algorithme conduit au résultat biaisé, car celui-ci reste une boîte noire à défaut d’être également évalué. Or, une évaluation complémentaire permettrait par exemple d’identifier si les discriminations proviennent d’une base de données incomplète.

C’est pourquoi la procédure des tests prévue par le présent texte gagnerait à être adaptée aux spécificités des décisions prises sur le fondement d’un traitement algorithmique.

Plus spécifiquement, il est demandé que l’algorithme et la banque de données utilisée pour son entraînement puissent être analysés afin de permettre une analyse complémentaire aux résultats du test. Une telle analyse est indispensable pour identifier des méthodes discriminatoires afin de les éliminer.