Soizic Pénicaud et Valérie Pras : “Au sein des services publics, les nouvelles technologies perpétuent les discriminations”

CET ARTICLE A INITIALEMENT ÉTÉ PUBLIÉ DANS ARCHIMAG N°375
 Découvrez Le Brief de l'IT, la newsletter thématique gratuite d'Archimag dédiée aux professionnels des data, de l'IT, de la digitalisation et de la transformation numérique !

NDLR : En décembre dernier, le journal Le Monde publiait une enquête sur les dérives de l’algorithme de la Caisse nationale des allocations familiales (Cnaf) signée par les journalistes de la rédaction et Lighthouse Reports, une organisation à but non lucratif de journalisme collaboratif dont fait partie Soizic Pénicaud. De son côté, le collectif Changez de Cap, qui s’intéresse, entre autres, aux impacts de la dématérialisation et des nouvelles technologies dans le service public, avait déjà beaucoup travaillé sur les discriminations engendrées par l’algorithme de la Cnaf.

Dans quel but la Cnaf utilise-t-elle l’algorithme "data mining données entrantes" (DMDE) dont il est question dans l’enquête du Monde et de Lighthouse Reports ?

Soizic Pénicaud (S.P.), chercheuse et consultante indépendante en politique publique du numérique : Depuis 2010, la Cnaf utilise l’algorithme DMDE qui attribue à chaque allocataire (environ 13 millions de foyers) un score de risque. Ce dernier cherche à prédire les probabilités d’erreurs ou de trop-perçus de chaque dossier.

Ce score, entre 0 et 1, se base sur un calcul qui recoupe aussi bien des paramètres socio-économiques que le nombre d’interactions avec la Cnaf, celui des e-mails envoyés, ou encore les éventuelles visites d’agents à domicile. Plus ce score est proche de 1, plus le dossier sera considéré comme "à risque", ce qui pourra déclencher des contrôles pouvant être invasifs et humiliants.

Lire aussi : L’IA et les nouvelles technos pour un meilleur service public

Comment avez-vous mené l’enquête sur l’algorithme de la Cnaf ?

S.P. : Cela fait déjà plusieurs années que des associations comme Changer de Cap ou la Quadrature du Net, mais aussi le Défenseur des droits ou encore le sociologue Vincent Dubois alertent sur l’utilisation de cet algorithme. Avec Le Monde et Lighthouse Reports, nous avons commencé à travailler sur le sujet en juin 2023.

Dans le cadre du droit d’accès aux documents administratifs (Code des relations entre le public et l’administration -Livre III - Articles L300-1 à L351-1), nous avons réussi à obtenir le code source de l’ancienne version de l’algorithme (la Cnaf ayant refusé de nous transmettre le code actuel pour qu’il ne soit pas utilisé à des fins de fraude).

L’analyse du DMDE par les data journalistes du Monde a permis de comprendre ses paramètres et donc la façon dont le score de risque est calculé. Pour évaluer ses répercussions sur les populations, nous avons aussi interviewé des allocataires soumis à des contrôles sur place. Sachant que 70 % des contrôles sont déclenchés par l’algorithme.

Lire aussi : Collectivités : quels sont les métiers impactés par l'intelligence artificielle ?

Quelles sont les principales problématiques identifiées ?

S.P. : Nous nous sommes rendu compte que cet algorithme "surciblait" les populations les plus vulnérables et précaires, à l’image des bénéficiaires de l’allocation aux adultes handicapés (AAH) qui travaillent, des personnes aux revenus irréguliers, ou encore des familles monoparentales, dont près de 80 % sont des femmes… A contrario, les personnes pacsées vont être plus épargnées par l’algorithme.

Valérie Pras (V.P.), coordinatrice au sein du collectif Changez de Cap : Nous avions fait les mêmes constats au sein de l’association. Les personnes subissant des contrôles à répétition avaient souvent le même profil : personnes handicapées ou au RSA, mères célibataires… C’est là que le terrain rejoint la recherche et le travail journalistique, car nous avions connaissance de cet algorithme, mais nous n’aurions pas pu le décrypter.

S.P. : En plus des discriminations, il y a un véritable problème d’opacité au niveau des technologies utilisées au sein des services publics. Il est extrêmement difficile d’avoir accès aux codes sources, alors que c’est un droit. Et même lorsque nous avons réussi à nous le procurer, il y avait encore des variables caviardées.

V.P. : Il faut aussi avoir conscience qu’il y a les conséquences de ce type d’algorithme, mais également d’autres processus automatisés qui mènent à des situations catastrophiques pour les citoyens.

Lire aussi : Mathieu Vidal : "Le numérique doit être un levier d’amélioration des services aux publics"

À l’image de la Cnaf, les différents services publics investissent de plus en plus dans les nouvelles technologies, notamment d’IA et de dématérialisation. Selon vous, quels sont les principaux défis éthiques et sociétaux ?

S.P. : Je vois plusieurs grands dangers et enjeux liés à l’utilisation des nouvelles technologies dans les services publics, même si cela existe depuis longtemps. Le premier risque serait qu’elles perpétuent des discriminations déjà présentes dans la société.

Ensuite, nous pouvons nous interroger sur la question du contrôle humain. Par exemple, selon la Cnaf, ce n’est pas l’algorithme qui cible et décide du contrôle des dossiers, mais bien les agents du service public. Pour autant, et cela a été démontré par le sociologue Vincent Dubois, les personnes chargées des contrôles sont plus enclines à traquer les erreurs dans les dossiers à risque. C’est ce que nous appelons le biais d’automatisation. Dans certains cas, nous avons tendance à faire davantage confiance à un ordinateur plutôt qu’à notre propre expertise, et cette problématique va aussi se poser avec l’utilisation des IA génératives…

Enfin, je pense que la technologie peut servir de paravent aux politiques publiques et mettre un voile d’objectivité prétendue sur des choix politiques. Nous oublions souvent que derrière les algorithmes, il y a des décisions humaines et nous constatons un vrai manque de transparence et de débat sur ces outils. Concernant la Cnaf, l’État aurait par exemple pu décider de déployer un système qui détecte les allocataires qui n’ont pas reçu assez d’indemnités, plutôt que des trop-perçus…

V.P. : En matière de dématérialisation des services publics, se posent certes les problèmes de l’illectronisme et de l’existence de zones blanches, mais il faut aussi rappeler que les documents administratifs peuvent être très complexes à remplir et nécessiter une aide humaine. Selon, l’Insee, un tiers des Français, toutes classes confondues, n’arrive pas à aller au bout d’une démarche en ligne et l’abandonne en cours de route. Souvent, les erreurs proviennent d’une mécompréhension.

Cette déshumanisation touche aussi les agents du service public qui peuvent souffrir d’une perte de sens. Une grande partie des agents, notamment dans les organismes de protection sociale, y sont entrés par vocation pour se mettre au service des citoyens. Nous observons des risques psychosociaux, d’importants turnovers et des difficultés de recrutement.

Lire aussi : L’IA générative, le numérique et la formation au coeur de la transformation publique

Justement, les agents sont-ils armés pour faire face au développement de ces technologies ?

V.P. : Il y a un problème de méthode : si les agents des services publics sont formés a posteriori, ils ne sont pas impliqués dans le développement des outils. Les bugs recensés par le terrain, toujours après coup, ont pourtant de réels impacts humains et financiers. Et concernant les informations fournies par les IA, un agent sous pression (objectif de productivité, manque de ressources…) aura-t-il le temps de les vérifier ou aura-t-il tendance à faire confiance à l’outil ? De nombreuses questions restent sans réponse.

S.P. : Le discours ambiant affirme que les outils numériques vont améliorer le quotidien des agents en les déchargeant des tâches les plus pénibles. Mais qui décide de cette pénibilité ? Comment l’expertise et la volonté de ces agents sont-elles respectées ? De plus, certains ne sont pas conscients que ces outils peuvent biaiser leur travail ou qu’ils soulèvent des enjeux de protection de la vie privée. Ont-ils la marge de manœuvre pour s’éloigner de ce que proposent les algorithmes ? Ces évolutions doivent être analysées de manière globale, car elles tendent vers la réduction des ressources et des moyens pour les agents de terrain, qui sont souvent aussi des victimes de l’automatisation des processus.

Lire aussi : Gabriel Attal annonce le déploiement de l'intelligence artificielle dans les services publics