Lettre de la DAJ – Le Défenseur des droits publie un rapport sur les algorithmes et les systèmes d’intelligence artificielle dans les services publics

L’algorithmisation de l’administration : une source d’inquiétude pour le Défenseur des Droits

Comment définit-on un algorithme ? S’il n’existe aucune définition légale, pour la Commission nationale de l’informatique et des libertés, un algorithme peut être défini comme « la description d'une suite d'étapes permettant d'obtenir un résultat à partir d'éléments fournis en entrée. Par exemple, une recette de cuisine est un algorithme permettant d'obtenir un plat à partir de ses ingrédients ». Le Défenseur des Droits définit un algorithme comme « une suite de formules mathématiques, d’opérations informatiques et de traitements statistiques dont l’application permet de résoudre des problèmes, d’exécuter des tâches ou d’obtenir des résultats à partir de grandes masses de données et en un temps record ».

Le Défenseur des Droits relève au cours des dernières années une « algorithmisation de l’administration ». Cette expression renvoie à l’accélération du déploiement, par les pouvoirs publics, de systèmes d’intelligence artificielle (IA) et d’algorithmes au sein de l’administration. En effet, si certaines administrations utilisent des algorithmes depuis des décennies, par exemple la Direction générale des Finances publiques (DGFiP) pour calculer l’impôt sur le revenu, de plus en plus de services ont recours à de tels systèmes pour automatiser, standardiser et accélérer certaines procédures.

Algorithme : un recours en plein essor dans les services publics

Au sein de l’administration, l’usage d’algorithmes est en plein essor et peut servir différents objectifs, qui ont été recensés par la Direction interministérielle du numérique :

• attribuer des droits ou calculer des montants, par exemple pour calculer des impôts ou attribuer des prestations sociales ;
• réaliser un appariement entre une offre et une demande, par exemple pour gérer la mobilité des agents ou l’accès à l’enseignement supérieur ;
• prédire une situation ou alerter d’un risque, par exemple pour cibler les contrôles de lutte contre la fraude fiscale ;
• aider à la décision des usagers, par exemple pour aider les demandeurs d’emploi à cibler leurs candidatures.

En principe, une décision administrative individuelle ne doit pas être prise de façon entièrement automatisée. Cependant, la loi relative à la protection des données personnelles de 2018 a introduit des exceptions qui ouvrent de larges possibilités de recourir à des décisions administratives individuelles entièrement automatisées, sous certaines conditions. Ces conditions, qui doivent constituer des garanties pour les usagers du service public, sont :

• l’information de la personne concernée du fait que la décision est prise sur le fondement d’un algorithme, avec des éléments de compréhension de celui-ci ;
• la maîtrise du traitement automatisé par l’organisme public utilisateur ;
• la possibilité pour la personne concernée d’obtenir une intervention humaine en cas de recours contre la décision ;
• l’impossibilité que la décision soit prise à partir de données qualifiées de sensibles par la loi informatique et libertés.

Les recommandations du Défenseur des Droits pour protéger les droits des usagers

Après cinq années de mise en œuvre de ce nouveau cadre juridique, le Défenseur des droits dresse dans son rapport « Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ? » un bilan du droit en vigueur et de la pratique de l’administration du point de vue des droits des usagers. Afin de protéger les usagers, le Défenseur des Droits formule des recommandations qui s’articulent autour du rôle et de la qualité de l’intervention humaine et du renforcement du principe de transparence de l’action publique.

La part d’intervention humaine

Cette dernière est essentielle pour garantir le contrôle et la responsabilité des systèmes d’intelligence artificielle (IA). Elle intervient à deux niveaux : le contrôle global des systèmes (durant la conception, l’exploitation et les audits) et la supervision individuelle lors de la prise de décisions. Cependant, pour être significative, l’intervention humaine doit être réelle, éclairée et aller au-delà d’une simple validation, notamment dans les décisions partiellement automatisées. 

Dans les cas où la décision administrative individuelle prise sur le fondement du résultat d’un algorithme ou d’un système d’IA est qualifiée de décision partiellement automatisée, le Défenseur des droits recommande d’édicter des critères et des modes opératoires obligatoires, alternativement ou cumulativement, pour qualifier plus précisément « l’intervention humaine » ou, à défaut, d’envisager une autre méthode de répartition.

Le renforcement du principe de transparence de l’action publique

Si l’utilisation d’algorithmes permet de clarifier les motivations des décisions en imposant que des règles de fonctionnement de ces algorithmes soient définies règles, cela exige en contrepartie la mise en place de mécanismes d’information et de justification. La loi impose que les décisions automatisées soient compréhensibles, accessibles, et justifiées pour permettre débats et contestations. Le règlement général sur la protection des données et le code des relations entre le public et l’administration définissent des droits distincts, qui garantissent la transparence des décisions automatisées. Cependant le Défenseur des droits recommande aux pouvoirs publics de mener une réflexion pour simplifier les obligations imposées à l’administration au titre de la transparence, et de veiller au respect de ces obligations.