Les algorithmes face au juge

Police, justice, et même santé... aujourd’hui, rares sont les domaines professionnels qui échappent aux algorithmes. Mais l’augmentation des usages de l’intelligence artificielle s’accompagne d’un nombre croissant de situations où elle est directement mise en cause. Un phénomène qui met le monde du droit en ébullition.

En octobre 2019, dans le New Jersey aux États- Unis, un homme était jugé et condamné pour avoir participé à une fusillade, ce qu’il contestait. L’algorithme TrueAllele a pourtant estimé que les traces d’ADN retrouvées dans les masques des assaillants lui appartenaient. Quelques années auparavant, en février 2016, dans le Minnesota, un afro-américain comparaissait quant à lui pour avoir tenté d’échapper à la police. Compas, l’algorithme de prédiction des récidives, jugeant son profil à haut risque, avait requis huit ans de prison. Une peine appliquée par le juge.

« Ces deux cas sont particulièrement représentatifs des problèmes juridiques posés par les algorithmes, raconte Ljupcho Grozdanovski, chercheur qualifié FNRS en faculté de Droit, Science politique et Criminologie de l’Université de Liège. Dans le New Jersey, l’accusé ayant contesté les faits, des experts ont été convoqués pour évaluer la fiabilité de TrueAllele. Mais l’algorithme est une “boîte noire” et ils n’ont pas pu expliquer son raisonnement. Ils se sont alors prononcés, non pas sur ce cas précis, mais de façon générale sur le degré de crédibilité de l’algorithme défini dans la littérature scientifique. Pour moi, il s’agit d’un changement de doctrine critiquable, car on se trouve alors devant l’impossibilité d’examiner la validité d’une preuve. »

Dans le deuxième cas, l’accusé, après avoir été mis au courant de la décision de l’algorithme, a contesté être “à haut risque” de récidive, au motif qu’il s’agissait d’une décision biaisée racialement. « Compte tenu de la hauteur de l’enjeu, l’homme a demandé à ce que les autorités publiques ne fondent pas leur décision exclusivement sur celle prise par la machine, révèle Ljupcho Grozdanovski. On assiste ici à une tendance émergente qui consiste à inviter des agents humains à (re)vérifier l’existence des biais discriminatoires dans des décisions algorithmiques présumées correctes et donc fiables. »

En effet, même si beaucoup d’algorithmes de Machine Learning se caractérisent par des processus décisionnels peu ou non supervisés par des humains, leur programmation peut néanmoins intégrer les biais “inconscients” de leur concepteur, tout comme les jeux de données sur lesquels ils sont entraînés. C’est que, dans le milieu de l’informatique, les hommes blancs des classes supérieures sont surreprésentés parmi les ingénieurs. De ce fait, il arrive régulièrement que des systèmes intelligents (utilisés à des fins de recrutement, par exemple) soient biaisés envers les minorités telles que les femmes, les personnes racisées ou défavorisées. « Les algorithmes sont opaques, et il n’est pas toujours possible de faire apparaître les biais, remarque le juriste. TrueAllele n’est pas un algorithme très sophistiqué et ne comprend “que” 170 000 lignes de codes. Pourtant, il aurait fallu plus de huit ans pour expliquer sa décision ! Imaginez alors le temps nécessaire pour revoir les millions de lignes de code d’une IA dite générative, comme ChatGPT ! On a certes tendance à présumer que, plus l’IA est performante, plus sa décision est statistiquement correcte. Mais le risque zéro n’existe évidemment pas. »

Pour les juristes, cette opacité va à l’encontre du droit d’accès aux preuves, condition impérative d’un procès équitable. « De plus, dans certains cas, les algorithmes sont autonomes, agissant sans intervention humaine, ajoute Ljupcho Grozdanovski. En cas de dommage, cela questionne un dogme millénaire qui dit que seul un humain peut causer des préjudices à un autre humain. Face à une machine, comment déterminer qui doit assumer la responsabilité ? »

L’UNION EUROPÉENNE PASSE À L’ACTE

Consciente de ces problèmes, l’Union européenne (UE), se dote actuellement d’un arsenal législatif, composé de deux textes majeurs, l’“AI Act” et l’“AI Liability Directive”. « Concrètement, le premier texte établit un certain nombre de standards techniques auxquels les concepteurs d’intelligence artificielle (IA) devront se conformer, afin d’éviter l’apparition de biais, décrypte le chercheur. Et ce, en particulier en ce qui concerne les algorithmes dits à “haut risque”, c’est-à-dire les IA actives dans des domaines comme l’identification biométrique, la gestion des travailleurs, l’éducation, la police prédictive, les demandes d’asile et le contrôle des frontières. »

L'AI Liability Directive, quant à elle, régit le système de preuves dans les cas où des dommages auraient lieu malgré l’application des standards établis. « L’UE est pionnière dans ce domaine, et ces instruments ont le mérite d’exister, indique Ljupcho Grozdanovski. Ils reconnaissent notamment pour les victimes le droit de demander l’accès aux preuves. Mais en pratique, on peut s’interroger sur l’effectivité de ce droit, car les informations auxquelles les victimes auront accès sont limitées. Cela est dû notamment au fait que le code source des IA peut être qualifié d’information sensible, un secret de commerce par exemple, et qu’il n’est techniquement pas faisable d’analyser un tel code dans des délais raisonnables. Tout ce que peut demander la victime, c’est de savoir si un système a bien été conçu selon les standards techniques de l’AI Act. »

Autrement dit, selon le chercheur, le droit ne tient pas compte des besoins procéduraux réels des justiciables. « Les standards sont une description et non pas une explication, reproche- t-il. C’est comme si vous achetiez des écouteurs défectueux, et qu’au moment de les rapporter au commerçant, ce dernier refusait d’admettre qu’ils ne fonctionnent pas, au motif que leur fabrication est conforme aux standards de qualité ! Or, nous parlons de décisions pouvant impacter gravement la vie des individus ! Pour reprendre les cas cités plus haut, ce qui importe, c’est de savoir comment TrueAllele a déterminé qu’il s’agissait bien de l’ADN de l’accusé. Pas si le processus de conception du logiciel répondait bien à des exigences de conformité... »
Ljupcho Grozdanovski se montre très critique envers l’AI Act, parce que, pour lui, il s’adresse avant tout aux opérateurs économiques et vise à encourager l’innovation et le progrès technologique (générateurs de plantureux gains économiques). « Tout le problème sera de savoir si toutes les entreprises auront les moyens de se conformer à l’AI Act, relève-t-il. Les grandes multinationales, sans doute, mais les autres ? »

LE CENTRE D’EXCELLENCE JEAN MONNET

Afin d’approfondir ses propres recherches sur le sujet, Ljupcho Grozdanovski a reçu un financement de l’UE pour établir au sein de l’ULiège un “Justice and AI Jean Monnet Centre of Excellence. Effective Judicial Redress in the Rising European and Global AI litigation” (JUST-AI). « Pendant trois ans, nous allons concevoir une plateforme transdisciplinaire qui nous permettra de questionner le système actuel d’administration de la justice et de l’accès aux preuves dans les litiges impliquant les IA, détaille-t-il. Cela impliquera des juristes bien sûr, ainsi que des chercheurs venus des autres sciences sociales, des ingénieurs, des écrivains et des artistes. Il s’agit de développer une recherche fondamentale, interdisciplinaire et critique de toutes les notions importantes que soulèvent ces cas particuliers, comme l’équité ou l’argumentation probatoire, afin que les justiciables puissent être effectivement protégés par le droit. »

Le centre JUST-AI produira des podcasts, organisera des séminaires et des conférences afin de sensibiliser les citoyens à ces notions de justice et, espère-t-on, être écouté par le régulateur européen. « En fin de compte, derrière la technicité du droit se camoufle une réflexion sur la justice et sa déshumanisation, au sens strict du terme », estime le chercheur. En définitive, Ljupcho Grozdanovski espère obtenir une vision beaucoup plus holistique et humaniste sur la façon dont les ia vont affecter notre écosystème. « Ainsi qu’on l’a vu par le passé, toute avancée technologique apporte avec elle un débat de justice sociale, et, en ce sens, l’IA ne constitue pas une exception, pense-t-il. Mais c’est la première fois que nous avons à faire à des produits ”intelligents” et il est donc urgent de réfléchir à leur utilisation et aux conséquences de celle-ci. »