Chronique de l’émission “Droit et mathématiques”

Droit et mathématiques : les frères ennemis ?

Invité : Jean Lassègue, chercheur au CNRS et co-auteur avec Antoine Garapon de l’ouvrage “Justice Digitale”, paru aux éditions des PUF

Questionner le rapport fondamental entre le droit et les mathématiques pourrait paraître surprenant (je ne dis pas dépassé) dans une émission dédiée au numérique.

Pourtant, les développements depuis 2010 d’une marque commerciale « intelligence artificielle » (ou IA) a réactivé l’utilisation massive du formalisme mathématique, plus précisément des statistiques, pour traiter des masses considérables de données avec des prétentions bien connues : modéliser des comportements, des actions non seulement afin de les automatiser (les reproduire) mais peut-être même les anticiper. C’est bien là le cœur des algorithmes d’apprentissage dits de machine learning, derrière lesquels il n’y a aucune magie autre que la construction automatique de modèles mathématiques en découvrant les liens (corrélations) cachés dans la masse des données qu’on leur fait ingurgiter.

Cet émerveillement (cette sidération même) qui a saisi l’humanité entière en voyant AlphaGo, une IA spécialisée au jeu de go, plier en deux temps trois mouvements le meilleur joueur humain (puis d’ailleurs se battre elle-même, dans une sorte d’extraordinaire mise en abyme), a conduit à un grand trouble. Un grand malentendu même.

De manière assez opportune, l’industrie numérique a réanimé des qualifications anthropomorphiques pour désigner ce traitement massif de données statistiques (intelligence, neurone, apprentissage) et, peut-être, éviter de convoquer les décennies de débat sur les apports des sciences dures. Or, comme le dit Pablo Jensen dans son livre « Pourquoi la société ne se laisse pas mettre en équation ? », il y a des faits têtus dans les sciences naturelles que l’on ne peut ne balayer d’un revers de main, mais quand l’on arrive à traiter de phénomènes sociaux, il est bien plus difficile de trouver des relations stables.

La systématisation de l’application de l’IA dans tous les champs de l’activité humaine relève donc clairement du solutionnisme, dénoncé par Evgeny Morozov dans « Pour tout résoudre, cliquez ici ».

Peut-être faut-il donc revenir aux bases, qualifier ce que l’on voit avec des mots précis et identifier ce que l’histoire nous appris.

Sans s’égarer dans le temps avec notre DeLorean de Retour vers le futur (oui la production d’Amicus Radio dispose d’un budget démentiel), remontons un instant au XVIIIème siècle : le marquis de Condorcet, influencé par les savants de l’Italie du Nord comme Beccaria qui tentent de formaliser le réel, écrit des premiers essais sur les mathématiques sociales  et, déjà, sur la jurisprudence dans un texte inachevé « sur les lois criminelles en France ». Avançons brièvement vers Adolphe Quételet au XIXème siècle cette fois-ci : docteur en mathématiques, il a développé pour sa part la « physique sociale », érigeant l’homme moyen comme valeur centrale. Un brin effrayant peut-être… Auguste Comte réagira à ces idées et développera ce qui allait devenir la sociologie… 

Quels enseignements tirer de cela ? Est-ce qu’il n’y aurait finalement pas une forme de totalitarisme à faire rentrer les humains dans des cases logiques ? L’irrationnel comportement (apparent) de l’humain et ses contradictions ne sont-elles pas mieux régulées par le droit, et sa texture ouverte, que des règles logiques ? 

Jean Lassègue et Antoine Garapon ont traité de la révolution que nous sommes en train de vivre sous l’angle d’une révolution graphique, d’une nouvelle forme d’écriture qui s’imposerait à nous… écriture purement mathématique. 


Ecoutez l’entretien avec Jean Lassègue, chercheur au CNRS et co-auteur avec Antoine Garapon de l’ouvrage “Justice Digitale”, paru aux éditions des PUF

Pourquoi la justice résiste-t-elle aux algorithmes ?

Texte et vidéo du TEDx Issy-les-Moulineaux “Retour au local”
22 novembre 2018 (Issy-les-Moulineaux)

Retrouvez l’enregistrement vidéo sur Youtube en cliquant ici.


Séquence 1 | La résistance des tribunaux au changement : une idée à modérer 

Les magistrats ne sont pas résistants culturellement au numérique : nombre de juges, procureurs et greffiers sont sur les réseaux sociaux ; certains développent même des applications !

La justice n’a pas été en retard pour intégrer l’informatique : dès les années 80 le Casier judiciaire a été informatisé ; le problème c’est que certains des outils sont devenus obsolètes…

ALORS OUI, il y aurait une urgence à se saisir dès aujourd’hui des derniers développements technologiques comme l’IA pour contribuer à combler le fossé entre les citoyens et la justice (constat d’un déficit de confiance entre eux et la justice, le temps et l’aléa sont devenus inacceptables) afin d’offrir des services en accord avec notre temps

Comment passer de l’incantation à la réalité, en ne piétinant pas certains principes fondamentaux : Et si au lieu de tenter construire des cathédrales numériques (des gros systèmes) l’idée d’un retour à un dialogue de proximité, local était une solution ? Avant d’énoncer une solution, analysons la situation – spécifiquement avec de l’IA !


Séquence 2 | Une des possibles raisons de la résistance des juges à l’IA ?

Une hypothèse : et si ce n’était du corporatisme ? A moins que le formalisme mathématique ne soit pas suffisant pour modéliser de manière rigoureuse le raisonnement judiciaire ?

Ce que l’on appelle aujourd’hui IA n’est qu’une grosse machine qui fait des modèles mathématiques et statistiques : l’IA de Terminator n’est pas prête d’exister, les développements d’aujourd’hui (machine learning) sont une représentation statistique d’un environnement donné

Cela marche bien dans un environnement fermé avec des choses quantifiables physiquement : on peut construire une prévision du nombre possible du nombre de vente de crèmes glacées en fonction de la  température de l’air

Mais il est plus difficile de trouver des constantes dans les phénomènes sociaux : moins de stabilité dans les relations sociales que dans les phénomènes physiques (Jensen) – il en est de même quand il faut traiter des conflits

  • C’est le mirage de la justice prédictive et le danger du « solutionnisme » (Morozov) c’est-à-dire croire que le numérique peut tout résoudre
  • Risque des biais (raciaux – par exemple aux États-Unis avec COMPAS)

Alors on jette tout et on n’en fait rien ? Ce serait une erreur !


Séquence 3 | Une possible solution ? Réinventer la justice par le numérique via une construction pluridisciplinaire en revenant… au local

Comprendre les phénomènes sociaux exigent une approche pluridisciplinaire au plus près des citoyens : exemple de la méthode de la déclaration de Montréal pour associer les citoyens à la définition de valeurs à protéger ou à promouvoir en organisant des ateliers dans des bibliothèques

Ouvrons les portes à un travail agile entre différents métiers, afin de bâtir des applications Human rights by design : c’est ce que souhaite défendre comme vision le Conseil de l’Europe dans sa politique de régulation de l’IA

En n’oubliant pas un enjeu spécifique à la justice, mais les professionnels du droit vous le rappellerons : conserver la symbolique même si l’on est à l’ère numérique. Le procès est un rite de passage de la conflictualité à l’apaisement, avec l’autorité de la société dans son ensemble – nécessite parfois du temps… et ne pas confondre aléa avec personnalisation.


Conclusion : Créer de la confiance entre la justice et les citoyens passera par des technologies numériques qui ont pleine conscience des enjeux particuliers locaux

Prenons l’exemple du laboratoire de Cyberjustice de Montréal : résultats remarquables en attirant les meilleurs talents venant du droit, des sciences sociales, du numérique. Pourquoi pas un laboratoire français voire européen, travaillant au plus près des besoins des citoyens ? Et des professions ?

Et si le service public se donnait les moyens de Hacker les hackers ! Se saisir des méthodes, de l’adaptabilité, de l’ouverture d’esprit ? C’est dans la proximité que nous devrions envisager l’avenir d’une justice numérique que nous nous devons d’inventer ensemble !


Retrouvez l’enregistrement vidéo sur Youtube en cliquant ici.

Chronique de l’émission “Intelligence artificielle et procès pénal”

Intelligence artificielle et procès pénal : l’illusion d’un destin ?

Invitée : Clementina Barbaro, chef d’unité au Conseil de l’Europe

Comme les bains de photographie argentique parviennent à révéler l’imperceptible d’une prise de vue, l’intelligence artificielle (IA) nous promet de dévoiler, par le formalisme mathématique et statistique, de l’information dans le canevas des données que nous produisons de plus en plus massivement.

Appliqué au champ de la justice pénale, plusieurs réalisations, déjà fonctionnelles aux Etats-Unis, visent à prévenir la commission d’infractions, notamment par des sortes de cartographies « prédictives », ou à évaluer les risques de réitération d’un individu.

La ville de Santa Cruz a été la première à se doter, en juillet 2011, d’un outil baptisé PredPol (pour predictive policing), qui vise à prédire où et quand un crime va se produire. Il n’y a aucun « precog » derrière tout cela, comme dans le film Minority Report, mais une base de données recensant les infractions passées et la formule magique de notre ère de l’IA : des modèles mathématiques et statistiques – secrets – qui projettent du passé un possible avenir. De telles solutions sont déjà testés dans de nombreux pays européens.

Nous pourrions prendre aussi l’exemple de l’algorithme COMPAS  qui est utilisé de manière effective dans certains États américains afin d’évaluer la dangerosité des individus en vue de leur éventuel placement en détention provisoire ou lors du prononcé d’une condamnation pénale. Cet algorithme n’a rien de fantaisiste : il s’appuie sur des études académiques en criminologie et en sociologie, sur différents modèles statistiques et le traitement d’un questionnaire de 137 entrées, relatif à la personne concernée et à son passé judiciaire sans aucune référence à son origine ethnique. Le système fournit ensuite au juge différents « scores » à un horizon de deux années : risque de récidive, risque de comportement violent et risque de non-comparution pour les situations de placement en détention provisoire.

Toutefois, en mai 2016, les journalistes de l’ONG ProPublica ont analysé l’efficacité des « prédictions » de  COMPAS sur une population de près de 10 000 individus arrêtés dans le comté de Broward (Floride) entre 2013 et 2014. Cette étude a révélé non seulement un taux relativement faible de « prédictions » justes (61%) mais, en procédant à l’analyse approfondie des « faux positifs », elle a par ailleurs établi que les populations afro-américaines étaient pondérées d’un plus fort risque de récidive que les populations blanches. Inversement, les populations blanches ayant effectivement récidivées avaient été deux fois plus classifiées comme étant en risque faible que les populations afro-américaines. 

En d’autres termes, sans inclure l’ethnie des individus ou avoir été spécifiquement conçu pour traiter cette caractéristique, le croisement des données (dont le lieu de résidence) a indirectement surpondéré cet aspect au détriment d’autres facteurs sociaux individuels (éducation, emploi, parcours familial) et a conduit à influencer les juges avec des indicateurs proprement discriminatoires.

Cette perspective, effrayante, est-elle une réalité fonctionnelle ou juste des épiphénomènes, un peu gonflé par la presse ?

Profitons de l’expertise de Clementina Barbaro, qui est chef d’unité au Conseil de l’Europe. Elle a notamment animé les derniers travaux de la CEPEJ sur l’IA dans les systèmes judiciaires et elle intervenue notamment au Sénat, en juin 2018, et dans plusieurs forums européens sur la question !


Ecoutez l’entretien avec Clementina Barbaro, chef d’unité au Conseil de l’Europe

Pourquoi la justice résiste-t-elle aux mathématiques ?

Texte et vidéo de la 2ème séance du séminaire  de l’IHEJ “Droit et mathématiques”
8 novembre 2018 (ENM Paris)

Retrouvez l’enregistrement vidéo de la 2ème séance du séminaire sur Youtube en cliquant ici.


 « Tout ce qui est neuf n’est pas nécessairement nouveau ». Cette pensée, prêtée à Paul Ricœur, semble parfaitement pouvoir tempérer les derniers développements de la transformation numérique que nous vivons, dont les tentatives de traiter des décisions de justice avec le formalisme mathématique à des fins prédictives. L’on connaît pourtant déjà bien les limites des tentatives de description des phénomènes sociaux par des équations : mais l’enchantement collectif opéré par le seul énoncé du terme, vague et marketing, d’« intelligence artificielle » (IA) semble avoir parfaitement occulté la réalité concrète de la technologie sous-jacente de cette dernière mode. L’apprentissage automatique (machine learning) et ses dérivés ne sont en fait qu’une manière de créer de l’information en donnant du sens à des données par diverses méthodes statistiques bien connues (comme la régression linéaire).

Dans ce contexte de confusion assez généralisée, les mathématiques seraient devenues pour Cathy O’Neil, scientifique des données (data scientist), une nouvelle « arme de destruction massive » car, malgré leur apparente neutralité, elles serviraient à des calculs algorithmiques si denses qu’il serait difficile, voire impossible, de rendre transparent les choix parfois arbitraires de leurs concepteurs[1]. Leur utilisation décomplexée serait même susceptible de renforcer de manière inédite les discriminations et les inégalités en « utilisant les peurs des personnes et leur confiance dans les mathématiques pour les empêcher de poser des questions[2] ».

Le constat ainsi posé est pertinent : ne devons-nous pas traiter prioritairement des questions de la difficulté à utiliser ce formalisme pour décrire les phénomènes sociaux et des changements profonds de gouvernance induits au lieu de spéculer de manière stérile sur des risques relevant de la pure science-fiction, notamment en ce qui concerne l’IA[3] ? Il y a donc un effort de définition à réaliser avant toute tentative d’analyse car sans vocabulaire clair, l’on ne peut construire de pensée claire (1). Appliqué aux décisions de justice, les modèles mathématiques peinent à rendre compte de l’entière réalité qu’ils prétendent décrire et ne peuvent se prêter qu’imparfaitement à des finalités prédictives ou actuarielles (2). La critique de la commercialisation hâtive de solutions d’IA aux potentialités parfois surévaluées risque par ailleurs de troubler la compréhension des réels enjeux de transformation numérique qui se jouent pourtant devant nos yeux (3).

1. Un formalisme mathématique performant pour des tâches très spécialisées

La croissance exponentielle de l’efficacité du traitement informatique des données depuis 2010 est totalement à distinguer des progrès considérables restant à réaliser par la recherche fondamentale pour parvenir à modéliser une intelligence aussi agile que l’intelligence humaine. Certains avaient cru pouvoir réduire celle-ci à « 10 millions de règles[4]  » : des chercheurs comme Yann LeCun affirment aujourd’hui que l’IA se heurte en réalité à une bonne représentation du monde, qui est une question « fondamentale scientifique et mathématique, pas une question de technologie[5] ». Une dichotomie est donc parfois réalisée entre l’« IA forte » de science-fiction (généraliste, auto-apprenante et adaptable de manière autonome à des contextes tout à fait différents), et les IA « faibles » ou « modérées » actuelles, ultra-spécialisées et non-adaptables de manière totalement autonome à des changements complets de paradigme[6]. Cette distinction ne clarifie toutefois pas ce que l’on entend par « intelligence » et alimente nombre de malentendus et de fantasmes, entretenus et véhiculés par les médias, qui ne parviennent pas toujours à décrypter les discours commerciaux et à vulgariser des concepts en jeu[7].

Commençons par rappeler que les mécanismes actuellement mis en œuvre sous le terme très plastique « d’IA » sont pluriels et connus pour la plupart de longue date[8]. Ce qui est nouveau, en revanche, c’est leur synergie avec d’autres technologies (blockchains, biotechnologies, nanotechnologies, sciences cognitives) ainsi que leur efficacité de traitement rendues possibles par la performance des processeurs actuels (notamment des cartes graphiques, à même d’exécuter avec performances des méthodes dites d’apprentissage, nous y reviendrons) et la disponibilité d’une quantité considérable de données (big data) depuis quelques années.

Pour être plus précis, l’apprentissage automatique (sous ses diverses formes) a contourné de manière extrêmement astucieuse les limites des anciens systèmes experts, qui exigeaient de programmer a priori des règles logiques de traitement de données pour imiter un raisonnement. Les approches actuelles sont plus inductives : l’idée est de réunir un nombre suffisant de données d’entrée et de résultats attendus en sortie afin de rechercher de manière (plus ou moins) automatisée les règles pouvant les lier. En d’autres termes, cette recherche automatisée (qui est ce que l’on entend par apprentissage) est une représentation mathématique et statistique d’un environnement donné. L’objectif pour les ingénieurs n’est pas prioritairement de comprendre les règles ou les modèles automatiquement construits par l’ordinateur mais de s’assurer que la machine arrive à reproduire de mieux en mieux les résultats attendus, si nécessaire avec toujours plus de données par des phases successives ou continues de recherche.

Pour reformuler les concepts esquissés :

•           l’IA n’est pas un objet unique et homogène : il s’agit en réalité d’une discipline très large aux contours mouvants, assemblage de sciences et techniques (mathématiques, statistiques, probabilités, neurobiologie, informatique) ; le terme, auparavant confondu avec « systèmes experts », est maintenant généralement confondu avec l’apprentissage automatique (machine learning), dont il est principalement question dans la plupart des développements commerciaux actuels ;

•           l’apprentissage automatique fonctionne par une approche inductive très différente de la cognition humaine : l’idée est d’associer de manière plus ou moins automatisée un ensemble d’observations (entrées) à un ensemble de résultats possibles (sorties) à l’aide de diverses propriétés préconfigurées afin de détecter des corrélations (susceptibles d’ailleurs être fallacieuses et non représentatives d’une causalité[9]) ;

•           la fiabilité du modèle construit sur cette base dépend fortement de la qualité des données utilisées : les biais présents dans les données seront inéluctablement reproduits dans les modèles qui, sans correctif, ne feront que les renforcer.

Le concept d’IA est donc globalement à démystifier si l’on s’en tient à une interprétation stricte du mot « intelligence ». Nous avons en réalité affaire à des systèmes computationnels complexes et non à des répliques (même sommaires) du cerveau humain (qui inclut des processus perceptifs, l’apprentissage, l’auto-organisation, l’adaptation). Prenons l’une de sous-classes de l’apprentissage automatique, les réseaux de neurones : si leur conception est bien inspirée des neurones biologiques, leur fonctionnement est en réalité fortement optimisé par des méthodes probabilistes dites bayésiennes. En d’autres termes, ces réseaux sont aussi comparables à de réels neurones que les ailes d’un avion sont similaires à celles d’un oiseau[10].

Utilisé dans des environnements fermés, comme le jeu de go ou avec des données quantifiables sans aucune ambiguïté, les résultats peuvent être tout à fait exaltants au prix d’un très fort (et coûteux) investissement… humain[11]. Mais il serait très hâtif d’interpréter ces réussites dans des champs très étroits comme les prémisses de l’avènement d’une IA générale, nouveau Saint Graal des chercheurs[12] ni comme aisément transférables telles quelles pour d’autres applications. Exécuté dans des environnements ouverts et moins facilement quantifiables, ce formalisme est plus difficilement opérant : ce constat est particulièrement vrai lorsque l’on tente de mesurer des phénomènes sociaux où « il est bien plus difficile de retrouver une relation stable » que dans les sciences naturelles, riches de « faits têtus que l’on ne peut éliminer d’un revers de main »[13].

2. Un formalisme mathématique insuffisant à traduire fidèlement la mémoire de la justice 

Malgré ce simple constat, il n’aura toutefois pas fallu attendre très longtemps pour que des entrepreneurs tirent profit de l’engouement suscité par l’apprentissage automatique pour développer des solutions commerciales dans de très nombreux secteurs d’activité (commerces, transports, industries, urbanisme, médecine, …) à la recherche de nouveaux marchés, sans réelle conscience de la complexité de certains objets traités[14]. Ainsi, le droit a été une cible de choix, l’apparente logique du raisonnement juridique (dont le syllogisme des décisions judiciaires) conduisant les mathématiciens à penser qu’il y avait là matière à exploitation. Conjugué à un besoin (celui de rendre la réponse judiciaire plus prévisible) et à quelques idées reçues en découlant (tel que le fait que « l’aléa judiciaire » ne serait le résultat que des biais humains des juges et non d’un effort d’individualisation des décisions), des investisseurs, comme les assureurs, ont sponsorisé les coûteux développements de solutions d’apprentissage automatique avec des décisions judiciaires[15].

Quelle que soit la dénomination commerciale (justice prédictive, quantitative ou actuarielle), les applications développées recouvrent une même et unique réalité qui consiste à établir, pour des contentieux chiffrables comme la réparation du préjudice corporel, le droit du travail ou le divorce, divers types de probabilités sur la possible issue d’un litige en traitant non un récit brut mais des faits déjà qualifiés juridiquement. La construction de modèles mathématiques va donc s’appuyer sur une matière première, les décisions de justice déjà rendues dans ces types de contentieux, et l’apprentissage automatique pour découvrir des corrélations. Concrètement la machine va rechercher dans divers paramètres identifiés par les concepteurs (comme la durée du mariage, la situation professionnelle, la disparité de situation patrimoniale, l’âge et l’état de santé des parties pour les prestations compensatoires) les possibles liens avec les résultats prononcés par le tribunal (le montant de la prestation prononcée en fonction de ces critères). L’application de cette démarche au contenu d’un jugement exige toutefois une extrême rigueur, les corrélations d’ordre linguistique découvertes dans les décisions étant loin de pouvoir être interprétées de manière irréfutable comme des rapports de cause à effet[16].

Trois critiques principales sont à formuler à l’encontre de cette démarche de traitement de données issues de décisions judiciaires :

Ce formalisme, tout d’abord, ne permet pas de révéler la complexité des raisonnements juridiques opérés[17] – Il doit en effet être rappelé, comme l’a mis en lumière la théorie du droit, que le raisonnement judiciaire est surtout affaire d’interprétation. C’est que le fameux syllogisme judiciaire est plus un mode de présentation du raisonnement juridique que sa traduction logique, il ne rend pas compte de l’intégralité du raisonnement tenu par le juge, lequel est ponctué d’une multitude de choix discrétionnaires, non formalisables a priori. La cohérence d’ensemble des décisions de justice n’est jamais assurée et relèverait davantage d’une mise en récit a posteriori, que d’une description stricte de l’intégralité de ces décisions[18]. Or, l’apprentissage automatique est inopérant à effectuer ce travail d’interprétation, les concepteurs espérant tout au plus que la détection de régularité dans les contextes lexicaux réussisse à reproduire en sortie les mêmes effets que le processus décisionnel réel ayant produit ces données.

Un examen des travaux de l’University College of London, laquelle a annoncé être parvenue catégoriser correctement 79 % des décisions de la Cour européenne des droits de l’homme (violation ou non violation), confirme bien ce diagnostic[19]. Ces chercheurs n’ont en réalité été capables de ne produire une probabilité qu’à partir d’un matériel déjà traité juridiquement, qui renseignerait davantage sur la pratique professionnelle des juristes du greffe de la Cour (qui utilisent parfois des paragraphes pré-rédigés en fonction du traitement et de l’issue donnés à l’affaire) que sur le sens de la réflexion juridique[20]. Miroir de la représentation graphique d’un échantillon de décision, elle parvient au mieux à grouper des documents respectant le même formalisme mais peinerait sans nul doute très fortement à partir d’un récit brut d’un futur requérant devant la Cour de Strasbourg. Ces résultats sont surtout totalement étrangers à la question de la conformité en droit de telle ou telle solution, dès lors que ces calculs de probabilités ne peuvent pas discriminer entre les raisonnements juridiquement valides et ceux qui ne le sont pas.

Enfin, de tels calculs probabilistes ne sauraient en aucun cas épuiser le sens de la loi, comme l’a montré la question de l’utilisation des barèmes judiciaires : si tant est que ces barèmes aient toujours une pertinence statistique, ils ne sauraient, du seul fait de leur existence, se substituer à la loi elle-même, en réduisant notamment la marge d’interprétation que celle-ci offre nécessairement au juge[21].

Ce formalisme seul ne permet pas, par ailleurs, d’expliciter le comportement des juges[22] – L’autre grand mythe véhiculé par le discours de promotion des outils issus de l’IA serait leur capacité à expliquer les décisions de justice. Certaines legaltech ont en effet affirmé pouvoir identifier d’éventuels biais dus à la personne des magistrats, de nature à nourrir des suspicions de partialité. L’exploitation des noms des présidents de formation de jugement des juridictions administratives en open data avait permis un temps de construire un indicateur nominatif du taux de rejet de recours contre les obligations de quitter le territoire français[23]. Il n’est dès lors pas étonnant que l’une des principales questions qui animent encore le débat autour de ces nouveaux outils porte sur l’accès au nom des professionnels dans les décisions judiciaires ouvertes, notamment des magistrats[24]. Mais, peut-on réellement parvenir à éclairer le comportement des juges sur la base d’un traitement algorithmique des occurrences de leurs noms dans certaines décisions de justice ?

D’un point de vue scientifique, expliquer un phénomène ou, pour ce qui nous concerne, un comportement humain (celui d’un juge), revient à déterminer les mécanismes de causalité ayant conduit à ce comportement en présence d’un certain nombre de données contextuelles. Cela nécessite la constitution préalable d’un cadre interprétatif, constitué par les hypothèses ou points de vue adoptés par les différentes disciplines des sciences sociales[25].

Rappelons que l’IA bâti des modèles en tentant de révéler des corrélations dissimulées dans un grand nombre de données. Or, la seule corrélation statistique entre deux événements est insuffisante pour expliquer les facteurs réellement causatifs[26]. Appliqué au droit et aux décisions judiciaires, on mesure immédiatement ce qu’il peut y avoir de scientifiquement erroné et d’idéologique dans l’ambition de rendre objective la décision des juges grâce à des algorithmes. Fournir une véritable explication d’un jugement nécessiterait une analyse beaucoup plus fine des données de chaque affaire et ne saurait naître spontanément d’une masse de liens lexicaux dans lesquels figure le nom d’un magistrat. Par exemple, le fait qu’un juge aux affaires familiales fixe statistiquement davantage la résidence habituelle d’un enfant chez la mère dans un ressort déterminé ne traduit pas nécessairement un parti-pris de ce magistrat en faveur des femmes, mais s’explique davantage par l’existence de facteurs sociaux-économiques et culturels propres à la population de sa juridiction. De même, il paraît difficile d’attribuer une tendance décisionnelle à une formation juridictionnelle collégiale sur la seule base du nom de son président.

Les risques d’explications faussées des décisions de justice s’avèrent donc extrêmement élevés sur la base des seuls calculs probabilistes opérés. L’espoir de voir émerger du traitement par les IA une information de nature à produire une « norme issue du nombre » imposant aux juges un « effort renouvelé de justification » pour expliquer l’écart à la moyenne doit donc être largement tempéré au vu de la compréhension technique de la mécanique produisant cette moyenne[27]. Surtout, la seule valeur statistique des résultats obtenus demeure bien souvent hautement questionnable en l’absence d’une véritable maîtrise du périmètre des données prospectées et de l’effet « boîte noire » de certains algorithmes tels que l’apprentissage profond[28] (deep learning). De plus, comme l’a montré l’émergence des grilles de barèmes judiciaires, la tentation peut être grande pour les concepteurs de ces outils de se livrer à du data-snooping, c’est-à-dire à ne sélectionner en amont que des données de manière à ce qu’elles puissent être significatives au regard de grilles d’analyse prédéterminées, par exemple en éludant de l’échantillon des décisions se prêtant mal à des corrélations de séquences linguistiques (des décisions sans exposé du litige par exemple)[29].

Plus grave encore, les modèles d’apprentissage peuvent potentiellement reproduire et aggraver les discriminations[30] – Les différentes techniques de l’apprentissage automatique paraissent en effet en elles-mêmes neutres en termes de valeurs sociales : que l’apprentissage soit supervisé ou non, avec ou sans renforcement, s’appuyant sur des machines à support de vecteur ou des réseaux de neurones profonds, les sciences fondamentales qui les animent sont avant tout un formalisme. En revanche, l’utilisation de ce formalisme avec une méthode et des données biaisées entraînera systématiquement des résultats biaisés.

Prenons l’exemple de l’algorithme COMPAS[31] qui est utilisé de manière effective dans certains États américains afin d’évaluer la dangerosité des individus en vue de leur éventuel placement en détention provisoire ou lors du prononcé d’une condamnation pénale.  Cet algorithme s’appuie sur des études académiques en criminologie et en sociologie, sur différents modèles statistiques et le traitement d’un questionnaire de 137 entrées, relatif à la personne concernée et à son passé judiciaire sans aucune référence à son origine ethnique[32]. Le système fournit ensuite au juge différents « scores » à un horizon de deux années : risque de récidive, risque de comportement violent et risque de non-comparution pour les situations de placement en détention provisoire. La démarche apparaît a priori pluridisciplinaire et fondée scientifiquement.

Toutefois, en mai 2016, les journalistes de l’ONG ProPublica ont analysé l’efficacité des « prédictions » de  COMPAS sur une population de près de 10 000 individus arrêtés dans le comté de Broward (Floride) entre 2013 et 2014[33]. Cette étude a révélé non seulement un taux relativement faible de « prédictions » justes (61%) mais, en procédant à l’analyse approfondie des « faux positifs », elle a par ailleurs établi que les populations afro-américaines étaient pondérées d’un plus fort risque de récidive que les populations blanches. Inversement, les populations blanches ayant effectivement récidivées avaient été deux fois plus classifiées comme étant en risque faible que les populations afro-américaines. En d’autres termes, sans inclure l’ethnie des individus ou avoir été spécifiquement conçu pour traiter cette caractéristique, le croisement des données (dont le lieu de résidence) a indirectement surpondéré cet aspect au détriment d’autres facteurs sociaux individuels (éducation, emploi, parcours familial) et a conduit à influencer les juges avec des indicateurs proprement discriminatoires.

En reprenant du champ, on pourrait considérer que la problématique ainsi posée pour la matière pénale est singulière. Elle reste en réalité la même avec des affaires civiles, administratives ou commerciales : la nature de la matière contentieuse est en effet étrangère à la présence de biais dans la méthode et les données. Il serait intéressant par exemple d’examiner si, pour une série de prestations compensatoires dans lesquelles la situation maritale et économique est objectivement équivalente, les montants « prédits » par de tels algorithmes apparaissent pondérés différemment selon le lieu de résidence des parties. Dans la positive, quels critères, explicites ou sous-jacents, ont pu avoir une influence ? Sans explication ni transparence sur cet état de fait, cela revient à laisser une « boite noire » influer de manière tout à fait discrétionnaire sur l’issue d’un contentieux et à reproduire des inégalités.

3. Un formalisme mathématique fondateur d’une société gouvernée par les données

Des apprentissages automatiques n’ayant pas conscience de la complexité de la matière traitée (l’application de la loi et les phénomènes sociaux) risquent donc de créer plus de problèmes qu’ils prétendent apporter de solution. Loin de pouvoir offrir « une large collégialité et une indépendance davantage partagée[34] », ils sont susceptibles en réalité de cristalliser la jurisprudence autours de calculs biaisés n’étant représentatifs que d’eux-mêmes. Il est vrai qu’il semble difficile de se départir de la « troublante vocation » de certains systèmes computationnels : énoncer la vérité. Pour Eric Sadin, le numérique s’érigerait aujourd’hui comme « une puissance alèthéique, destinée à révéler l’alètheia, à savoir la vérité, dans le sens défini par la philosophie grecque antique, entendue comme la manifestation de la réalité des phénomènes à l’opposé des apparences[35] ».

Le grand emballement autour des potentialités, réelles ou fantasmées, de l’apprentissage automatique est donc hautement critiquable du fait de son manque patent de maturité mais, surtout, du fait de ce nouveau régime de vérité qu’il impose au mépris de ce qui devrait être un travail rigoureux d’analyse des résultats de ces outils, qui ne sont que le reflet imparfait et orienté d’une réalité qu’il s’agirait avant tout de tenter de décrire et de comprendre de manière pluridisciplinaire. Les efforts financiers et humains actuels des industries numériques se concentrent à bâtir hâtivement des cathédrales algorithmiques complexes dans l’espoir de lever, avant les autres concurrents entraînés dans la même course effrénée, des fonds avec une promesse : révéler une prétendue vérité naturelle et immanente en la saisissant dans les corrélations de l’apprentissage automatique. Or il s’agit de colosses dispendieux aux fondations extrêmement fragiles en ce qui concerne les décisions de justice : les systèmes juridiques restent très ouverts et un revirement peut invalider des décennies de patiente construction jurisprudentielle. Cette instabilité pose un problème bien fondamental à des algorithmes qui se construisent, avant tout, sur des statistiques d’événements passés.

L’on en vient à ce stade au principal argument des techno-évangélistes qui entendent alors faire taire toute critique de l’ancien monde : l’on ne pourrait (et l’on ne devrait) concevoir l’évolution de demain en restant figés dans nos référentiels actuels. Et il semble que l’on ne puisse pas leur donner entièrement tort, mais peut-être pas pour les raisons qu’ils envisagent. La transformation de fond réellement à l’œuvre, puisant dans un mélange surprenant d’idéologies néolibérales et libertarienne, est bien de substituer un référentiel à un autre : l’idée est de remplacer la règle de droit par d’autres mécanismes de régulation censés être plus efficaces pour assurer le fonctionnement de notre société. Et c’est bien là que réside le défi majeur de notre temps : l’IA n’est en réalité qu’un avatar, parmi d’autres, d’une ambition bien plus globale qui pose un défi démocratique sans précédent : une société gouvernée par les données (data driven society), se  substituant progressivement à l’Etat de droit que nous avons bâti ces derniers siècles.

La loi, bien qu’imparfaite, est avant tout l’expression collective d’un projet de société, miroir des priorités qu’un peuple souhaite se donner, et dont la valeur et l’intérêt sont discutées entre des représentants élus à même de composer un équilibre entre des intérêts contradictoires. L’IA, et les algorithmes en général, nous imposent, par un formalisme scientifique aux apparences neutres, une nouvelle rationalité qui est en réalité… celle de leurs concepteurs. En d’autres termes, la démocratie se retrouve confisquée par une nouvelle forme d’aristocratie, numérique, qui paraît se suffire à elle-même pour définir des notions aussi simples que le bien ou le mal[36]. Ce projet n’est au final pas très éloigné de celui de la physique sociale imaginé par Adolphe Quételet : le mathématicien belge du XIXème siècle envisageait l’homme comme libre mais il estimait que « ce qu’il apporte de perturbation dans les lois de la nature ne peut nullement altérer ces lois, du moins d’une manière permanente ». En posant ainsi les jalons d’une analyse systématique des phénomènes sociaux par la statistique, il ambitionnait de faire émerger un projet aux accents parfaitement totalitaires : l’élaboration d’une « statistique morale » glorifiant l’axe d’un homme moyen autour duquel tout homme aurait dû se référer.

Une lecture politique de la transformation numérique paraît donc aujourd’hui impérative afin de clarifier les réels défis posés par le numérique dans les débats publics et l’on comprend bien que ce ne sont pas les outils qui sont en cause mais bien ce que certains prétendent en faire. L’encadrement dès lors apparaît indispensable, qu’il s’agisse en premier temps de soft law ou de modes bien plus contraignants, à l’image du RGPD[37]. Cette construction devra toutefois s’effectuer consciente d’une autre réalité, tempérant peut-être l’urgence : l’écart qui existe encore entre les ambitions de l’IA dans le domaine de la justice et ses réalisations, très sectorielles et non généralisables, qui nécessitent des moyens humains de très haut niveau technique et des investissements financiers relativement substantiels. Meilleure alliée des discours idéologiques précédemment décrits, l’IA risque donc de se confronter plus rapidement que prévu à sa réelle rentabilité. Dans la deuxième édition de son rapport sur l’IA dans les entreprises, l’institut Deloitte révèle que les revenus issus de l’IA semblent extrêmement disparates en fonction des secteurs d’activité[38]. Si les entreprises technologiques pionnières semblent engranger d’importants bénéfices (plus de 20%), celles relevant des sciences naturelles et de la santé est bien plus modeste (13%). Sur le nouveau « marché du droit », la viabilité de modèles économiques reste encore hautement questionnable pour les investisseurs et les legaltech, qui ont obtenu des levées de fonds relativement considérables, devraient rester très attentives au contenu de leurs promesses… dont on pourrait prédire, au regard des présents développements, que certaines ont une assez forte probabilité de n’être jamais au rendez-vous-même en ouvrant le robinet de l’open data.


Retrouvez l’enregistrement vidéo de la 2ème séance du séminaire sur Youtube en cliquant ici.


Notes

[1] Cathy O’Neil, Weapons of Math Destruction, Crown, 2016.

[2] M. Chalabi, Weapons of Math Destruction: Cathy O’Neil adds up the damage of algorithms, The Guardian, 27 octobre 2016. https://www.theguardian.com/books/2016/oct/27/cathy-oneil-weapons-of-math-destruction-algorithms-big-data

[3] A ce titre les craintes de destructions de l’humanité par l’IA caractérisent assez bien cette forme d’alarmisme. Voir par exemple S. Hawking, S. Russel, M. Tegmark, F.Wilczek: ‘Transcendence looks at the implications of artificial intelligence – but are we taking AI seriously enough?’, The Independent,1 mai 2014 – https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence-but-are-we-taking-9313474.html

[4] Douglas Lenat, chercheur en intelligence artificielle et directeur de la société Cycorp

[5] Yann LeCun, Qu’est-ce que l’intelligence artificielle, Collège de France – Consulté sur le site du collège de France le 16 juin 2017 : https://www.college-de-france.fr/media/yann-lecun/UPL4485925235409209505_Intelligence_Artificielle______Y._LeCun.pdf

[6] Distinction notamment réalisée par John Searle dans les années 1980, où il différencie un système qui aurait un esprit (au sens philosophique) et pourrait produire de la pensée d’un système qui ne peut qu’agir (même s’il donne l’impression de pouvoir penser)

[7] Voir par exemple cet article de 20 minutes, qui relaie la communication d’une société éditrice de VeriPol sans aucune perspective critique : Espagne : la police utilise une intelligence artificielle pour débusquer les plaintes mensongères, 30 octobre 2018 – https://www.20minutes.fr/high-tech/2363327-20181030-espagne-police-utilise-intelligence-artificielle-debusquer-plaintes-mensongeres%E2%80%AC?fbclid=IwAR2SjlJxGdH0h0HosVCtCi3IZZcXl-zl6-tATip5axsfTnPWOcuw16zJ7OA

[8] Le théorème de Thomas Bayes, étendus par Pierre-Simon Laplace, date du XVIIIème  siècle ; les bases des réseaux neuronaux ont été développées dans les années 1940 par Warren McCulloch and Walter Pitts (Created a computational model for neural networks based on mathematics and algorithms called threshold logic, 1943)

[9] C. S. Calude, G. Longo, Le déluge des corrélations fallacieuses dans le big data, dans La toile que nous voulons – Le web néguentropique, B. Stiegler (dir.) : FYP éd., 2017, p. 156.

[10] S. Sermondadaz, Yann LeCun : L’intelligence artificielle a moins de sens commun qu’un rat, Sciences & Avenir, 24 janvier 2018 – https://www.sciencesetavenir.fr/high-tech/intelligence-artificielle/selon-yann-lecun-l-intelligence-artificielle-a-20-ans-pour-faire-ses-preuves_120121

[11] Voir par exemple AlphaGo Chronicles qui décrit la manière dont la société Deepmind est parvenue à entraîner une IA à battre le meilleur joueur humain de go en 2016. La conception d’un tel outil n’est pas résumée à la simple entrée de données dans un ordinateur, mais à justifier la mobilisation d’une équipe entière d’ingénieurs pour concevoir, tester et calibrer plusieurs couches différentes d’algorithmes. https://www.youtube.com/watch?v=8tq1C8spV_g

[12] L. Butterfield, Leading academics reveal: what are we getting wrong with AI?, Oxford University, 15 octobre 2018 – https://www.research.ox.ac.uk/Article/2018-10-15-leading-academics-reveal-what-are-we-getting-wrong-about-ai?fbclid=IwAR10KJv2UhcHPQQeKhDGJKL0XYsqpcs6Sev7HDLMvGRBuUTf6y7UQSkjZ5k

[13] P. Jensen, Pourquoi la société ne se laisse pas mettre en équation : Editions du Seuil, 2018.

[14] Y. Katz, Manufacturing an Artificial Intelligence Revolution, SSRN, 17 novembre 2017 https://ssrn.com/abstract=3078224 ou http://dx.doi.org/10.2139/ssrn.3078224

[15] Cet objectif justifie d’ailleurs l’intense lobbying opéré par les éditeurs juridiques et les legaltech sur l’ouverture totale des données judiciaires, prévue par les articles 20 et 21 de la loi pour une République numérique du 7 octobre 2016 et dont les décrets d’application restent à paraître.

[16] Sur la confusion entre corrélation et causalité, voir notamment D. Cardon, À quoi servent les algorithmes. Nos vies à l’heure des big data : Seuil, La république des idées, 2015.

[17] Les concepts ici présentés sont développés de manière plus substantielle dans Y. Meneceur,Quel avenir pour une justice prédictive : JCP G 2018, doctr.190.

[18] V. la célèbre figure du roman à la chaîne proposée par Ronald Dworkin (L’empire du droit, 1986, trad. française 1994 : PUF, coll. Recherches politiques, p. 251-252).

[19] Travaux sur un échantillon de 584 décisions de la Cour européenne des droits de l’Homme : N. Aletras, D. Tsarapatsanis, D. Preoţiuc-Pietro, V. Lampos, Predicting judicial decisions of the European Court of Human Rights : a Natural Language Processing perspective, 24 octobre 2016 – https://peerj.com/articles/cs-93/

[20] Précisions en ce sens que le taux de reproduction des décisions descend à 62% lorsque l’apprentissage se concentre sur la partie de raisonnement juridique d’application de la Convention (jeter une pièce en l’air offre approximativement 50% de tomber sur une face déterminée).

[21] C’est ce qu’a rappelé la Cour de cassation à propos des barèmes de pensions alimentaires (Cass. 1re civ., 23 oct. 2013, n° 12-25.301 : JurisData n° 2013-023208).

[22] Les concepts ici présentés ont également été développés plus longuement dans Y. Meneceur,Quel avenir pour une justice prédictive, op.cit.

[23] M. Benesty, L’impartialité des juges mise à mal par l’intelligence artificielle in Village de la justice, Tribunes et point de vue du 24 mars 2016 ; www.village-justice.com/articles/impartialite-certains-juges-mise,21760.html – le contenu du site Supralegem.fr n’est désormais plus accessible et l’adresse redirige vers dalloz.fr

[24] Mission d’étude et de préfiguration confiée au professeur Loïc Cadiet le 9 mai 2017 par le ministre de la Justice, dont les conclusions ont été rendues le 9 janvier 2018 ; www.justice.gouv.fr/publication/open_data_rapport.pdf (page consultée le 20 janvier 2018. – S’agissant des avocats, des problématiques singulières (possibilité de classement notamment) justifient également un certain nombre d’interrogations.

[25] Sur cette question, V. N. Regis, Juger, est-ce interpréter ? : Cahiers Philosophiques, Canopé éd., 2016, n° 147, p. 36-37.

[26] Voir le site internet Spurious Correlation qui recense un grand nombre de corrélations fallacieuses, tel qu’un taux de correspondance à plus de 99% entre 2000 et 2009 entre le nombre divorces dans l’Etat du Maine et la consommation de margarine par habitant – http://tylervigen.com/spurious-correlations

[27] É. Buat-Ménard et P. Giambiasi, La mémoire numérique des décisions judiciaires : D. 2017, p. 1483.

[28] Voir I. Daubechies, Machine Learning Works Great – Mathematicians Just Don’t Know Why, Wired, 12 décembre 2015 – https://www.wired.com/2015/12/machine-learning-works-greatmathematicians-just-dont-know-why/ 

[29] Dans cette logique, voir également la critique des statistiques infér entielles pour conclure sur le résultat d’un test statistique – R. Nuzzo, La malédiction de la valeur-p, Pour la Science, 10 janvier 2018.

[30] Ces développements sont approfondis dans Y. Meneceur, Les systèmes judiciaires européens à l’épreuve de l’intelligence artificielle, Revue de la prospective et de l’innovation, octobre 2018, pp11-16.

[31] Correctional Offender Management Profiling for Alternative Sanctions (Profilage des délinquants correctionnels pour des sanctions alternatives) est un algorithme développé par la société privée Equivant (ex-Northpointe) : http://www.equivant.com/solutions/inmate-classification.

[32] Practitioner’s Guide to COMPAS Core, Northpointe, 2015. http://www.northpointeinc.com/downloads/compas/Practitioners-Guide-COMPAS-Core-_031915.pdf

[33] L’étude et sa méthodologie est accessible en ligne : https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

[34] B. Louvel, Discours d’ouverture du colloque « La jurisprudence dans le mouvement de l’open data », 14 octobre 2016. https://www.courdecassation.fr/IMG///Open%20data,%20par%20B%20Louvel.pdf

[35] E. Sadin, Intelligence artificielle : résistons à la « main invisible automatisée », Le Monde, 22 février 2018.

[36] Le slogan de Google a été jusqu’en 2018 « don’t be evil » (il a été retiré depuis du code de bonne conduite de l’entreprise) ; Microsoft encourage les leaders mondiaux depuis la fin de l’année à la paix numérique (digital peace)

[37] Il ne sera pas développé ici la question de la régulation, voir à ce sujet Y. Meneceur, Les systèmes judiciaires européens à l’épreuve de l’intelligence artificielle, op.cit..

[38] Deloitte Insights, State of AI in the Enterprise, 2nd Edition, 22 octobre 2018. https://www2.deloitte.com/insights/us/en/focus/cognitive-technologies/state-of-ai-and-intelligent-automation-in-business-survey.html

Chronique de l’émission “Intelligence artificielle et intelligence naturelle”

Intelligence artificielle et intelligence naturelle

Invitée : Daniela Piana, professeure de sciences politiques à l’Université de Bologne

Je ne sais pas pour vous, mais cette année j’ai eu l’impression que le sujet de l’intelligence artificielle (l’IA pour les intimes) était à peu près partout. Comme si accoler ces mots à n’importe quel thème était en mesure de le colorer d’une teinte indélébile de modernité. 

Il faut dire que les promesses sont grandes et que la littérature de science-fiction nous a déjà bien acculturé à l’idée que nous sommes sur le point de concevoir des systèmes computationnels aux capacités égalant, surpassant même leurs concepteurs. Or, comme toujours, ce n’est pas du monstre à la Frankenstein dont il faut se méfier, mais plutôt de leurs concepteurs.

L’IA tout d’abord paraît être devenue une réelle marque commerciale. C’est bien là le génie du marketing que de faire rêver : parler d’algorithmes en capacité de produire de représentations statistiques d’un environnement donné n’est en fait pas très sexy (et je vous ai certainement déjà perdu en l’énonçant). Parler d’« apprentissage » le devient plus : en cédant déjà à un tout petit peu d’anthropomorphisme, l’attention s’arrête. On se dirait ainsi que le « machine learning » (apprentissage automatique) singerait les modes d’apprentissage humain : que nenni ! C’est de la corrélation sur des jeux massifs de données ! Et Yann LeCun, célèbre pionnier de l’apprentissage profond (deep learning) nous dit bien que les « neurones formels » de ses machines sont aussi proches d’un neurone biologique que l’aile d’un oiseau est proche d’une aile d’avion.

Et il convient donc d’arriver à rendre objectif ce que peuvent réaliser les mathématiques et les statistiques. Dans des environnements dits « fermés » (comme le jeu de go) les possibilités arrivent à surpasser l’humain : en revanche, comme le souligne Pablo Jensen dans son livre « Pourquoi ne peut-on pas mettre la société en équation », il est beaucoup plus difficile de trouver des relations stables dans les phénomènes sociaux.

Une fois cette clé de compréhension acquise, comment comprendre la fascination exercée par l’IA. Ce ne sont pas les médias qui vont nous y aider et ils continuent même d’une certaine manière à entretenir le trouble : à titre d’exemple l’on pourrait citer un point hebdomadaire sur France Info qui relate les derniers développements de cette technologie. Il y a quelques semaines, le présentateur évoquait de manière accrocheuse que les IA parvenaient maintenant à « détecter les mensonges » dans les plaintes adressées aux policiers à 80%. Assez rapidement, l’annonce s’est dégonflée puisqu’en fait de détection de mensonge, il s’agit de probabilités sur un récit écrit qui réaliserait notamment une corrélation entre des faits trop précisément décrits et des propos mensongers. Cet outil ne serait en réalité déployé qu’à une échelle de test dans une unité de police en Espagne et le discours relayé réunit les arguments commerciaux de la société privée ayant conçu le produit. Et passons sur l’exemple suivant donné par ce journaliste, de garde-frontière dans des aéroports hongrois et lettons, qui repérerait les visages de menteurs.

Dans ce grand n’importe quoi mélangeant corrélation et causalité, probabilité et vérité, il y a un besoin urgent de clarification. L’intelligence artificielle ne serait en réalité qu’un extraordinaire concept marketing labellisé par John Mc Carthy dans les années 50, très éloigné d’une intelligence naturelle.

Max Headroom

La musique d’Art of Noise que vous entendez mettait en scène le premier présentateur conçu en animation en 3D dans le milieu des années 80. Il était baptisé Max Headroom, et, bien que synthétique, il était en réalité animé par les mouvements du visage de l’acteur Matt Frewer.

L’autonomie de ce personnage synthétique n’était donc qu’une illusion… Daniela Piana, vous allez nous aider à y voir plus clair de ce qui distingue cette intelligence dite « artificielle » de ce que vous qualifiez d’ « intelligence naturelle ». Particulièrement si ces assemblages d’algorithmes sont en mesure de mettre au défi les professions du droit, tels que les avocats ou les magistrats.


Ecoutez l’entretien avec Daniela Piana, professeure de sciences politiques à l’Université de Bologne

IA et droits de l’homme

Le Conseil de l’Europe vient d’ouvrir le premier portail européen portant sur l’intelligence artificielle (IA) et ses implications en ce qui concerne les droits de l’homme, la démocratie et l’Etat de droit.

Ce site recense tous les travaux actuellement en cours au sein de l’organisation internationale, dans ses différents comités, commissions et organes. Il propose de plus des articles de vulgarisation visant à contribuer une meilleure connaissance du phénomène et de ne céder ni à un alarmisme excessif, ni au solutionnisme qui habite encore de trop nombreux discours. 

Ce portail aura également vocation à communiquer sur la partie de l’agenda stratégique du Conseil de l’Europe à l’horizon 2028 portant sur l’IA.

Le Conseil de l’Europe invite également tous les acteurs de l’IA (secteur privé, secteur public, recherche) à utiliser le hashtag #CoE4AI pour signaler leurs initiatives de développement de solutions nativement conçues pour se mettre en conformité avec les valeurs défendues par l’institution.

Intelligence artificielle et infractions pénales

Quel est l’impact des IA en matière de cybercriminalité, de cybersécurité et d’infractions involontaires ?

Les potentialités des sciences, technologies et techniques de traitement des données qualifiées d’intelligence artificielle (IA) ouvrent des perspectives redoutées et redoutables en matière de cybercriminalité. Attaques automatisées, coordonnées, recherches automatiques de failles, l’IA constitue un véritable arsenal de guerre numérique, avec des bénéfices qui n’ont rien de virtuel pour leurs auteurs.

Mais l’on parle moins souvent des potentialités de l’IA pour lutter plus efficacement contre les menaces existantes et à venir : combinée à des analystes humains, l’IA est en mesure d’aider à déjouer, voire à anticiper, des attaques contre les systèmes et de protéger leurs utilisateurs.

D’une manière générale, l’élément moral des infractions volontaires dans le cyberespace n’est pas complexe à appréhender juridiquement (la recherche et l’exploitation d’éléments matériels le sont certainement plus). La question de la responsabilité est en revanche beaucoup plus épineuse s’agissant de faits relevant du champ des infractions involontaires : quel responsabilité rechercher lorsqu’au Japon un bras robot écrase un ouvrier sur son passage ou une voiture autonome renverse un piéton aux Etats-Unis ? … les exemples ne manquent pas et risquent se multiplier dans un proche avenir. Les instruments juridiques actuels paraissent-ils satisfaisants pour appréhender le phénomène ou conviendrait-il, au contraire, de concevoir de nouvelles législations spécifiques ?


L’IA au service de la sécurité des systèmes d’information

Avec la disponibilité d’un nombre croissant de données numériques, une quantité considérable d’informations personnelles et financières ont été exposées à de potentielles exploitations frauduleuses[1]. Qu’il s’agisse des formes classiques de criminalité sur internet (escroqueries par exemple) ou de nouvelles formes (intrusion dans des systèmes d’information), ces infractions ont conduit à des pertes économiques considérables. Selon une étude d’Accenture en 2017, le coût moyen d’une atteinte à la vie privée a été chiffré à 11,7 millions de dollars, soit une hausse de 23 % par rapport à l’année précédente. Ce constat est à enrichir d’un autre dressé cette fois-ci par IBM en 2014 : 95% de la cybercriminalité résulte d’une erreur humaine. Malgré les technologies de sécurité avancées disponibles aujourd’hui, la plupart des pirates continuent de cibler les vulnérabilités du comportement humain, et pas seulement celles, techniques, des systèmes et des réseaux.

L’IA constitue donc une opportunité pour mieux gérer les risques, non pas de manière totalement autonome, mais en appui à des compétences, bien humaines, en cybersécurité. Le laboratoire d’informatique et d’intelligence artificielle du MIT a ainsi mis au point une « plate-forme de cybersécurité adaptative » dénommée AI² qui améliore ses performances dans le temps par la combinaison d’apprentissage machine (machine learning) et des apports d’analystes en sécurité[2]. Concrètement, AI² bâtit des modèles comportementaux significatifs d’attaques et tente ensuite de les prédire en détectant des activités suspectes. Il présente ensuite ces activité à des analystes humains qui confirment quels événements sont des attaques réelles, et intègre cette rétroaction dans ses modèles pour les ensembles suivants de données.

Une autre potentialité de l’IA est la possibilité de faciliter les investigations et l’identification des cybercriminels. Dudu Mimran, directeur des technologies (CTO) du Telekom Innovation Laboratories en Israël, relevait dans un discours devant l’OCDE que l’amélioration des méthodes d’investigation et d’identification « souffre de sous-investissements parce qu’elle manque de viabilité commerciale »[3]. Cette difficulté, bien connue des spécialistes, s’explique au vu du nombre extrêmement important de variables à étudier, dont les fragments de code malveillants et la recherche d’éventuelles références identifiant des cybercriminels (références culturelles ou politiques par exemple). Cet expert suggère d’augmenter substantiellement le financement de la recherche en IA, dans le but de développer des systèmes « intelligents » parvenant à une meilleure identification d’auteurs d’infractions par corrélation des différentes traces, tout en ne perdant pas de vue la potentielle confidentialité des données traitées. De même, il ne réduit pas cette lutte à une démarche purement technique et il encourage à la mise en place d’un réseau mondial de renseignement, bien humain, en capacité de suivre les menaces, en réunissant des chercheurs, le monde des affaires et les autorités gouvernementales.


L’IA et l’automatisation de la cybercriminalité

La Convention sur la cybercriminalité du Conseil de l’Europe (“Convention de Budapest”) distingue deux grandes catégories de faits : les atteintes à des systèmes de traitement automatisé de données et les infractions de droit commun facilitées par un environnement numérique[4].

S’agissant de la première catégorie, l’IA est en capacité de renforcer l’automatisation de modes d’attaques directes de systèmes d’information (« scan » pour identifier et exploiter les vulnérabilités techniques) ou indirecte en volant auprès d’opérateurs humains les informations nécessaires pour accéder à un système (enregistrement de données à l’insu de l’utilisateur ou ingénierie sociale telle que le « fishing »). L’objectif de telles attaques, communément appelées « piratage informatique », est souvent de dérober des données sensibles (identifiants de cartes de paiement par exemple) ou de bloquer purement et simplement le fonctionnement d’un système (déni de service).

Depuis quelques années ce dernier type d’attaque est utilisé pour des fins de chantage et illustre bien une  seconde catégorie de cybercriminalité telle que définie par la Convention de Budapest : des faits de droit commun, facilités par les technologies numériques. Là encore, l’IA peut servir à automatiser des tentatives d’escroqueries, de fraudes, mais également produire des contre-mesures pour protéger le stockage et la distribution de matériel illégal, comme la pornographie juvénile et des contenus violant les droits d’auteur. D’autres types d’infractions seraient aussi à considérer, comme les manipulations boursières ou les modifications volontaires de comportement d’IA par d’autres IA à des fins criminelles ou délictuelles (les ingénieurs ne sont pas capables de déchiffrer complètement le code produit par les technologies d’apprentissage profond – deep learning… la prévention de leur manipulation devra passer par différentes méthodes pour s’assurer de l’intégrité de fonctionnement).

Pavel Gladyshev, professeur à l’University College Dublin, donne un dernier de criminalité facilité par l’IA dans un de ses articles récents[5] : l’application Deepfake altère les photographies et les vidéos numériques en remplaçant automatiquement le visage d’une personne par un autre. Bien qu’elle ait été créée à l’origine pour le divertissement d’adultes, la technologie a clairement le potentiel de produire de fausses vidéos montrant, par exemple, des politiciens assister à des réunions inexistantes ou s’engageant dans des activités qui pourraient nuire à leur réputation.


Le régime de responsabilité des infractions commises avec ou par des IA

Il est encore périlleux de tenter d’élaborer des règles de droit alors que nous sommes encore dans une phase de transition technologique, dont on suppose l’avenir sans réellement le connaître. Les réflexions sur la définition d’un régime de responsabilité quand des IA sont en jeux peuvent toutefois commencer s’appuyer ce que sont clairement ces systèmes : ce sont des modèles mathématiques créés par des humains pour exécuter des tâches complexes et qui se trouvent assignés lors de leur conception une fonction précise.

La question d’une prétendue « volonté » autonome d’une IA (et des robots fonctionnant sur la base d’IA) est immédiatement à écarter s’agissant d’infractions volontaires commises ou commanditées par des humains. Il faudra se garder de tout anthropomorphisme et il ne sera pas question de rechercher une conscience et un élément intentionnel dans une agrégation de systèmes ou un algorithme : il conviendra de revenir systématiquement à l’agent humain qui a utilisé ou assemblé ces systèmes avec l’intention de commettre une infraction. En d’autres termes, la question n’est pas différentes d’autres outils utilisés à des fins infractionnelles et ces systèmes, mêmes s’ils renvoient à un imaginaire de science-fiction, n’édulcorent en rien la responsabilité directe d’un agent humain[6]. Une IA utilisée pour attaquer en « force brute » un serveur ou détecter ses failles techniques n’est guère différente du marteau piqueur utilisé pour attaquer le coffre-fort d’une banque : nul n’aura à l’esprit de rechercher la responsabilité de l’outil de chantier ou de son fabricant.

Une certaine confusion semble toutefois exister pour les systèmes ayant commis des dommages relevant du champ des infractions involontaires. Le décès causé en mars 2018 par une voiture autonome exploitée par Uber en Arizona a marqué les esprits et a illustré que les difficultés ne proviennent de l’absence d’un cadre juridique adapté, mais, encore une fois, d’une incompréhension de ce que sont réellement les IA aujourd’hui. Les premières investigations semblent démontrer qu’un réglage « trop souple » pour éviter des freinages intempestifs a contribué à la survenance de l’accident, en plus d’une possible inaction d’un agent de contrôle humain. Le régime des infractions involontaires est à même d’appréhender ce type de situation avec une certaine acuité : les réglages opérés sur le freinage constituent-ils un manquement à une obligation de prudence ou de sécurité ? L’agent de contrôle humain, à bord du véhicule, était-il concentré sur sa tâche ? Dans ce cas, même si le contexte est nouveau, il n’y a rien que les juristes ou des juges ne sauraient traiter avec les instruments existants.

En revanche, la recherche de responsabilité risque de se complexifier quand différentes technologies sont agrégées (robotique, IA, big data, blockchain par exemple) et/ou si la machine a procédé à une phase autonome d’apprentissage (comme l’apprentissage profond ou deep learning)  : une certaine dilution du rôle des différents acteurs sera à craindre au détriment de la victime du dommage. En matière civile la définition d’une personnalité juridique spécifique est soutenue par le Parlement européen[7] mais se trouve critiquée car elle alimenterait la confusion sur la nature réelle des IA et ne représenterait au final un intérêt que pour les fabricants eux-mêmes (qui pourraient plus aisément dégager leur responsabilité en s’appuyant sur des mécanismes d’indemnisation [8]). En matière pénale, une telle construction juridique fictive pourrait aussi présenter un intérêt s’agissant de dommages involontaires ou inattendus présentant un certain degré de gravité mais, là encore, il ne s’agit pas de déresponsabiliser les concepteurs, bien humains, sur les conséquences potentielles de leurs actions. En toute hypothèse, faudrait-il peut-être procéder par étape avant de légiférer spécifiquement ? Il paraîtrait en effet opportun de définir tout d’abord ce qui pourrait être, en l’état de l’art, un cadre pertinent de sécurité et de prudence pour la conception et l’utilisation de tels systèmes complexes et d’évaluer ensuite s’il est nécessaire de faire évoluer – ou non – le régime actuel des infractions involontaires (qui distingue bien entre les liens de causalité directe ou indirecte et impose de caractériser soit une faute simple, soit une faute délibérée ou caractérisée en fonction de la nature de ce lien de causalité).


Aller plus loin ?

Intelligence artificielle et cybercriminalité : interviews lors de la conférence “Octopus 2018” du Conseil de l’Europe

Infographie de la société GEMALTO sur les failles de sécurité


Notes

[1] Voir à titre d’illustration l’infographie de la société Gemalto, ci-dessus.

[2] Voir par exemple l’article de vulgarisation publié sur le site d’information du MIT : http://news.mit.edu/2016/ai-system-predicts-85-percent-cyber-attacks-using-input-human-experts-0418

[3] D. Mimran, Risks of Artificial Intelligence on Society, 27 octobre 2017 : https://www.dudumimran.com/2017/10/risks-artificial-intelligence-society.html/

[4] Convention sur la cybercriminalité du Conseil de l’Europe, 23 novembre 2001 : http://www.europarl.europa.eu/meetdocs/2014_2019/documents/libe/dv/7_conv_budapest_/7_conv_budapest_fr.pdf

[5] P. Gladyshev, Artificial Intelligence and cybercrime, Eolas Magazine, 29 mars 2018 : http://www.eolasmagazine.ie/artificial-intelligence-and-cybercrime/

[6] G. Hallevy, The Criminal Liability of Artificial Intelligence Entities, 15 février 2010 : https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1564096

[7] Le Parlement propose également de réfléchir à des formes d’assurances pour les clients, voir par exemple M. Delvaux, Un cadre légal en matière de robotique est nécessaire, 12 janvier 2017 : http://www.europarl.europa.eu/news/fr/headlines/economy/20170109STO57505/mady-delvaux-un-cadre-legal-en-matiere-de-robotique-est-necessaire

[8] L. Neuer, Entretien avec Nathalie Nevejans, « Responsabilité des robots : appliquons nos règles de droit », L’Express, 11 avril 2017 : http://www.lepoint.fr/chroniqueurs-du-point/laurence-neuer/responsabilite-des-robots-appliquons-nos-regles-de-droit-11-04-2017-2118933_56.php

Intelligence artificielle et procès pénal

Quelle utilisation de l’IA dans le procès pénal en Europe ?

Les passionnés de science fiction n’aurons sans doute raté un chef d’œuvre du genre, le célèbre Minority Report de Steven Spielberg. En 2054, l’agent John Anderton (Tom Cruise) est à la tête d’une unité de police très particulière, la division « Pré-Crime », capable d’identifier l’auteur d’un crime avant le passage à l’acte grâce aux prédictions des trois créatures, dotées de pouvoirs de prévoyance surnaturelle, dénommées « Pré-Cogs ». Un jour, alors qu’il revient d’une mission périlleuse, John apprend par hasard qu’il fait lui-même l’objet d’une prédiction des « Pré-Cogs » et qu’il est censé tuer un homme qu’il ne connaît pas. Il s’enfuit et tente de comprendre comment «Pré-Crime» a pu le désigner comme un tueur…..

Est-ce que notre réalité est aussi éloignée de ce scénario de science fiction ? Pas tout à fait. L’entrée des techniques d’intelligence artificielle (IA), et notamment celles d’apprentissage machine (machine learning) dans le champ pénal a rendu en effet possible une certaine dose de prédiction : si l’identification préalable de l’auteur d’une infraction pénale demeure impossible, l’IA permettrait en revanche d’évaluer les probabilités de réitération d’une conduite criminelle par une personne soumise à une privation de liberté par l’autorité publique, moyennant des instruments de « vérification du risque » (risk assessment tools). Utilisés à large échelle aux Etats Unis, ceux-ci commencent à faire l’objet d’expérimentation en Europe, notamment au Royaume Uni.

Dans ces systèmes de common law en effet, le niveau de risque  de récidive (faible, moyen élevé) fait partie des critères de détermination de la peine ou de la mesure de réhabilitation[1] : on considère que les criminels à « risque faible » doivent recevoir une peine de prison plus courte ou bénéficier de mesures alternatives à la détention, alors que ceux considérés à « haut risque » devraient aller en prison. Les outils d’évaluation du risque ont été conçus pour aider le juge dans le processus décisionnel et leur domaine d’utilisation s’est progressivement élargi au fil du temps ; employés à l’origine en phase d’exécution de la peine (pour évaluer l’opportunité d’octroyer la libération conditionnelle ou d’assigner la personne concernée à des services de probation), ils sont couramment utilisés dans la phase de  détermination de la peine (sentencing) et d’application de la garde à vue dans plusieurs états fédérés[2]. Leurs constats ne sont pas contraignants pour le juge.

L’IA a permis de développer des instruments d’évaluation du risque de « nouvelle génération » qui se  fondent sur l’analyse statistique de grands ensembles de données agrégées relatives aux conduites criminelles.  Un échantillon de décisions de privation des libertés est sélectionné et des corrélations sont par la suite établies avec des « facteurs de risque » relatifs aux individus touchés par ces décisions. Il peut s’agir par exemple du sexe, de l’âge, de la scolarité, de l’état civil et du statut professionnel de l’individu, de sa situation patrimoniale, de ses antécédents criminels, de son domicile et de sa stabilité résidentielle. Un algorithme est par la suite élaboré qui, en s’appuyant sur des modèles conçus avec des techniques d’« apprentissage machine », détermine la probabilité statistique de récidive de la personne concernée en fonction du nombre de facteurs de risque pertinents. Plus celle-ci partage des facteurs de risque avec des individus ayant récidivé (selon les statistiques élaborées), plus l’algorithme évaluera comme étant élevé son risque de réitération de l’infraction.

D’après leurs partisans, l’intérêt de la mise en place de ces outils réside dans leur capacité de donner des éléments de contexte supplémentaires au juge, lui permettant de combiner l’information dont il dispose avec une estimation de la conduite probable de l’individu dans l’avenir, fondée sur des données statistiques relatives à des cas analogues.  Leurs détracteurs relèvent au contraire les criticités existantes vis-à-vis des principes d’égalité de traitement, d’individualisation et de proportionnalité de la peine : le comportement passé d’un certain groupe de personnes finirait en effet pour influencer le sort d’un individu qui, en tant qu’être humain unique, est inséré dans un contexte social spécifique. Il a reçu une éducation et développé des compétences propres et ne peut être jugé qu’en fonction de son propre degré de culpabilité et des motivations spécifiques qui l’ont conduit à commettre une infraction[3].

La question de l’objectivité de ces outils, censés contrer la subjectivité du juge, fait aussi l’objet de débat. Fondées uniquement sur un traitement statistique de données relatives aux infractions passées, insensibles aux sentiments et aux préjugés, les prédictions de l’IA seraient plus fiables que celles de l’être humain. Cet argument, qui paraît séduisant à première vue, néglige que le biais sont souvent incorporés dans les données elles-mêmes.

Un exemple pertinent à cet égard est lié à un des facteurs qui revêt une grande importance dans tous les outils d’évaluation du risque, à savoir celui de l’histoire criminelle. Son évolution peut en effet dépendre des décisions des pouvoirs publics (par exemple, où déployer la police, qui arrêter, quel type de sanctions appliquer)  qui pourraient à leur tour être tâchées de biais sociétaux ou raciaux. Si par exemple certaines communautés sont plus visées que d’autres par des mesures de police, les antécédents criminels des personnes faisant parties de ces communautés seront en conséquence plus nombreux.

Ces outils ne feraient donc que reproduire des disparités raciales et socio-économiques déjà existantes dans nos sociétés, comme le montre bien l’enquête menée par l’ONG Pro-Publica en 2016[4] par rapport à COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), un instrument d’évaluation du risque utilisé dans plusieurs états fédérés américains:  les populations afro-américaines se sont vues attribuer un taux de risque de récidive deux fois supérieur à celui des autres populations dans les deux ans qui suivaient l’application de la peine ; inversement l’algorithme considérait que d’autres populations semblaient beaucoup moins susceptibles de réitérer une infraction. Des outils donc aux effets discriminatoires et déterministes, qui finissent pour pénaliser certaines communautés ou individus plus que d’autres.

La prétendue impartialité et objectivité d’une justice administrée par les algorithmes se heurterait donc à la « contamination » des statistiques et des données ; à l’apparence « stérilisée » par l’utilisation de méthodes mathématiques et statistiques, elle finirait pour légitimer des injustices, voir les amplifier par le biais d’une inégalité de traitement répétée par les tribunaux.

Est-ce que l’IA serait plus exacte dans ses déterminations qu’un juge humain ? Quoiqu’en capacité de traiter et d’établir des liens entre des grandes masses de données, et d’une manière plus performante qu’un être humain, on ne peut pas conclure pour autant à une supériorité de l’IA sur le plan des résultats. Les fautes plus fréquemment produites par les outils d’évaluation du risque sont celles relatives à l’inclusion d’un individu dans une catégorie de risque erronée. L’IA peut en effet produire :

  • Des « faux négatifs » que nous pouvons qualifier d’erreur «Darth Vader»[5] – c’est-à-dire qu’une personne est libérée en étant considérée à faible risque, alors qu’elle elle est dangereuse, et commet par la suite une infraction ;
  • Des « faux positifs » que l’on pourrait inversement qualifier d’erreur «Han Solo» – c’est-à-dire qu’une personne est détenue sur la base d’un jugement de dangerosité, mais en fait ne commettrait aucun tort si elle était libérée.

Des exemples concrets de catégorisation erronée ont été donnés dans le cadre de l’enquête de ProPublica[6] ; toutefois, il y a un risque que des situations analogues puissent se produire aussi en Europe. Depuis 2017, la police de Durham, en Angleterre, utilise dans le cadre de la garde à vue un outil d’évaluation du risque en tant qu’aide à la décision. Comme ses homologues américains, HART (Harm Assessment Risk Tool) détermine le niveau du risque (faible, moyen, élevé) du mis en cause ; ses conclusions ne sont pas contraignantes pour la police. Des articles parus récemment dans le milieu académique  et dans la presse[7]  ont mis en relief que l’algorithme à la base de HART aurait été construit sur la base d’un « compromis entre les faux positifs et les faux négatifs », avec l’objectif de réduire le plus possible le nombre de faux négatifs et ainsi éviter que des suspects soient classifiés à risque faible ou moyen alors qu’ils sont dangereux. Pour parvenir à ce résultat, l’algorithme étiquetterait des suspects comme à risque élevé de manière assez libérale ; en conséquence, des personnes qui sont en réalité moyennement ou peu dangereuses pourraient être incluses dans la catégorie à haut risque, ce qui soulève des interrogations quant à la proportionnalité de cette mesure, ayant des effets sensibles sur la liberté personnelle, avec le but recherché de protection de la société.

Cet exemple montre comment l’IA peut être programmée pour pallier aux erreurs de jugement ou aux doutes de l’humain : dans ce cas particulier, elle servirait à aider les policiers à détecter des cas qu’ils pourraient manquer ou qu’ils hésitent à considérer comme présentant un risque élevé. Or, la recherche universitaire a relevé que les avis de l’humain et de l’IA en la matière peuvent considérablement diverger : sur les 888 exemples de garde à vue étudiés[8], les policiers étaient d’accord avec les prévisions de l’IA désignant des suspects à haut risque seulement dans le 10% des cas (accord qui se situait au 70% et 52 % lorsque le niveau de risque était considéré modéré ou faible). Inversement l’IA était d’accord avec les prévisions des policiers dans le 24% (risque élevé), 62% (risque modéré) et  49 % des cas (risque faible).

La recherche précitée suggérait que les policiers, en l’absence de certitudes, préféraient ne pas retenir une qualification ayant un impact considérable sur la liberté personnelle. Ce qui nous renvoie à la question de la responsabilité (accountability) dans la prise de décisions : à différence d’une machine, des officiers de police doivent pouvoir expliquer les raisons à fondement d’une décision de privation de liberté et rendre compte de leur processus décisionnel.

Une autre question importante, étroitement liée à la précédente, est celle de la place de ces outils dans le processus décisionnel : comme relevé précédemment, il s’agit d’instruments d’aide à la prise de décision, donnant des informations supplémentaires – à pondérer avec d’autres éléments – qui devraient permettre un exercice plus réfléchi du pouvoir discrétionnaire du juge. Les prévisions d’évaluation des risques ne devraient pas, en théorie, être déterminantes et se substituer aux décisions du juge. Peut-on néanmoins exclure le risque de « dépendance » du juge par rapport aux constats de l’algorithme, d’autant plus lorsque ceux-ci sont présentées comme robustes et fiables et utilisés à large échelle dans le système judiciaire? Le risque ne peut, selon nous, être écarté, et notamment dans l’hypothèse d’affaires sensibles où les pressions sur le juge pourraient être considérables, ou dans les systèmes où les garanties statutaires d’indépendance seraient insuffisantes.

Et encore, quelle maîtrise a réellement le juge sur les instruments d’évaluation du risque, notamment  lorsqu’ils sont élaborés par des entreprises privées ? Comment peut-il vérifier si les prévisions sont prives d’erreurs? La propriété privée de l’instrument ne permet pas d’accéder aux secrets de l’IA.  Peut-on exiger que, lorsque la liberté personnelle est en jeu, ce droit puisse être limité ? Une mise en balance doit être recherchée : il faut que les outils d’évaluation du risque soient transparents, avec un code source permettant aux juges, aux avocats de la défense et aux communautés de comprendre et d’évaluer l’algorithme. Cette transparence devrait d’abord reposer sur l’engagement et l’éthique des acteurs privés, mais un cadre régulateur des pouvoirs publics paraît également souhaitable, notamment dans un domaine aussi sensible que le droit pénal. Une transparence qui permettrait par ailleurs un respect effectif de l’égalité des armes et des droits de la défense[9] : la partie concernée devrait avoir accès et pouvoir remettre en cause la validité scientifique, le poids donné aux différents éléments de l’algorithme et les éventuelles conclusions erronées de celui-ci.

Faudrait-il envisager une utilisation différente de l’IA dans le domaine pénal ?

Eu égard aux risques d’erreur et d’atteinte aux libertés évoqués ci-dessus, il nous semble important de changer de paradigme. Il faut notamment passer d’une approche « prédictive » qui se révèle déterministe et punitive à une qui soit plus respectueuse des droits fondamentaux, dans laquelle le juge joue un rôle fondamental en matière d’individualisation de la peine.

Celle-ci serait déterminée sur la base d’éléments objectifs de personnalités (formation, emploi, prise en charge médico-sociale régulière) sans autre forme d’analyse que celle opérée par des professionnels spécifiquement formés, comme les agents de probation par exemple. Les capacités de l’IA de traiter des énormes quantités de données pourraient ainsi être utilisées en faveur de l’individu, et notamment pour centraliser et collecter des informations de caractère économico-social, ou sanitaire le cas échéant[10] qui sont détenues auprès d’institutions et organismes public différents.  Ces informations, rapidement collectées par l’IA, pourraient être extrêmement utiles à un juge devant parfois statuer dans des délais extrêmement courts (par exemple dans le cadre des procédures dites de « comparution immédiate » en France ou de « jugement immédiat » en Italie).

En guise de conclusion, l’IA doit rester au service de l’humain, renforcer et ne pas diminuer ses droits, et se fonder sur les principes éthiques de transparence et de responsabilité, notamment dans le domaine pénal.

P.S. Dans Minority Report, Tom Cruise parvient à prouver son innocence en démontrant que le système_ « Pré-Crime » avait été manipulé par son créateur, Max von Sydow.


Notes

[1] Les systèmes continentaux se concentrent inversement sur la responsabilité pénale et la gravité de l’infraction lors de la détermination de la peine, mais la dangerosité du criminel et  le risque de récidive peuvent rentrer en ligne de compte dans la détermination de la sanction lorsqu’on considère les circonstances aggravantes du crime.

[2] Danielle Kehl, Priscilla Guo, and Samuel Kessler, Responsive Communities, “Algorithms in the Criminal Justice System: Assessing the Use of Risk Assessment in Sentencing”, disponible au lien suivant, visité le 20/072018: https://dash.harvard.edu/bitstream/handle/1/33746041/2017-07_responsivecommunities_2.pdf?sequence=1

[3] Aleš Završnik, Big Data, crime and social control, © 2018 – Routledge, page 197.

[4] https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing, visited on 19/07/2018

[5] Les fans de Star Wars se rappelleront que dans épisode VI, « Le Retour du Jedi » Darth Vader tue l’empereur. Il y a donc une rédemption de ce personnage que, dans le cadre de cette analyse, nous avons placé précédemment dans la catégorie « à haut risque ». Une rédemption qui n’appartient pas uniquement au monde de la fiction mais qui est devenue un objectif important des systèmes pénaux contemporains : les principes de réinsertion et de réintégration des personnes condamnées, affirmés aussi à plusieurs reprises par la Cour européenne des droits de l’homme, sont devenus des standards importants dans le droit pénal européen (voir Vinter et autres c. Royaume-Uni [GC], nos 66069/09 et 2 autres, §§ 103-122, CEDH 2013 (extraits), et plus récemment Hutchinson c. Royaume-Uni [GC], no 57592/08, §§ 42-45, 17 janvier 2017)

[6] Pour le même type d’infraction (vol), l’algorithme a erronément considéré une femme noire à haut risque et inversement, un homme blanc à faible risque, alors que ce dernier avait un casier judiciaire plus important. Dans les deux années suivantes la femme n’a pas récidivé alors que l’homme a été condamné à une peine de prison ferme de huit ans pour effraction et vol.

[7] Big Brother Watch, « A Closer Look at Experian Big Data and Artificial Intelligence in Durham Police », paru le 6 avril 2018, et  Marion Oswald, Jamie Grace, Sheena Urwin, Geoffrey Barnes « Algorithmic Risk Assessment Policing Models: Lessons from the Durham HART Model and ‘Experimental’ Proportionality », Information & Communications Technology Law, University of Cambridge, August 31, 2017, disponible au lien suivant visité le 23/07/2018:

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3029345

[8] Sheena Urwin, Algorithmic case forecasting of offender dangerousness for police custody officers: an assessment of accuracy for the Durham Constabulary model, page 72, disponible au lien suivant visité le 23/07/2018: http://www.crim.cam.ac.uk/alumni/theses/Sheena%20Urwin%20Thesis%2012-12-2016.pdf

[9] Regner c. République tchèque [GC], no 35289/11, §§ 146-149, 19 septembre 2017

[10] Par exemple la recherche d’emploi, l’engagement dans un traitement de lutte à la dépendance causée par des drogues ou l’alcool.

Petite histoire de l’intelligence artificielle…

Ce que nous enseignent les trois âges d’or de l’IA

L’intelligence artificielle (IA) est une discipline jeune d’une soixante d’années, qui est un ensemble de sciences, théories et techniques (notamment logique mathématique, statistiques, probabilités, neurobiologie computationnelle, informatique) qui ambitionne d’imiter les capacités cognitives d’un être humain. Initiés dans le souffle de la seconde guerre mondiale, ses développements sont intimement liés à ceux de l’informatique et ont conduit les ordinateurs à réaliser des tâches de plus en plus complexes, qui ne pouvaient être auparavant que déléguées à un humain.

Cette automatisation demeure toutefois loin d’une intelligence humaine au sens strict, ce qui rend la dénomination critiquable pour certains experts. Le stade ultime de leurs recherches (une IA « forte », c’est-à-dire en capacité de contextualiser des problèmes spécialisés très différents de manière totalement autonome) n’est absolument pas comparable aux réalisations actuelles (des IA « faibles » ou « modérées », extrêmement performantes dans leur domaine d’entraînement). L’IA « forte », qui ne s’est encore matérialisée qu’en science-fiction, nécessiterait des progrès en recherche fondamentale (et non de simples améliorations de performance) pour être en capacité de modéliser le monde dans son ensemble.

Depuis 2010, la discipline connaît toutefois un nouvel essor du fait, principalement, de l’amélioration considérable de la puissance de calcul des ordinateurs et d’un accès à des quantités massives de données.

Les promesses, renouvelées, et les inquiétudes, parfois fantasmées, complexifient une compréhension objective du phénomène. De brefs rappels historiques peuvent contribuer à situer la discipline et éclairer les débats actuels.

1940-1960 : Naissance de l’IA dans le sillage de la cybernétique

L’époque entre 1940 et 1960 a été fortement marquée par la conjonction de développements technologiques (dont la seconde guerre mondiale a été un accélérateur) et la volonté de comprendre comment faire se rejoindre le fonctionnement des machines et des êtres organiques . Ainsi pour Norbert Wiener, pionnier de la cybernétique, l’objectif était d’unifier la théorie mathématique, l’électronique et l’automatisation en tant que « théorie entière de la commande et de la communication, aussi bien chez l’animal que dans la machine » [1]. Juste auparavant, un premier modèle mathématique et informatique du neurone biologique (neurone formel) avait été mis au point par Warren McCulloch et Walter Pitts dès 1943[2].

Début 1950, John Von Neumann et Alan Turing ne vont pas créer le terme d’IA mais vont être les pères fondateurs de la technologie qui la sous-tend : ils ont opéré la transition entre les calculateurs à la logique décimale du XIXème siècle (qui traitaient donc des valeurs de 0 à 9) et des machines à la logique binaire (qui s’appuient sur l’algèbre booléenne, traitant des chaines plus ou moins importantes de 0 ou de 1[3]). Les deux chercheurs ont ainsi formalisé l’architecture de nos ordinateurs contemporains et ont démontré qu’il s’agissait là d’une machine universelle, capable d’exécuter ce qu’on lui programme. Turing posera bien en revanche pour la première fois la question de l’éventuelle intelligence d’une machine dans son célèbre article de 1950 « Computing Machinery and Intelligence[4] » et a décrit un « jeu de l’imitation », où un humain devrait arriver à distinguer lors d’un dialogue par téléscripteur s’il converse avec un homme ou une machine. Pour polémique que soit cet article (ce « test de Turing » n’apparaît pas qualifiant pour nombre d’experts), il sera souvent cité comme étant à la source du questionnement de la limite entre l’humain et la machine.

La paternité du  terme « IA » pourrait être attribué à John McCarthy du MIT (Massachusetts Institute of Technology), terme que Marvin Minsky (université de Carnegie-Mellon) définit comme « la construction de programmes informatiques qui s’adonnent à des tâches qui sont, pour l’instant, accomplies de façon plus satisfaisante par des êtres humains car elles demandent des processus mentaux de haut niveau tels que : l’apprentissage perceptuel, l’organisation de la mémoire et le raisonnement critique ». La conférence durant l’été 1956 au Dartmouth College (financée par le Rockefeller Institute) est considérée comme fondatrice de la discipline. De manière anecdotique, il convient de relever le grand succès d’estime de ce qui n’était pas une conférence mais plutôt un atelier de travail. Seulement six personnes, dont McCarthy et Minsky, étaient restées présentes de manière constante tout au long de ces travaux (qui s’appuyaient essentiellement sur des développements basés sur de la logique formelle).

Il s’agissait peut-être là d’un signal. Si la technologie demeurait fascinante et remplie de promesse (voir notamment dans le domaine judiciaire l’article de Reed C.Lawlor, avocat au barreau de Californie, de 1963 « What Computers Can Do : Analysis and Prediction of Judicial Decisions »), l’engouement est retombé au début des années 1960. Les machines disposaient en effet de très peu de mémoire, rendant malaisé l’utilisation d’un langage informatique. On y retrouvait toutefois déjà certains fondements encore présents aujourd’hui comme les arbres de recherche de solution pour résoudre des problèmes : l’IPL, information processing language,  avait permis ainsi d’écrire dès 1956 le programme LTM (logic theorist machine) qui visait à démontrer des théorèmes mathématiques.

Herbert Simon, économiste et sociologue, a eu beau prophétiser en 1957 que l’IA arriverait à battre un humain aux échecs dans les  10 années qui suivraient, l’IA est entrée alors dans un premier hiver. La vision de Simon s’avérera pourtant juste… 30 années plus tard.

 

1980-1990 : Les systèmes experts

En 1968 Stanley Kubrick réalisera le film « 2001 l’Odyssée de l’espace » où un ordinateur – HAL 9000 (distant que d’une seule lettre de celles d’IBM) résume en lui-même toute la somme de questions éthiques posées par l’IA : arrivée à un haut niveau de sophistication, celle-ci représentera-t-elle un bien pour l’humanité ou un danger ? L’impact du film ne sera naturellement pas scientifique mais il contribuera à vulgariser le thème, tout comme l’auteur de science-fiction Philip K. Dick, qui ne cessera de s’interroger si, un jour, les machines éprouveront des émotions (Les androïdes rêvent-ils de moutons électriques ?).

C’est avec l’avènement des premiers microprocesseurs fin 1970 que l’IA reprend un nouvel essor et entre dans l’âge d’or des systèmes experts.

La voie avait été en réalité ouverte au MIT dès 1965 avec DENDRAL (système expert spécialisé dans la chimie moléculaire) et à l’université de Stanford en 1972 avec MYCIN (système spécialisé dans le diagnostic des maladies du sang et la prescription de médicaments). Ces systèmes s’appuyaient sur un « moteur d’inférence », qui était programmé pour être un miroir logique d’un raisonnement humain. En entrant des données, le moteur fournissait ainsi des réponses d’un haut niveau d’expertise.

Les promesses laissaient envisager un développement massif mais l’engouement retombera à nouveau fin 1980, début 1990. La programmation de telles connaissances demandait en réalité beaucoup d’efforts et à partir de 200 à 300 règles, il y avait un effet « boîte noire » où l’on ne savait plus bien comment la machine raisonnait. La mise au point et la maintenance devenaient ainsi extrêmement problématiques et – surtout – on arrivait à faire plus vite et aussi bien d’autres manières moins complexes, moins chères. Il faut rappeler que dans les années 1990, le terme d’intelligence artificielle était presque devenu tabou et des déclinaisons plus pudiques étaient même entrées dans le langage universitaire, comme « informatique avancée ».

Le succès en mai 1997 de Deep Blue (système expert d’IBM) au jeu d’échec contre Garry Kasparov concrétisera 30 ans plus tard la prophétie de 1957 d’Herbert Simon mais ne permettra pas de soutenir les financements et les développements de cette forme d’IA. Le fonctionnement de Deep Blue s’appuyait en effet sur un algorithme systématique de force brute, où tous les coups envisageables étaient évalués et pondérés. La défaite de l’humain est restée très symbolique dans l’histoire mais Deep Blue n’était en réalité parvenu à ne traiter qu’un périmètre très limité (celui des règles du jeu d’échec), très loin de la capacité à modéliser la complexité du monde.

L’histoire n’était pas encore terminée…

Depuis 2010 : un nouvel essor à partir des données massives et d’une nouvelle puissance de calcul

Deux facteurs expliquent le nouvel essor de la discipline aux alentours de 2010.

  • L’accès tout d’abord à des volumes massifs des données. Pour pouvoir utiliser des algorithmes de classification d’image et de reconnaissance d’un chat par exemple, il fallait auparavant réaliser soi-même un échantillonnage. Aujourd’hui, une simple recherche sur Google permet d’en trouver des millions.
  • Ensuite la découverte de la très grande efficacité des processeurs de cartes graphiques des ordinateurs pour accélérer le calcul des algorithmes d’apprentissage. Le processus étant très itératif, cela pouvait prendre des semaines avant 2010 pour traiter l’intégralité d’un échantillonnage. La puissance de calcul de ces cartes, (capables de plus de mille milliards d’opérations par seconde) a permis un progrès considérable pour un coût financier restreint (moins de 1000 euros la carte).

Ce nouvel attirail technologique a permis quelques succès publics significatifs et a relancé les financements : en 2011, Watson, l’IA d’IBM, remportera les parties contre 2 champions du « Jeopardy ! ». En 2012, Google X (laboratoire de recherche de Google) arrivera à faire reconnaître à une IA des chats sur une vidéo. Plus de 16 000 processeurs ont été utilisés pour cette dernière tâche, mais le potentiel est alors extraordinaire : une machine arrive à apprendre à distinguer quelque chose. En 2016, AlphaGO (IA de Google spécialisée dans le jeu de Go) battra le champion d’Europe (Fan Hui) et le champion du monde (Lee Sedol) puis elle-même (AlphaGo Zero). Précisons que le jeu de Go a une combinatoire bien plus importante que les échecs (plus que le nombre de particules dans l’univers) et qu’il n’est pas possible d’avoir des résultats aussi significatifs en force brute (comme pour Deep Blue en 1997).

D’où vient ce miracle ? D’un changement complet de paradigme par rapport aux systèmes experts. L’approche est devenue inductive : il ne s’agit plus de coder les règles comme pour les systèmes experts, mais de laisser les ordinateurs les découvrir seuls par corrélation et classification, sur la base d’une quantité massive de données.

Parmi les techniques d’apprentissage machine (machine learning),  c’est celle de l’apprentissage profond (deep learning) qui paraît la plus prometteuse pour un certain nombre d’application (dont la reconnaissance de voix ou d’images). Dès 2003, Geoffrey Hinton (de l’Université de Toronto), Yoshua Bengio (de l’Université de Montréal) et Yann LeCun (de l’Université de New York) avaient décidé de démarrer un programme de recherche pour remettre au goût du jour les réseaux neuronaux. Des expériences menées simultanément à Microsoft, Google et IBM avec l’aide du laboratoire de Toronto de Hinton ont alors démontré que ce type d’apprentissage parvenait à diminuer de moitié les taux d’erreurs pour la reconnaissance vocale. Des résultats similaires ont été atteints par l’équipe de Hinton pour la reconnaissance d’image.

Du jour au lendemain, une grande majorité des équipes de recherche se sont tournées vers cette technologie aux apports incontestables. Ce type d’apprentissage a aussi permis des progrès considérables pour la reconnaissance de texte, mais, d’après les experts comme Yann LeCun, il y a encore beaucoup de chemin à parcourir pour produire des systèmes de compréhension de texte. Les agents conversationnels illustrent bien ce défi : nos smartphones savent déjà retranscrire une instruction mais ne parviennent pas la contextualiser pleinement et à analyser nos intentions.

Et après… quels enjeux ?

Le premier enjeu est technique et formel. Les équipes de recherches continuent à investir de nouvelles approches d’apprentissage, en miroir de la manière dont l’humain apprend. Nul doute que l’apprentissage machine en sera simplifié et rendu plus accessible.

Le second enjeu est politique et de fond. Le traitement de forts volumes de données révèlent les biais qui y sont cachés (masculin / féminin, riche / pauvre, etc). Croisés avec d’autres paramètres sensibles (appartenance politique, religion, maladie, délinquance), des résultats catastrophiques sont prévisibles. L’algorithme COMPAS aux Etats-Unis et HART en Grande-Bretagne, censés évaluer le risque de récidive des individus, pondèrent négativement les populations les plus précaires et de certaines origines ethniques. Non parce qu’ils ont été conçus pour cela, mais parce que ces biais n’ont pas été neutralisés lors de leur conception et que le résultat a une vocation prescriptive. Ce qui en fait un système déterministe socialement.

Il ne faut donc pas craindre dans un immédiat (même lointain) l’IA « forte », prédite par Stephen Hawking, Elon Musk ou celle des écrivains de science-fiction, qui se coderait plus vite que la génétique biologique et qui éradiquerait l’humanité. La capacité de mise en relation des IA avec le monde  réel est très faible car elle n’a finalement que très peu de capteurs : elle vit d’une certaine manière en autiste dans ses modèles spécialisés de données, qui sont ne sont que très peu mis en relation entre eux ou avec le monde réel.

Il faut en revanche craindre le « solutionnisme », tel que défini par Evgeny Moroz[5]. Si les résultats de l’IA sont spectaculaires dans certains domaines bien précis, il en est d’autres où l’utilisation de ces technologies requiert une grande prudence à traduire par une approche pluridisciplinaire, mêlant ingénierie informatique et sciences sociales. Les enjeux sociétaux et les problèmes individuels ne peuvent évidemment pas trouver de solution aussi simpliste et universelle par les seules nouvelles technologies. On peut imaginer que pour certains concepteurs, cherchant des applications financièrement rentables, « tout ressemble à un clou » parce qu’ils ont à leur disposition ce qu’ils pensent être un marteau universel. La difficulté en tant que tel ne vient d’ailleurs moins des solutions proposées (parfois pertinentes), mais du fait d’apporter des réponses avant même d’avoir compris l’entier problème et d’avoir posé toutes les questions.

L’histoire qui reste à écrire n’est donc pas le futur brillant prédit par Raymond Kurzweil, imaginant un transhumanisme éloignant le genre humain de ses vicissitudes grâce aux seules technologies. Elle n’est certainement pas celle qui serait bâtie par des luddites modernes, refusant tout apport des technologies par simple réaction à un monde nouveau et inconfortable. Imaginons plutôt, comme toujours, une histoire de conquête qui sera inévitablement parsemée d’événements sombres pour arriver à circonscrire ce que ces technologies ont de meilleur.


Aller plus loin ?


Notes

[1] Le concept est développé dans son ouvrage en 1948 « Cybernetics or Control and Communication in the Animal and the Machine »

[2] Le neurone formel est un neurone binaire, dont la sortie vaut 0 ou 1. Le calcul est effectué sur la base d’une somme pondérée de ses entrées (d’une valeur provenant d’autres neurones, donc 0 ou 1), sur laquelle est appliquée une fonction d’activation à seuil. Si la somme pondérée est au-dessus d’une certaine valeur, la sortie du neurone est 1, sinon elle vaut 0.

[3] Les ordinateurs actuels, dont certainement le vôtre, manipulent de manière tout à fait commune une chaîne de 64 valeurs binaires (bits).

[4] Mind, octobre 1950.

[5] E. Morozov, Pour tout résoudre, cliquez ici, FYP éditions, 2014.

L’intelligence artificielle : du réenchantement au désenchantement ?

De la nécessité d’une science avec conscience

Souvenons-nous des années 80 et 90 : quelques mots étaient en capacité d’enchanter n’importe quel film, histoire ou livre d’une couleur d’avant-garde. Le nombre « 2000 », les ordinateurs personnels, « l’» internet, les autoroutes de l’information, les systèmes experts et… déjà l’intelligence artificielle (IA). A leur seule évocation, ces termes arrivaient à peupler les esprits de voitures volantes, de machines dépassant leurs concepteurs pour les anéantir, d’êtres humains hybridés avec des robots.

En ce qui concerne l’IA, il semble d’ailleurs que la résurgence de nouveaux espoirs réponde à des cycles trentenaires (1950, 1980 et maintenant 2010) où a succédé à l’enthousiasme des pionniers la déception des praticiens.

Qu’en dire en 2018 ?

Peut-être que l’IA a longtemps été une science d’avenir, qu’elle l’est encore et qu’elle risque de le rester si l’on écoute Yarden Katz. Ce jeune chercheur à la Harvard Medical School estime en effet que l’actuelle « révolution de l’IA » est fabriquée de toute pièce pour promouvoir en réalité un projet de gouvernance global par les nombres. Il résume en une caractéristique ce qu’il considère comme une prétendue « ère » : le « manque de conscience » (thoughtlessness) à ne réduire l’humain qu’à son seul comportement dans une société quantifiée[1].

D’autres auteurs en France ou à l’étranger nous avertissent des mêmes dangers[2]. Faut-il voir dans ces propos la résistance d’un ancien monde contre la transformation en cours, une critique politique du projet néo-libéral cachée sous des atours technologiques ou une objectivation bienvenue dans cette nouvelle période d’enthousiasme (d’exaltation ?).

Tentons de revenir sur quelques constats factuels pour tenter de définir ce qui se cache derrière la « hype de l’IA » [3] et évoquer le risque de total discrédit si les promesses à nouveau formulées ne parviennent pas à être remplies. Au final, les approches transdisciplinaires souvent réclamées ne devraient-elles pas se concrétiser au travers d’une nouvelle formalisation des savoirs dotée d’une solide conscience ?

1/ L’IA : de quoi parle-t-on exactement ?

La croissance exponentielle de l’efficacité du traitement informatique des données est à distinguer totalement des progrès considérables restant à réaliser par la recherche fondamentale pour modéliser une intelligence aussi agile que l’intelligence humaine. Certains avaient cru pouvoir la réduire à « 10 millions de règles[4] » : des chercheurs comme Yann LeCun affirment aujourd’hui que l’IA se heurte en réalité à une bonne représentation du monde, qui est une question « fondamentale scientifique et mathématique, pas une question de technologie[5] ». Une dichotomie est donc parfois réalisée entre l’« IA forte » de science-fiction (généraliste, auto-apprenante et adaptable de manière autonome à des contextes tout à fait différents), et les IA « faibles » ou « modérées » actuelles, ultra-spécialisées et non-adaptables de manière totalement autonome à des changements complets de paradigme[6]. Cette distinction ne clarifie toutefois pas ce que l’on entend par « intelligence » et alimente nombre de malentendus et de fantasmes, entretenus et véhiculés par les médias (qui peinent à décrypter les discours commerciaux et à vulgariser des concepts complexes).

Commençons par rappeler que les mécanismes actuellement mis en œuvre sous le terme « IA » sont pluriels et ne sont pas réellement nouveaux[7]. Ce qui l’est, c’est leur synergie et leur efficacité de traitement, rendues possibles par la performance des processeurs actuels et la baisse du coût de stockage de quantité considérable de données.

Pour être plus précis, cet assemblage de sciences et techniques (matérialisé par différentes classes d’algorithmes, en annexe) a contourné de manière extrêmement astucieuse les limites des anciens systèmes experts, qui exigeaient de programmer a priori des règles logiques de traitement de données pour imiter un raisonnement.Les approches actuelles sont inductives : l’idée est de réunir un nombre suffisant de données d’entrée et de résultats attendus en sortie afin de rechercher de manière (plus ou moins) automatisée les règles pouvant les lier. Cette recherche automatisée est ce que l’on qualifie d’apprentissage dans les algorithmes d’ « apprentissage machine » (machine learning) et se trouve formalisée dans un modèle décrivant mathématiquement les relations découvertes.  

L’objectif pour les ingénieurs n’est pas de comprendre les règles ou modèles automatiquement construits par l’ordinateur mais de s’assurer que la machine arrive à reproduire de mieux en mieux les résultats attendus, si nécessaire avec toujours plus de données par des phases successives d’ « apprentissage ».

2/ Les trois clés possibles de compréhension de l’IA

Tentons de reformuler les concepts esquissés précédemment :

  • l’IA n’est pas un objet unique et homogène : il s’agit en réalité d’un assemblage de sciences et techniques (mathématiques, statistiques, probabilités, neurobiologie, informatique) en capacité de traiter des données pour concevoir des tâches très complexes de traitement informatique ;
  • le moteur de l’IA ne produit pas de l’intelligence en soi mais fonctionne par une approche inductive : l’idée est d’associer de manière plus ou moins automatisée un ensemble d’observations (entrées) à un ensemble de résultats possibles (sorties) à l’aide de diverses propriétés pré-configurées ;
  • la fiabilité du modèle (ou fonction) construit sur cette base dépend fortement de la qualité des données utilisées et du choix de la technique d’apprentissage automatisée (machine learning).

Le concept d’IA est donc globalement à démystifier si l’on s’en tient à une interprétation stricte du mot « intelligence ». Nous avons affaire à des machines mathématiques, statistiques et probabilistes complexes et non des répliques (même sommaires) du cerveau humain (qui inclut des processus perceptifs, l’apprentissage, l’auto-organisation, l’adaptation). Prenons l’une de sous-classes du machine learning, les réseaux de neurones : si leur conception est bien inspirée des neurones biologiques, leur fonctionnement est en réalité fortement optimisé par des méthodes probabilistes dites bayésiennes. En d’autres termes, ces réseaux sont aussi comparables à de réels neurones que les « animatronics » de Disneyland sont similaires à des humains.

3/ Comment prévenir le risque de discrédit lorsque les promesses ne seront tenues

Le problème majeur, s’il y en avait un à qualifier, c’est la confusion entretenue entre les succès incontestables de l’IA dans des champs bien précis d’application et leur transposition dans des champs pour lesquels son utilisation apparaît comme bien plus contestable.

Lors d’une récente conférence tenue à Bologne sur la Cyberjustice, un jeune avocat italien affirmait que toutes les disciplines des sciences sociales pouvaient désormais être modélisées par l’IA[8]. La toute-puissance des méthodes inductives flottait dans l’air et à l’entendre la modélisation du monde dans son entier était à portée… Le « manque de conscience »  dénoncé par Yarden Katz était pourtant bien plus présent dans la salle que la révolution annoncée puisqu’il n’y avait personne du milieu académique pour partager avec lui les conclusions déjà citées de Yann LeCun ou l’interroger sur les raisons pour lesquelles Auguste Comte avait rompu avec la « physique sociale » pour parler de « sociologie »[9]. Certaines des entreprises commercialisant des services bâtis sur l’IA paraissent souvent négliger ces acquis, peut-être par méconnaissance, peut-être aussi pour ne pas décourager leurs sponsors financiers…

Évoquons toutefois quelques aspects pour lesquels tout concepteur d’IA devrait avoir des réponses pour démontrer les mesures qu’il a pu prendre… en conscience et pour ne pas discréditer la matière.

La cohérence des données analysées devrait tout d’abord pouvoir être démontrée : l’un des défauts de l’IA, c’est le risque de concevoir des modèles avec des données d’entrée et des résultats a priori de même nature mais en réalité légèrement discordants. Parvenir à constituer des jeux de données cohérents pour faire décoller une fusée, analyser une image ou jouer au go est un objectif complexe mais réalisable (pour le go, il s’agit de pierres noires, blanches, 19 lignes sur 19, des règles de jeu claires). Les sciences sociales posent de toutes autres difficultés de collecte : il est même parfois impossible de s’assurer que les résultats mesurés empiriquement procèdent exactement des mêmes causes. En ce sens, la réduction des biais dans les données utilisées pour l’apprentissage est un prérequis indispensable : des données biaisées produiront des modèles biaisés, qui reproduiront des résultats biaisés. Ceci étant dit, réunir des données sans biais est un exercice qui est peut-être impossible. Aleš Završnik, professeur associé à la faculté de droit de Ljubljana, affirmait lors d’une conférence à l’école polytechnique fédérale de Zurich (ETH) que nous en sommes réduits en réalité à choisir entre les biais purement humains ou les biais humains transférés dans les machines[10].

Citons aussi le phénomène du data snooping ou du data dredging, qui est à l’origine de nombreuses approximations[11]. Ces termes qualifient la sélection (dans un grand nombre de données et de résultats) d’un échantillon présentant à lui seul des associations statistiquement significatives, échantillon réemployé ensuite pour confirmer cette hypothèse. Pour résumer, cela revient à tirer une série de balles dans un mur puis dessiner ensuite une cible autour pour confirmer que vous l’avez bien touché. C’est aussi ce que les mathématiciens Cristian Sorin Callude et Giuseppe Longo dénoncent comme étant « le déluge des corrélations fallacieuses dans le big data »[12]. Tout résultat statistique serait en réalité à élargir à d’autres échantillons pour être vérifié et surtout ne pas fonder à lui seul des conclusions : ils pourrait être recoupés avec d’autres sciences ou techniques pour confirmer sa plausibilité[13].

Enfin, l’effet performatif est parfaitement connu mais en général non traité : un système apprenant sur la base de résultats qu’il contribue à produire risque fort de s’autoalimenter et de n’être représentatif que de lui-même. Le problème est aujourd’hui souvent identifié mais aucune solution concrète n’est proposée.

Les travers propres à l’interprétation des résultats produits par l’IA (renforcement des discriminations sur des facteurs ethniques, économiques, sociaux) ne seront pas développés ici mais justifient une réelle évaluation transdisciplinaire (économique, sociale, sociologique, philosophique, juridique) par des comités éthiques avant de mettre en œuvre tout traitement relatif à des individus[14]. Chaque cas d’utilisation de l’IA serait donc à considérer de manière globale pour le qualifier, peut-être aussi au travers d’une science spécifique à construire ? Iyad Rahwan et Manuel Cebrian, chercheurs au MIT, invitent à bâtir une nouvelle discipline scientifique relative au comportement des machines[15]. En écho, Nicolas Nova rappelait dans sa lettre d’information Lagniappe du 13 mai 2018, que les Sciences & Technologies Studies (STS) répondent déjà à ce besoin et que l’on pourrait plutôt s’interroger  sur les raisons pour lesquelles les ingénieurs, les scientifiques, les chercheurs des différents champs semblent parfois s’ignorer les uns les autres[16]. Le manque réciproque de connaissances épistémologiques est une évidente possibilité.

Les promesses renouvelées durant ces dernières années visant à bâtir une réelle  IA ne seront donc vraisemblablement pas tenues. Une fois la « hype » dissipée, la déception qui y succédera risque fort de compromettre le financement de nouveaux projets de recherche ou de nouvelles réalisations alors même que des potentialités existent dans des champs bien précis[17]. Le concept d’IA est donc à objectiver et à démystifier de manière urgente non pour résister aux changements de notre monde mais de manière à ne pas compromettre l’extraordinaire potentiel de cette puissance nouvelle de calcul à cause de discours hâtifs et exaltés, aux motifs pour le moins variables.


Aller plus loin ?

Les différentes classes d’algorithme constituant l’IA et l’apprentissage machine



Notes

[1] Yarden Katz, Manufacturing an Artificial Intelligence Revolution, SSRN, 17 novembre 2017 – Consulté sur le site SSRN le 14 mai 2018 : https://ssrn.com/abstract=3078224 ou http://dx.doi.org/10.2139/ssrn.3078224

[2] Citons par exemple en France Dominique Cardon, Eric Sadin, Adrien Basdevant et Eric Mignard, Antoine Garapon et Jean Lassègue ; en Europe les travaux d’Aleš Završnik – Voir la rubrique Bibliographie de ce blog

[3] Emmanuel Barthe, Intelligence artificielle en droit : derrière la « hype », la réalité – Consulté sur le blog precisement.org le 10 mai 2018 : http://www.precisement.org/blog/Intelligence-artificielle-en-droit-derriere-la-hype-la-realite.html

[4] Douglas Lenat, chercheur en intelligence artificielle et directeur de la société Cycorp

[5] Yann LeCun, Qu’est-ce que l’intelligence artificielle, Collège de France – Consulté sur le site du collège de France le 16 juin 2017 : https://www.college-de-france.fr/media/yann-lecun/UPL4485925235409209505_Intelligence_Artificielle______Y._LeCun.pdf

[6] Distinction notamment réalisée par John Searle dans les années 1980, où il différencie un système qui aurait un esprit (au sens philosophique) et pourrait produire de la pensée d’un système qui ne peut qu’agir (même s’il donne l’impression de pouvoir penser)

[7] Le théorème de Thomas Bayes, étendus par Pierre-Simon Laplace, date du XVIIIème  siècle ; les bases des réseaux neuronaux ont été développées dans les années 1940 par Warren McCulloch and Walter Pitts (Created a computational model for neural networks based on mathematics and algorithms called threshold logic, 1943)

[8] Atelier de travail « Vers une cyberjustice », tenu les 10 et 11 mai 2018 à Bologne (Italie) à l’initiative de l’IRSIG-CNR (Istituto di Ricerca sui Sistimi Giudiziari – Consiglio Nazionale delle Ricerche)

[9] « La réduction des faits sociaux à des formules mathématiques et à des indicateurs inquiétait déjà plusieurs philosophes, écrivains et hommes de science, qui y voyaient un risque de moralisation de la vie sociale par l’algèbre et les  calculs » Adrien Basdevant, Jean-Pierre Mignard, L’empire des données, Don Quichotte, 2018, p. 40.

[10] Conférence « Justice automatisée : algorithms, big data et justice pénale » (Automated Justice: Algorithms, Big Data and Criminal Justice Systems) tenue le 20 avril 2018 à l’école polytechnique fédérale de Zurich (ETH) – Présentation accessible sur le site internet de l’université (anglais seulement) : https://www.video.ethz.ch/speakers/collegium-helveticum/digital-societies/automated_justice/84c3f617-8784-4203-b7a8-50a176811933.html

[11] Voir par exemple l’article de Regina Nuzzo, Statistical errors, Nature, vol. 506, 13 février 2014  – article consulté le 14 mai 2018 accessible par le lien suivant (anglais seulement) :  http://sisne.org/Disciplinas/PosGrad/MetRedCient/Statistical%20errors%20(p-values).pdf

[12] Théorie dite de « Ramsey », citée par Cristian Sorin Calude et Giuseppe Longo dans La toile que nous voulons, p.156, collectif, Institut de Recherche et d’Innovation, FYP éditions ; théorie développée dans l’étude de Ronald L. Graham, Joel H. Spencer – Ramsey Theory, Scientific American, vol.263, n°1, juillet 1990, p112-117

[13] Regina Nuzzo, Statiscal errors, déjà cité.

[14] Par exemple le renforcement des discriminations tel qu’en témoigne le logiciel COMPAS aux Etats-Unis ou HART en Grande-Bretagne qui prétendent évaluer la risque de récidive des personnes mises en cause dans des affaires pénales

[15] Iyad Rahwan, Manuel Cebrian, Machine Behavior needs to be academic discipline, Nautilus, 29 mars 2018 – Consulté le site Nautilus le 14 mai 2018 (anglais seulement) : http://nautil.us/issue/58/self/machine-behavior-needs-to-be-an-academic-discipline

[16] Nicolas Nova est chercheur et Professeur associé à la Haute École d’art et de design à Genève, sa lettre d’information est accessible à l’adresse suivante : https://tinyletter.com/nicolasnova

[17] Voir notamment les propos de Michael I. Jordan dans Le Monde, 1er décembre 2015, où il estime notamment que « le battage médiatique autour des possibilités excitantes de l’analyse du big data est trop important. Les attentes actuelles dépassent de loin la réalité de ce que l’on peut obtenir. Le problème est que lorsque de telles attentes ne sont pas remplies tout de suite, la déception engendrée peut jeter un discrédit sur l’ensemble même du secteur. » – Consulté sur le site du Monde le 11 mai 2018 : http://www.lemonde.fr/sciences/article/2015/12/01/michael-jordan-une-approche-transversale-est-primordiale-pour-saisir-le-monde-actuel_4821327_1650684.html