Intelligence artificielle et infractions pénales

Quel est l’impact des IA en matière de cybercriminalité, de cybersécurité et d’infractions involontaires ?

Les potentialités des sciences, technologies et techniques de traitement des données qualifiées d’intelligence artificielle (IA) ouvrent des perspectives redoutées et redoutables en matière de cybercriminalité. Attaques automatisées, coordonnées, recherches automatiques de failles, l’IA constitue un véritable arsenal de guerre numérique, avec des bénéfices qui n’ont rien de virtuel pour leurs auteurs.

Mais l’on parle moins souvent des potentialités de l’IA pour lutter plus efficacement contre les menaces existantes et à venir : combinée à des analystes humains, l’IA est en mesure d’aider à déjouer, voire à anticiper, des attaques contre les systèmes et de protéger leurs utilisateurs.

D’une manière générale, l’élément moral des infractions volontaires dans le cyberespace n’est pas complexe à appréhender juridiquement (la recherche et l’exploitation d’éléments matériels le sont certainement plus). La question de la responsabilité est en revanche beaucoup plus épineuse s’agissant de faits relevant du champ des infractions involontaires : quel responsabilité rechercher lorsqu’au Japon un bras robot écrase un ouvrier sur son passage ou une voiture autonome renverse un piéton aux Etats-Unis ? … les exemples ne manquent pas et risquent se multiplier dans un proche avenir. Les instruments juridiques actuels paraissent-ils satisfaisants pour appréhender le phénomène ou conviendrait-il, au contraire, de concevoir de nouvelles législations spécifiques ?


L’IA au service de la sécurité des systèmes d’information

Avec la disponibilité d’un nombre croissant de données numériques, une quantité considérable d’informations personnelles et financières ont été exposées à de potentielles exploitations frauduleuses[1]. Qu’il s’agisse des formes classiques de criminalité sur internet (escroqueries par exemple) ou de nouvelles formes (intrusion dans des systèmes d’information), ces infractions ont conduit à des pertes économiques considérables. Selon une étude d’Accenture en 2017, le coût moyen d’une atteinte à la vie privée a été chiffré à 11,7 millions de dollars, soit une hausse de 23 % par rapport à l’année précédente. Ce constat est à enrichir d’un autre dressé cette fois-ci par IBM en 2014 : 95% de la cybercriminalité résulte d’une erreur humaine. Malgré les technologies de sécurité avancées disponibles aujourd’hui, la plupart des pirates continuent de cibler les vulnérabilités du comportement humain, et pas seulement celles, techniques, des systèmes et des réseaux.

L’IA constitue donc une opportunité pour mieux gérer les risques, non pas de manière totalement autonome, mais en appui à des compétences, bien humaines, en cybersécurité. Le laboratoire d’informatique et d’intelligence artificielle du MIT a ainsi mis au point une « plate-forme de cybersécurité adaptative » dénommée AI² qui améliore ses performances dans le temps par la combinaison d’apprentissage machine (machine learning) et des apports d’analystes en sécurité[2]. Concrètement, AI² bâtit des modèles comportementaux significatifs d’attaques et tente ensuite de les prédire en détectant des activités suspectes. Il présente ensuite ces activité à des analystes humains qui confirment quels événements sont des attaques réelles, et intègre cette rétroaction dans ses modèles pour les ensembles suivants de données.

Une autre potentialité de l’IA est la possibilité de faciliter les investigations et l’identification des cybercriminels. Dudu Mimran, directeur des technologies (CTO) du Telekom Innovation Laboratories en Israël, relevait dans un discours devant l’OCDE que l’amélioration des méthodes d’investigation et d’identification « souffre de sous-investissements parce qu’elle manque de viabilité commerciale »[3]. Cette difficulté, bien connue des spécialistes, s’explique au vu du nombre extrêmement important de variables à étudier, dont les fragments de code malveillants et la recherche d’éventuelles références identifiant des cybercriminels (références culturelles ou politiques par exemple). Cet expert suggère d’augmenter substantiellement le financement de la recherche en IA, dans le but de développer des systèmes « intelligents » parvenant à une meilleure identification d’auteurs d’infractions par corrélation des différentes traces, tout en ne perdant pas de vue la potentielle confidentialité des données traitées. De même, il ne réduit pas cette lutte à une démarche purement technique et il encourage à la mise en place d’un réseau mondial de renseignement, bien humain, en capacité de suivre les menaces, en réunissant des chercheurs, le monde des affaires et les autorités gouvernementales.


L’IA et l’automatisation de la cybercriminalité

La Convention sur la cybercriminalité du Conseil de l’Europe (« Convention de Budapest ») distingue deux grandes catégories de faits : les atteintes à des systèmes de traitement automatisé de données et les infractions de droit commun facilitées par un environnement numérique[4].

S’agissant de la première catégorie, l’IA est en capacité de renforcer l’automatisation de modes d’attaques directes de systèmes d’information (« scan » pour identifier et exploiter les vulnérabilités techniques) ou indirecte en volant auprès d’opérateurs humains les informations nécessaires pour accéder à un système (enregistrement de données à l’insu de l’utilisateur ou ingénierie sociale telle que le « fishing »). L’objectif de telles attaques, communément appelées « piratage informatique », est souvent de dérober des données sensibles (identifiants de cartes de paiement par exemple) ou de bloquer purement et simplement le fonctionnement d’un système (déni de service).

Depuis quelques années ce dernier type d’attaque est utilisé pour des fins de chantage et illustre bien une  seconde catégorie de cybercriminalité telle que définie par la Convention de Budapest : des faits de droit commun, facilités par les technologies numériques. Là encore, l’IA peut servir à automatiser des tentatives d’escroqueries, de fraudes, mais également produire des contre-mesures pour protéger le stockage et la distribution de matériel illégal, comme la pornographie juvénile et des contenus violant les droits d’auteur. D’autres types d’infractions seraient aussi à considérer, comme les manipulations boursières ou les modifications volontaires de comportement d’IA par d’autres IA à des fins criminelles ou délictuelles (les ingénieurs ne sont pas capables de déchiffrer complètement le code produit par les technologies d’apprentissage profond – deep learning… la prévention de leur manipulation devra passer par différentes méthodes pour s’assurer de l’intégrité de fonctionnement).

Pavel Gladyshev, professeur à l’University College Dublin, donne un dernier de criminalité facilité par l’IA dans un de ses articles récents[5] : l’application Deepfake altère les photographies et les vidéos numériques en remplaçant automatiquement le visage d’une personne par un autre. Bien qu’elle ait été créée à l’origine pour le divertissement d’adultes, la technologie a clairement le potentiel de produire de fausses vidéos montrant, par exemple, des politiciens assister à des réunions inexistantes ou s’engageant dans des activités qui pourraient nuire à leur réputation.


Le régime de responsabilité des infractions commises avec ou par des IA

Il est encore périlleux de tenter d’élaborer des règles de droit alors que nous sommes encore dans une phase de transition technologique, dont on suppose l’avenir sans réellement le connaître. Les réflexions sur la définition d’un régime de responsabilité quand des IA sont en jeux peuvent toutefois commencer s’appuyer ce que sont clairement ces systèmes : ce sont des modèles mathématiques créés par des humains pour exécuter des tâches complexes et qui se trouvent assignés lors de leur conception une fonction précise.

La question d’une prétendue « volonté » autonome d’une IA (et des robots fonctionnant sur la base d’IA) est immédiatement à écarter s’agissant d’infractions volontaires commises ou commanditées par des humains. Il faudra se garder de tout anthropomorphisme et il ne sera pas question de rechercher une conscience et un élément intentionnel dans une agrégation de systèmes ou un algorithme : il conviendra de revenir systématiquement à l’agent humain qui a utilisé ou assemblé ces systèmes avec l’intention de commettre une infraction. En d’autres termes, la question n’est pas différentes d’autres outils utilisés à des fins infractionnelles et ces systèmes, mêmes s’ils renvoient à un imaginaire de science-fiction, n’édulcorent en rien la responsabilité directe d’un agent humain[6]. Une IA utilisée pour attaquer en « force brute » un serveur ou détecter ses failles techniques n’est guère différente du marteau piqueur utilisé pour attaquer le coffre-fort d’une banque : nul n’aura à l’esprit de rechercher la responsabilité de l’outil de chantier ou de son fabricant.

Une certaine confusion semble toutefois exister pour les systèmes ayant commis des dommages relevant du champ des infractions involontaires. Le décès causé en mars 2018 par une voiture autonome exploitée par Uber en Arizona a marqué les esprits et a illustré que les difficultés ne proviennent de l’absence d’un cadre juridique adapté, mais, encore une fois, d’une incompréhension de ce que sont réellement les IA aujourd’hui. Les premières investigations semblent démontrer qu’un réglage « trop souple » pour éviter des freinages intempestifs a contribué à la survenance de l’accident, en plus d’une possible inaction d’un agent de contrôle humain. Le régime des infractions involontaires est à même d’appréhender ce type de situation avec une certaine acuité : les réglages opérés sur le freinage constituent-ils un manquement à une obligation de prudence ou de sécurité ? L’agent de contrôle humain, à bord du véhicule, était-il concentré sur sa tâche ? Dans ce cas, même si le contexte est nouveau, il n’y a rien que les juristes ou des juges ne sauraient traiter avec les instruments existants.

En revanche, la recherche de responsabilité risque de se complexifier quand différentes technologies sont agrégées (robotique, IA, big data, blockchain par exemple) et/ou si la machine a procédé à une phase autonome d’apprentissage (comme l’apprentissage profond ou deep learning)  : une certaine dilution du rôle des différents acteurs sera à craindre au détriment de la victime du dommage. En matière civile la définition d’une personnalité juridique spécifique est soutenue par le Parlement européen[7] mais se trouve critiquée car elle alimenterait la confusion sur la nature réelle des IA et ne représenterait au final un intérêt que pour les fabricants eux-mêmes (qui pourraient plus aisément dégager leur responsabilité en s’appuyant sur des mécanismes d’indemnisation [8]). En matière pénale, une telle construction juridique fictive pourrait aussi présenter un intérêt s’agissant de dommages involontaires ou inattendus présentant un certain degré de gravité mais, là encore, il ne s’agit pas de déresponsabiliser les concepteurs, bien humains, sur les conséquences potentielles de leurs actions. En toute hypothèse, faudrait-il peut-être procéder par étape avant de légiférer spécifiquement ? Il paraîtrait en effet opportun de définir tout d’abord ce qui pourrait être, en l’état de l’art, un cadre pertinent de sécurité et de prudence pour la conception et l’utilisation de tels systèmes complexes et d’évaluer ensuite s’il est nécessaire de faire évoluer – ou non – le régime actuel des infractions involontaires (qui distingue bien entre les liens de causalité directe ou indirecte et impose de caractériser soit une faute simple, soit une faute délibérée ou caractérisée en fonction de la nature de ce lien de causalité).

Animateur des Temps Electriques


Aller plus loin ?

Intelligence artificielle et cybercriminalité : interviews lors de la conférence « Octopus 2018 » du Conseil de l’Europe

Infographie de la société GEMALTO sur les failles de sécurité

 


Notes

[1] Voir à titre d’illustration l’infographie de la société Gemalto, ci-dessus.

[2] Voir par exemple l’article de vulgarisation publié sur le site d’information du MIT : http://news.mit.edu/2016/ai-system-predicts-85-percent-cyber-attacks-using-input-human-experts-0418

[3] D. Mimran, Risks of Artificial Intelligence on Society, 27 octobre 2017 : https://www.dudumimran.com/2017/10/risks-artificial-intelligence-society.html/

[4] Convention sur la cybercriminalité du Conseil de l’Europe, 23 novembre 2001 : http://www.europarl.europa.eu/meetdocs/2014_2019/documents/libe/dv/7_conv_budapest_/7_conv_budapest_fr.pdf

[5] P. Gladyshev, Artificial Intelligence and cybercrime, Eolas Magazine, 29 mars 2018 : http://www.eolasmagazine.ie/artificial-intelligence-and-cybercrime/

[6] G. Hallevy, The Criminal Liability of Artificial Intelligence Entities, 15 février 2010 : https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1564096

[7] Le Parlement propose également de réfléchir à des formes d’assurances pour les clients, voir par exemple M. Delvaux, Un cadre légal en matière de robotique est nécessaire, 12 janvier 2017 : http://www.europarl.europa.eu/news/fr/headlines/economy/20170109STO57505/mady-delvaux-un-cadre-legal-en-matiere-de-robotique-est-necessaire

[8] L. Neuer, Entretien avec Nathalie Nevejans, « Responsabilité des robots : appliquons nos règles de droit », L’Express, 11 avril 2017 : http://www.lepoint.fr/chroniqueurs-du-point/laurence-neuer/responsabilite-des-robots-appliquons-nos-regles-de-droit-11-04-2017-2118933_56.php

Intelligence artificielle et procès pénal

Quelle utilisation de l’IA dans le procès pénal en Europe ?

Les passionnés de science fiction n’aurons sans doute raté un chef d’œuvre du genre, le célèbre Minority Report de Steven Spielberg. En 2054, l’agent John Anderton (Tom Cruise) est à la tête d’une unité de police très particulière, la division « Pré-Crime », capable d’identifier l’auteur d’un crime avant le passage à l’acte grâce aux prédictions des trois créatures, dotées de pouvoirs de prévoyance surnaturelle, dénommées « Pré-Cogs ». Un jour, alors qu’il revient d’une mission périlleuse, John apprend par hasard qu’il fait lui-même l’objet d’une prédiction des « Pré-Cogs » et qu’il est censé tuer un homme qu’il ne connaît pas. Il s’enfuit et tente de comprendre comment «Pré-Crime» a pu le désigner comme un tueur…..

Est-ce que notre réalité est aussi éloignée de ce scénario de science fiction ? Pas tout à fait. L’entrée des techniques d’intelligence artificielle (IA), et notamment celles d’apprentissage machine (machine learning) dans le champ pénal a rendu en effet possible une certaine dose de prédiction : si l’identification préalable de l’auteur d’une infraction pénale demeure impossible, l’IA permettrait en revanche d’évaluer les probabilités de réitération d’une conduite criminelle par une personne soumise à une privation de liberté par l’autorité publique, moyennant des instruments de « vérification du risque » (risk assessment tools). Utilisés à large échelle aux Etats Unis, ceux-ci commencent à faire l’objet d’expérimentation en Europe, notamment au Royaume Uni.

Dans ces systèmes de common law en effet, le niveau de risque  de récidive (faible, moyen élevé) fait partie des critères de détermination de la peine ou de la mesure de réhabilitation[1] : on considère que les criminels à « risque faible » doivent recevoir une peine de prison plus courte ou bénéficier de mesures alternatives à la détention, alors que ceux considérés à « haut risque » devraient aller en prison. Les outils d’évaluation du risque ont été conçus pour aider le juge dans le processus décisionnel et leur domaine d’utilisation s’est progressivement élargi au fil du temps ; employés à l’origine en phase d’exécution de la peine (pour évaluer l’opportunité d’octroyer la libération conditionnelle ou d’assigner la personne concernée à des services de probation), ils sont couramment utilisés dans la phase de  détermination de la peine (sentencing) et d’application de la garde à vue dans plusieurs états fédérés[2]. Leurs constats ne sont pas contraignants pour le juge.

L’IA a permis de développer des instruments d’évaluation du risque de « nouvelle génération » qui se  fondent sur l’analyse statistique de grands ensembles de données agrégées relatives aux conduites criminelles.  Un échantillon de décisions de privation des libertés est sélectionné et des corrélations sont par la suite établies avec des « facteurs de risque » relatifs aux individus touchés par ces décisions. Il peut s’agir par exemple du sexe, de l’âge, de la scolarité, de l’état civil et du statut professionnel de l’individu, de sa situation patrimoniale, de ses antécédents criminels, de son domicile et de sa stabilité résidentielle. Un algorithme est par la suite élaboré qui, en s’appuyant sur des modèles conçus avec des techniques d’« apprentissage machine », détermine la probabilité statistique de récidive de la personne concernée en fonction du nombre de facteurs de risque pertinents. Plus celle-ci partage des facteurs de risque avec des individus ayant récidivé (selon les statistiques élaborées), plus l’algorithme évaluera comme étant élevé son risque de réitération de l’infraction.

D’après leurs partisans, l’intérêt de la mise en place de ces outils réside dans leur capacité de donner des éléments de contexte supplémentaires au juge, lui permettant de combiner l’information dont il dispose avec une estimation de la conduite probable de l’individu dans l’avenir, fondée sur des données statistiques relatives à des cas analogues.  Leurs détracteurs relèvent au contraire les criticités existantes vis-à-vis des principes d’égalité de traitement, d’individualisation et de proportionnalité de la peine : le comportement passé d’un certain groupe de personnes finirait en effet pour influencer le sort d’un individu qui, en tant qu’être humain unique, est inséré dans un contexte social spécifique. Il a reçu une éducation et développé des compétences propres et ne peut être jugé qu’en fonction de son propre degré de culpabilité et des motivations spécifiques qui l’ont conduit à commettre une infraction[3].

La question de l’objectivité de ces outils, censés contrer la subjectivité du juge, fait aussi l’objet de débat. Fondées uniquement sur un traitement statistique de données relatives aux infractions passées, insensibles aux sentiments et aux préjugés, les prédictions de l’IA seraient plus fiables que celles de l’être humain. Cet argument, qui paraît séduisant à première vue, néglige que le biais sont souvent incorporés dans les données elles-mêmes.

Un exemple pertinent à cet égard est lié à un des facteurs qui revêt une grande importance dans tous les outils d’évaluation du risque, à savoir celui de l’histoire criminelle. Son évolution peut en effet dépendre des décisions des pouvoirs publics (par exemple, où déployer la police, qui arrêter, quel type de sanctions appliquer)  qui pourraient à leur tour être tâchées de biais sociétaux ou raciaux. Si par exemple certaines communautés sont plus visées que d’autres par des mesures de police, les antécédents criminels des personnes faisant parties de ces communautés seront en conséquence plus nombreux.

Ces outils ne feraient donc que reproduire des disparités raciales et socio-économiques déjà existantes dans nos sociétés, comme le montre bien l’enquête menée par l’ONG Pro-Publica en 2016[4] par rapport à COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), un instrument d’évaluation du risque utilisé dans plusieurs états fédérés américains:  les populations afro-américaines se sont vues attribuer un taux de risque de récidive deux fois supérieur à celui des autres populations dans les deux ans qui suivaient l’application de la peine ; inversement l’algorithme considérait que d’autres populations semblaient beaucoup moins susceptibles de réitérer une infraction. Des outils donc aux effets discriminatoires et déterministes, qui finissent pour pénaliser certaines communautés ou individus plus que d’autres.

La prétendue impartialité et objectivité d’une justice administrée par les algorithmes se heurterait donc à la « contamination » des statistiques et des données ; à l’apparence « stérilisée » par l’utilisation de méthodes mathématiques et statistiques, elle finirait pour légitimer des injustices, voir les amplifier par le biais d’une inégalité de traitement répétée par les tribunaux.

Est-ce que l’IA serait plus exacte dans ses déterminations qu’un juge humain ? Quoiqu’en capacité de traiter et d’établir des liens entre des grandes masses de données, et d’une manière plus performante qu’un être humain, on ne peut pas conclure pour autant à une supériorité de l’IA sur le plan des résultats. Les fautes plus fréquemment produites par les outils d’évaluation du risque sont celles relatives à l’inclusion d’un individu dans une catégorie de risque erronée. L’IA peut en effet produire :

  • Des « faux négatifs » que nous pouvons qualifier d’erreur «Darth Vader»[5] – c’est-à-dire qu’une personne est libérée en étant considérée à faible risque, alors qu’elle elle est dangereuse, et commet par la suite une infraction ;
  • Des « faux positifs » que l’on pourrait inversement qualifier d’erreur «Han Solo» – c’est-à-dire qu’une personne est détenue sur la base d’un jugement de dangerosité, mais en fait ne commettrait aucun tort si elle était libérée.

Des exemples concrets de catégorisation erronée ont été donnés dans le cadre de l’enquête de ProPublica[6] ; toutefois, il y a un risque que des situations analogues puissent se produire aussi en Europe. Depuis 2017, la police de Durham, en Angleterre, utilise dans le cadre de la garde à vue un outil d’évaluation du risque en tant qu’aide à la décision. Comme ses homologues américains, HART (Harm Assessment Risk Tool) détermine le niveau du risque (faible, moyen, élevé) du mis en cause ; ses conclusions ne sont pas contraignantes pour la police. Des articles parus récemment dans le milieu académique  et dans la presse[7]  ont mis en relief que l’algorithme à la base de HART aurait été construit sur la base d’un « compromis entre les faux positifs et les faux négatifs », avec l’objectif de réduire le plus possible le nombre de faux négatifs et ainsi éviter que des suspects soient classifiés à risque faible ou moyen alors qu’ils sont dangereux. Pour parvenir à ce résultat, l’algorithme étiquetterait des suspects comme à risque élevé de manière assez libérale ; en conséquence, des personnes qui sont en réalité moyennement ou peu dangereuses pourraient être incluses dans la catégorie à haut risque, ce qui soulève des interrogations quant à la proportionnalité de cette mesure, ayant des effets sensibles sur la liberté personnelle, avec le but recherché de protection de la société.

Cet exemple montre comment l’IA peut être programmée pour pallier aux erreurs de jugement ou aux doutes de l’humain : dans ce cas particulier, elle servirait à aider les policiers à détecter des cas qu’ils pourraient manquer ou qu’ils hésitent à considérer comme présentant un risque élevé. Or, la recherche universitaire a relevé que les avis de l’humain et de l’IA en la matière peuvent considérablement diverger : sur les 888 exemples de garde à vue étudiés[8], les policiers étaient d’accord avec les prévisions de l’IA désignant des suspects à haut risque seulement dans le 10% des cas (accord qui se situait au 70% et 52 % lorsque le niveau de risque était considéré modéré ou faible). Inversement l’IA était d’accord avec les prévisions des policiers dans le 24% (risque élevé), 62% (risque modéré) et  49 % des cas (risque faible).

La recherche précitée suggérait que les policiers, en l’absence de certitudes, préféraient ne pas retenir une qualification ayant un impact considérable sur la liberté personnelle. Ce qui nous renvoie à la question de la responsabilité (accountability) dans la prise de décisions : à différence d’une machine, des officiers de police doivent pouvoir expliquer les raisons à fondement d’une décision de privation de liberté et rendre compte de leur processus décisionnel.

Une autre question importante, étroitement liée à la précédente, est celle de la place de ces outils dans le processus décisionnel : comme relevé précédemment, il s’agit d’instruments d’aide à la prise de décision, donnant des informations supplémentaires – à pondérer avec d’autres éléments – qui devraient permettre un exercice plus réfléchi du pouvoir discrétionnaire du juge. Les prévisions d’évaluation des risques ne devraient pas, en théorie, être déterminantes et se substituer aux décisions du juge. Peut-on néanmoins exclure le risque de « dépendance » du juge par rapport aux constats de l’algorithme, d’autant plus lorsque ceux-ci sont présentées comme robustes et fiables et utilisés à large échelle dans le système judiciaire? Le risque ne peut, selon nous, être écarté, et notamment dans l’hypothèse d’affaires sensibles où les pressions sur le juge pourraient être considérables, ou dans les systèmes où les garanties statutaires d’indépendance seraient insuffisantes.

Et encore, quelle maîtrise a réellement le juge sur les instruments d’évaluation du risque, notamment  lorsqu’ils sont élaborés par des entreprises privées ? Comment peut-il vérifier si les prévisions sont prives d’erreurs? La propriété privée de l’instrument ne permet pas d’accéder aux secrets de l’IA.  Peut-on exiger que, lorsque la liberté personnelle est en jeu, ce droit puisse être limité ? Une mise en balance doit être recherchée : il faut que les outils d’évaluation du risque soient transparents, avec un code source permettant aux juges, aux avocats de la défense et aux communautés de comprendre et d’évaluer l’algorithme. Cette transparence devrait d’abord reposer sur l’engagement et l’éthique des acteurs privés, mais un cadre régulateur des pouvoirs publics paraît également souhaitable, notamment dans un domaine aussi sensible que le droit pénal. Une transparence qui permettrait par ailleurs un respect effectif de l’égalité des armes et des droits de la défense[9] : la partie concernée devrait avoir accès et pouvoir remettre en cause la validité scientifique, le poids donné aux différents éléments de l’algorithme et les éventuelles conclusions erronées de celui-ci.

Faudrait-il envisager une utilisation différente de l’IA dans le domaine pénal ?

Eu égard aux risques d’erreur et d’atteinte aux libertés évoqués ci-dessus, il nous semble important de changer de paradigme. Il faut notamment passer d’une approche « prédictive » qui se révèle déterministe et punitive à une qui soit plus respectueuse des droits fondamentaux, dans laquelle le juge joue un rôle fondamental en matière d’individualisation de la peine.

Celle-ci serait déterminée sur la base d’éléments objectifs de personnalités (formation, emploi, prise en charge médico-sociale régulière) sans autre forme d’analyse que celle opérée par des professionnels spécifiquement formés, comme les agents de probation par exemple. Les capacités de l’IA de traiter des énormes quantités de données pourraient ainsi être utilisées en faveur de l’individu, et notamment pour centraliser et collecter des informations de caractère économico-social, ou sanitaire le cas échéant[10] qui sont détenues auprès d’institutions et organismes public différents.  Ces informations, rapidement collectées par l’IA, pourraient être extrêmement utiles à un juge devant parfois statuer dans des délais extrêmement courts (par exemple dans le cadre des procédures dites de « comparution immédiate » en France ou de « jugement immédiat » en Italie).

En guise de conclusion, l’IA doit rester au service de l’humain, renforcer et ne pas diminuer ses droits, et se fonder sur les principes éthiques de transparence et de responsabilité, notamment dans le domaine pénal.

Administratrice au Conseil de l’Europe (CEPEJ, Commission européenne pour l’efficacité de la justice)
Secrétaire du groupe de travail « Qualité » (CEPEJ-GT-QUAL)

P.S. Dans Minority Report, Tom Cruise parvient à prouver son innocence en démontrant que le système_ « Pré-Crime » avait été manipulé par son créateur, Max von Sydow.


Notes

[1] Les systèmes continentaux se concentrent inversement sur la responsabilité pénale et la gravité de l’infraction lors de la détermination de la peine, mais la dangerosité du criminel et  le risque de récidive peuvent rentrer en ligne de compte dans la détermination de la sanction lorsqu’on considère les circonstances aggravantes du crime.

[2] Danielle Kehl, Priscilla Guo, and Samuel Kessler, Responsive Communities, “Algorithms in the Criminal Justice System: Assessing the Use of Risk Assessment in Sentencing”, disponible au lien suivant, visité le 20/072018: https://dash.harvard.edu/bitstream/handle/1/33746041/2017-07_responsivecommunities_2.pdf?sequence=1

[3] Aleš Završnik, Big Data, crime and social control, © 2018 – Routledge, page 197.

[4] https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing, visited on 19/07/2018

[5] Les fans de Star Wars se rappelleront que dans épisode VI, « Le Retour du Jedi » Darth Vader tue l’empereur. Il y a donc une rédemption de ce personnage que, dans le cadre de cette analyse, nous avons placé précédemment dans la catégorie « à haut risque ». Une rédemption qui n’appartient pas uniquement au monde de la fiction mais qui est devenue un objectif important des systèmes pénaux contemporains : les principes de réinsertion et de réintégration des personnes condamnées, affirmés aussi à plusieurs reprises par la Cour européenne des droits de l’homme, sont devenus des standards importants dans le droit pénal européen (voir Vinter et autres c. Royaume-Uni [GC], nos 66069/09 et 2 autres, §§ 103-122, CEDH 2013 (extraits), et plus récemment Hutchinson c. Royaume-Uni [GC], no 57592/08, §§ 42-45, 17 janvier 2017)

[6] Pour le même type d’infraction (vol), l’algorithme a erronément considéré une femme noire à haut risque et inversement, un homme blanc à faible risque, alors que ce dernier avait un casier judiciaire plus important. Dans les deux années suivantes la femme n’a pas récidivé alors que l’homme a été condamné à une peine de prison ferme de huit ans pour effraction et vol.

[7] Big Brother Watch, « A Closer Look at Experian Big Data and Artificial Intelligence in Durham Police », paru le 6 avril 2018, et  Marion Oswald, Jamie Grace, Sheena Urwin, Geoffrey Barnes « Algorithmic Risk Assessment Policing Models: Lessons from the Durham HART Model and ‘Experimental’ Proportionality », Information & Communications Technology Law, University of Cambridge, August 31, 2017, disponible au lien suivant visité le 23/07/2018:

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3029345

[8] Sheena Urwin, Algorithmic case forecasting of offender dangerousness for police custody officers: an assessment of accuracy for the Durham Constabulary model, page 72, disponible au lien suivant visité le 23/07/2018: http://www.crim.cam.ac.uk/alumni/theses/Sheena%20Urwin%20Thesis%2012-12-2016.pdf

[9] Regner c. République tchèque [GC], no 35289/11, §§ 146-149, 19 septembre 2017

[10] Par exemple la recherche d’emploi, l’engagement dans un traitement de lutte à la dépendance causée par des drogues ou l’alcool.

Chronique de l’émission « L’enquête pénale à l’ère numérique »

L’enquête pénale à l’ère numérique

Invité : David Bénichou, vice-président chargé  du service de l’instruction au tribunal de grande instance de Rennes

Une certaine représentation populaire imagine certainement les enquêteurs équipés d’outils d’investigation extrêmement avancés, d’écrans géants tactiles réalisant des connexions entre toutes les données de l’affaire, dans une lumière savamment travaillé sur fond musical des Who…

La réalité est beaucoup plus… comment dire… rudimentaire et en tous les cas diversifiée. A côté de certains services spécialisés utilisant pour certains aspects, nous le verrons, des applications extrêmement avancées, la masse des enquêtes continue de se dérouler de manière extrêmement classique, à base de croisements et de déductions.

Comment se déroule une enquête pénale du XXIème siècle ? Voilà la question de nous nous poserons – que nous vous poserons David Bénichou.

Pour comprendre l’enquête pénale du XXIème siècle, je vous propose déjà de vous replonger dans l’histoire de l’enquête, et, – permettez-moi cette tentative d’analogie – de procéder tel l’enquêteur à la recherche d’indices pour remonter le fil jusqu’à l’ère « numérique ».

Au 19ème siècle, s’étaient développées officieusement des pratiques d’ « enquête », alors non envisagées par le code d’instruction criminelle de 1808. Enquête « illégale » ou « extralégale », dénoncée pour cela par certains juristes de l’époque, cette forme d’enquête avait malgré tout fini par s’imposer en pratique, en dehors des cas réservés à une autre forme d’enquête dite de flagrance, et s’en différenciait par un esprit de non-coercition à l’égard des personnes concernées. Il fallut pourtant attendre 1959 pour que le code de procédure pénale légalise ces pratiques, intercalant aux articles 75 à 78 du code ce qui sera appelé l’enquête « préliminaire » dans les interstices séparant l’enquête de flagrance et l’instruction judiciaire.

Aujourd’hui, si l’on ouvre le code de procédure pénale, on y trouve toujours inscrit cette distinction entre enquête de flagrance et enquête préliminaire avant que ne soient abordées les investigations dans le cadre de l’instruction.

Mais depuis 1959, l’enquête a continué d’évoluer, au gré des transformations de la criminalité et des réponses procédurales – et politiques – à y apporter. Le délinquant du XXIème siècle n’est plus celui de 1808 ni même du milieu du siècle dernier ! L’enquête pénale du XXIème siècle serait devenue celle de l’ « ère numérique ». Pour autant, il n’est inscrit nulle part dans le code le terme d’enquête « numérique », et en soit, le mot ne revient que très ponctuellement.

Alors à quoi de quoi s’agit-il ? On ne l’entend pas ici au sens premier et « mathématique » du terme, mais davantage le mot renvoie à l’utilisation des technologies de l’information et par extension, « l’ère numérique » à une « culture numérique » que décrivait dans son ouvrage du même nom  Milad Doueihi pour mettre en exergue la transformation de la vision du monde que produit la diffusion des technologies digitales sur leurs utilisateurs.

« Télévision numérique », « photo numérique », « téléphonie numérique »… « Radio numérique » et aujourd’hui, enquête numérique ? Ces transformations concernent effectivement aussi la matière pénale. Délinquants et enquêteurs y sont confrontés, que l’enquête s’opèrent « dans un milieu numérique », soit qu’elle s’effectue avec « des moyens numérique ». Il faut alors distinguer les deux situations.

En effet, l’enquête dans un milieu numérique nécessite des techniques spécifiques pour permettre aux enquêteurs de rechercher les délinquants qui usent, avec stratégie, des « bénéfices » des technologies de l’information et de la communication pour mener à bien leur dessein criminel. Pour autant cela n’implique pas nécessairement de réinventer la procédure qui va avec.

Concernant les outils numériques au service de l’enquête, le changement de paradigme est beaucoup plus profond. Les capacités de traitement de l’informatique ont rendu possible des traitements et des recoupements difficilement accessibles à la cognition humaine. On pense bien sûr en tout premier lieu aux outils d’analyse criminelle utilisées dans l’affaire dite du « petit Grégory » ou encore récemment à l’ordre du jour dans des affaires ayant pu impliquer Nordhal Lelandais.

La physionomie « initiale » de l’enquête a alors progressivement changé, vers un effritement des cadres « classiques » d’enquêtes jusque à aboutir à des règles de procédures finalement dérogatoires liées aux domaines de la délinquance et de la criminalité organisée (parmi lesquels le domaine du trafic de stupéfiants et de la lutte contre le terrorisme). On assiste à la création d’un dispositif légal autorisant une plus grande coercition des moyens d’investigations, et ainsi à une diversification technologique des mesures et outils à la disposition des enquêteurs. Même si certains de ces moyens ne sont réservés qu’à des contentieux spécifiques.

Ecoutez l’entretien avec David Bénichou, vice-président chargé  du service de l’instruction au tribunal de grande instance de Rennes.