{"id":2314,"date":"2023-08-14T22:23:43","date_gmt":"2023-08-14T20:23:43","guid":{"rendered":"https:\/\/lestempselectriques.net\/?p=2314"},"modified":"2023-08-15T10:00:46","modified_gmt":"2023-08-15T08:00:46","slug":"la-demarche-scientifique-disruptee-par-lintelligence-artificielle","status":"publish","type":"post","link":"https:\/\/lestempselectriques.net\/index.php\/2023\/08\/14\/la-demarche-scientifique-disruptee-par-lintelligence-artificielle\/","title":{"rendered":"La d\u00e9marche scientifique\u00a0disrupt\u00e9e par l\u2019intelligence artificielle ?"},"content":{"rendered":"\n

Des chercheurs du Northwestern Institute auraient r\u00e9ussi \u00e0 construire un mod\u00e8le pr\u00e9disant la non-reproductibilit\u00e9 de publications scientifiques. R\u00e9volution ou solutionnisme ?<\/em><\/p>\n\n\n\n

\"\"
Cr\u00e9dits : Image g\u00e9n\u00e9r\u00e9e avec Adobe Express Beta<\/em><\/figcaption><\/figure>\n\n\n\n

Les apports du d\u00e9veloppement de l’apprentissage automatique (machine learning<\/em>) paraissent sans limites. Apr\u00e8s les premiers exploits en traitement de l\u2019image et l\u2019extr\u00eame engouement autour de la g\u00e9n\u00e9ration automatique de contenu, voici que la recherche fondamentale est maintenant pr\u00e9sent\u00e9e comme le tout nouveau terrain d\u2019application prometteur. Se pla\u00e7ant sur un tout autre terrain que Chris Anderson et sa fin de la th\u00e9orie[1]<\/sup><\/a>, des chercheurs du Northwestern Institute on Complex Systems affirment dans deux articles parus dans la revue Proceedings of the National Academy of Sciences (PNAS) en 2020[2]<\/sup><\/a> et 2023[3]<\/sup><\/a> que ces algorithmes apprenants pourraient \u00eatre utilis\u00e9s pour pr\u00e9dire quelles \u00e9tudes scientifiques ne seraient pas susceptibles d\u2019\u00eatre reproductibles.<\/p>\n\n\n\n\n\n\n\n

Rappelons, s\u2019il \u00e9tait n\u00e9cessaire, que notre enti\u00e8re d\u00e9marche scientifique s\u2019est construite sur la r\u00e9plicabilit\u00e9. Rappelons \u00e9galement que la d\u00e9tection de r\u00e9sultats non reproductibles est un processus co\u00fbteux et laborieux, impliquant le plus souvent de reproduire une \u00e9tude dans son ensemble pour d\u00e9montrer la viabilit\u00e9 d\u2019une recherche. Avec l\u2019aide de l\u2019apprentissage automatique, une nouvelle r\u00e9volution serait maintenant \u00e0 nos portes, afin de permettre \u00e0 d\u2019\u00e9carter plus rapidement les publications pr\u00e9sentant des r\u00e9sultats fantaisistes ou relevant du simple hasard.<\/p>\n\n\n\n

Cinq autres chercheurs, dont Sayash Kapoor et Arvind Narayanan, travaillant \u00e0 l\u2019Universit\u00e9 de Princeton et animant la newsletter AI Snake Oil[4]<\/sup><\/a>, semblent toutefois \u00eatre parvenus \u00e0 d\u00e9montrer que des erreurs substantielles affectent des centaines d\u2019articles scientifiques ayant adopt\u00e9 des m\u00e9thodes de v\u00e9rification issues de l\u2019apprentissage automatique dans plus d\u2019une douzaine de domaines[5]<\/sup><\/a>. Selon eux, les mod\u00e8les \u00e9tudi\u00e9s pr\u00e9senteraient des probl\u00e8mes internes majeurs et expliquent pourquoi l’utilisation de \u00ab l’intelligence artificielle \u00bb pour estimer la non reproductibilit\u00e9 ne peut pas de se substituer aux pratiques habituelles de v\u00e9rification des institutions scientifiques. Parmi les critiques les plus substantielles soulev\u00e9es, ils rel\u00e8vent que le mod\u00e8le des chercheurs du Northwestern Institute a \u00e9t\u00e9 form\u00e9 \u00e0 l’aide de corr\u00e9lations entre des caract\u00e9ristiques superficielles des articles, telles que le texte, d\u00e9gageant des pr\u00e9dicteurs tout aussi superficiels. Les cinq chercheurs estiment m\u00eame que des futurs auteurs de publications scientifiques pourraient s\u2019en saisir pour \u00e9viter d\u2019introduire dans leurs articles des \u00ab d\u00e9clencheurs \u00bb d\u2019\u00e9valuation de non reproductibilit\u00e9[6]<\/sup><\/a>. Para\u00eetre \u00ab reproductible \u00bb arriverait ainsi \u00e0 avoir autant d\u2019importance que le m\u00e9rite m\u00eame de la recherche.<\/p>\n\n\n\n

Que retenir de cette controverse ? Qu\u2019encore une fois, la science est bien maltrait\u00e9e pour des enjeux essentiellement mercantiles, la recherche ayant globalement c\u00e9d\u00e9 depuis bien longtemps \u00e0 la n\u00e9cessit\u00e9 de d\u00e9montrer rapidement une viabilit\u00e9 commerciale. Kapoor et Narayanan anticipent de mani\u00e8re tout \u00e0 fait juste la d\u00e9rive r\u00e9sultant de l\u2019emploi de tels mod\u00e8les approximatifs, en rappelant la \u00ab loi de Goodhart \u00bb : \u00ab Lorsqu’une mesure devient un objectif, elle cesse d’\u00eatre une bonne mesure \u00bb. Le hacking<\/em> des mod\u00e8les cens\u00e9s filtrer les recherches non-reproductibles appauvrira non seulement la qualit\u00e9 globale de la production scientifique mais conduira aussi \u00e0 divertir des financements d\u2019autres recherches, qui n\u2019auraient pas pris la pr\u00e9caution de r\u00e9diger leurs publications dans un sens favorable pour ces algorithmes[7]<\/sup><\/a>. En ce sens, La d\u00e9finition de m\u00e9triques pour \u00e9valuer la qualit\u00e9 d\u2019une production scientifique avait aussi \u00e9t\u00e9 d\u00e9nonc\u00e9e par Giuseppe Longo dans son ouvrage \u00ab Le cauchemar de Prom\u00e9th\u00e9e \u00bb. Il \u00e9tait l\u00e0 question de \u00ab bibliom\u00e9trie \u00bb, \u00e9valuant l\u2019impact d\u2019une publication au regard du nombre de fois o\u00f9 il \u00e9tait cit\u00e9[8]<\/sup><\/a>. <\/p>\n\n\n\n

L\u2019apprentissage automatique est encore une fois ici victime de sa versatilit\u00e9 et de solutionnisme, au risque de le d\u00e9cr\u00e9dibiliser sur le long terme pour apporter des solutions utiles et fond\u00e9es \u00e0 certains probl\u00e8mes. Une fois \u00e9chaud\u00e9s par des promesses non tenues ou des pol\u00e9miques, les investisseurs auront en effet bien du mal \u00e0 continuer de soutenir les d\u00e9veloppements et l\u2019on risquera de glisser vers un nouvel hiver de \u00ab l\u2019IA \u00bb, qui pourrait \u00eatre bien rude[9]<\/sup><\/a>. En 1971, dans sa le\u00e7on inaugurale au Coll\u00e8ge de France, le physicien Pierre-Gilles de Gennes mettait d\u00e9j\u00e0 en garde ses coll\u00e8gues contre les effets de mode et les processus d\u2019emballement. Il citait l\u2019exemple d\u2019une \u00e9quipe de physico-chimistes annon\u00e7ant \u00e0 la fin des ann\u00e9es 1960 avoir d\u00e9couvert une \u00ab super-eau \u00bb, plus compacte et plus stable que l\u2019eau dans l\u2019\u00e9tat dans laquelle nous la connaissons. Soutenu par les sp\u00e9culations de quelques th\u00e9oriciens, toute une cha\u00eene d\u2019applications biologiques, m\u00e9dicales et militaires \u00e9taient vite sugg\u00e9r\u00e9es pour capter des financements. Il s\u2019av\u00e8rera plus tard que les observations initiales avaient \u00e9t\u00e9 mal interpr\u00e9t\u00e9es et conduira ainsi de Gennes \u00e0 conclure qu\u2019un \u00ab mythe peut germer, cro\u00eetre et persister durablement au sein de la communaut\u00e9 scientifique[10]<\/sup><\/a> \u00bb.<\/p>\n\n\n\n

Il n\u2019y a donc rien d’anormal d\u2019assister \u00e0 un \u00ab\u00a0grand emballement\u00a0\u00bb autour de l\u2019apprentissage automatique durant cette derni\u00e8re d\u00e9cennie[11]<\/sup><\/a>, conduisant \u00e0 diverses sp\u00e9culations, plus ou moins r\u00e9alistes, notamment \u00e0 des fins commerciales. Il s\u2019agit l\u00e0 de cycles tr\u00e8s typiques de l\u2019innovation et des d\u00e9couvertes, les \u00e9l\u00e9ments signifiants se s\u00e9dimentant naturellement \u00e0 la suite d\u2019une agitation g\u00e9n\u00e9ralis\u00e9e[12]<\/sup><\/a>. Mais, pour typiques que soient ces cycles, la responsabilit\u00e9 de l\u2019ensemble de la communaut\u00e9 scientifique est de r\u00e9duire le temps de la formation de cette s\u00e9dimentation, en donnant l\u2019occasion \u00e0 chacun de reprendre raison, m\u00eame si l\u2019on doit se situer \u00e0 contresens des vents dominants de la sp\u00e9culation exalt\u00e9e.\u00a0<\/p>\n\n\n\n

Il para\u00eet donc urgent que des travaux comme ceux de Kapoor et Narayanan inspirent une plus large communaut\u00e9, dans un courant qui pourrait \u00eatre qualifi\u00e9 de \u00ab\u00a0techno-r\u00e9aliste\u00a0\u00bb et contribuent de forger une narration diff\u00e9rente autour de cette technologie, en reconnaissant ses m\u00e9rites objectifs, mais aussi, de mani\u00e8re tout aussi lucide, ses limites.<\/p>\n\n\n\n

\n\n\n\n

[1]<\/sup><\/a> C. Anderson, The End of Theory: The Data Deluge Makes the Scientific Method Obsolete, Wired, 23 juin 2008, accessible sur : https:\/\/www.wired.com\/2008\/06\/pb-theory\/<\/a>, consult\u00e9 le 14 ao\u00fbt 2023<\/p>\n\n\n\n

[2]<\/sup><\/a> Y. Yang, W. Youyou, B. Uzzi, Estimating the deep replicability of scientific findings using human and artificial intelligence, PNAS, 4 mai 2020, accessible sur : https:\/\/www.pnas.org\/doi\/10.1073\/pnas.1909046117<\/a>, consult\u00e9 le 14 ao\u00fbt 2023<\/p>\n\n\n\n

[3]<\/sup><\/a> W. Youyou, Y. Yang, B. Uzzi, A discipline-wide investigation of the replicability of Psychology papers over the past two decades, 2023, accessible sur : https:\/\/www.pnas.org\/doi\/epdf\/10.1073\/pnas.2208863120<\/a>, consult\u00e9 le 14 ao\u00fbt 2023<\/p>\n\n\n\n

[4]<\/sup><\/a> Accessible sur : https:\/\/www.aisnakeoil.com<\/a>, consult\u00e9 le 14 ao\u00fbt 2023<\/p>\n\n\n\n

[5]<\/sup><\/a> M.J. Crockett et al., The limitations of machine learning models for predicting scientific replicability, PNAS, 2023, accessible sur : https:\/\/www.pnas.org\/doi\/epdf\/10.1073\/pnas.2307596120<\/a>, consult\u00e9 le 14 ao\u00fbt 2023 et S. Kapoor, A. Narayanan, Leakage and the Reproducibility Crisis in ML-based Science, arXiv, 2022, accessible sur : https:\/\/reproducible.cs.princeton.edu<\/a>, consult\u00e9 le 14 ao\u00fbt 2023<\/p>\n\n\n\n

[6]<\/sup><\/a> S. Kapoor, A. Narayanan, ML is useful for many things, but not for predicting scientific replicability, AI Snake oil, 11 ao\u00fbt 2023, accessible sur : https:\/\/www.aisnakeoil.com\/p\/machine-learning-is-useful-for-many<\/a>, consult\u00e9 le 14 ao\u00fbt 2023<\/p>\n\n\n\n

[7]<\/sup><\/a> Pour donner une \u00e9chelle, une \u00e9tude cit\u00e9e par Kapoor et Narayanan, a estim\u00e9 le co\u00fbt de la recherche non reproductible \u00e0 28 milliards de dollars chaque ann\u00e9e, rien que dans le domaine de la recherche pr\u00e9clinique : L.P. Freedman et al., The Economics of Reproducibility in Preclinical Research, PLOS Biology, 9 juin 2015, accessible sur : https:\/\/journals.plos.org\/plosbiology\/article?id=10.1371\/journal.pbio.1002165<\/a>, consult\u00e9 le 14 ao\u00fbt 2023<\/p>\n\n\n\n

[8]<\/sup><\/a> G. Longo, Le cauchemar de Promoth\u00e9e \u2013 Les sciences et leurs limites, PUF, 2023, p.53 et s.<\/p>\n\n\n\n

[9]<\/sup><\/a> Y. Meneceur, L\u2019automne de l\u2019intelligence artificielle, Les Temps \u00e9lectriques, 15 octobre 2022, accessible sur : https:\/\/lestempselectriques.net\/index.php\/2022\/10\/15\/lautomne-de-lintelligence-artificielle\/<\/a>, consult\u00e9 le 14 ao\u00fbt 2023<\/p>\n\n\n\n

[10]<\/sup><\/a> Cit\u00e9 par E. Klein, Le go\u00fbt du vrai, Tracts n\u00b017, Gallimard, Juillet 2020, p.49<\/p>\n\n\n\n

[11]<\/sup><\/a> Y. Meneceur, L\u2019intelligence artificielle en proc\u00e8s \u2013 Plaidoyer pour une r\u00e9glementation internationale et europ\u00e9enne, Bruylant, 2020, p.63 et s.<\/p>\n\n\n\n

[12]<\/sup><\/a> L\u2019institut Gartner a th\u00e9oris\u00e9 ces cycles sous le nom de \u00ab Hype Cycle \u00bb, m\u00e9thodologie d\u00e9crite sur : https:\/\/www.gartner.fr\/fr\/methodologies\/hype-cycle<\/a>, consult\u00e9 le 14 ao\u00fbt 2023<\/p>\n\n\n

\"\"<\/div>
Yannick MENECEUR<\/span><\/a><\/div>

Magistrat et ma\u00eetre de conf\u00e9rences associ\u00e9 \u00e0 l’universit\u00e9 de Strasbourg
\nAuteur des ouvrages \u00ab\u00a0L’intelligence artificielle en proc\u00e8s<\/a>\u00a0\u00bb (Bruylant) et \u00ab\u00a0IA g\u00e9n\u00e9rative et professionnels du droit<\/a>\u00a0\u00bb (LexisNexis)<\/p>\n

Les opinions exprim\u00e9es n’engagent que son auteur.<\/em><\/p>\n<\/div><\/div>

<\/div>
<\/path><\/svg><\/span><\/a><\/svg><\/span><\/a><\/path><\/svg><\/span><\/a><\/path><\/svg><\/span><\/a><\/path><\/svg><\/span><\/a><\/div><\/div><\/div><\/div>","protected":false},"excerpt":{"rendered":"

Des chercheurs du Northwestern Institute auraient r\u00e9ussi \u00e0 construire un mod\u00e8le pr\u00e9disant la non-reproductibilit\u00e9 de publications scientifiques. R\u00e9volution ou solutionnisme ? Les apports du d\u00e9veloppement de l’apprentissage automatique (machine learning) paraissent sans limites. Apr\u00e8s les premiers exploits en traitement de l\u2019image et l\u2019extr\u00eame engouement autour de la g\u00e9n\u00e9ration automatique de contenu, voici que la recherche… Plus…<\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":false,"jetpack_social_post_already_shared":false,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2}},"categories":[15],"tags":[63,25,26,261,260],"coauthors":[17],"class_list":["post-2314","post","type-post","status-publish","format-standard","hentry","category-billetsetudes","tag-apprentissage-automatique","tag-ia","tag-machine-learning","tag-science","tag-solutionnisme"],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"","jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/lestempselectriques.net\/index.php\/wp-json\/wp\/v2\/posts\/2314","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/lestempselectriques.net\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/lestempselectriques.net\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/lestempselectriques.net\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/lestempselectriques.net\/index.php\/wp-json\/wp\/v2\/comments?post=2314"}],"version-history":[{"count":5,"href":"https:\/\/lestempselectriques.net\/index.php\/wp-json\/wp\/v2\/posts\/2314\/revisions"}],"predecessor-version":[{"id":2323,"href":"https:\/\/lestempselectriques.net\/index.php\/wp-json\/wp\/v2\/posts\/2314\/revisions\/2323"}],"wp:attachment":[{"href":"https:\/\/lestempselectriques.net\/index.php\/wp-json\/wp\/v2\/media?parent=2314"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/lestempselectriques.net\/index.php\/wp-json\/wp\/v2\/categories?post=2314"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/lestempselectriques.net\/index.php\/wp-json\/wp\/v2\/tags?post=2314"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/lestempselectriques.net\/index.php\/wp-json\/wp\/v2\/coauthors?post=2314"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}