Les « neurosciences sociales », une arnaque scientifique ?

En bref : une recherche montre que nombre d’articles en neurosciences sociales commettent des erreurs méthodologiques les conduisant à surestimer leurs résultats.

Depuis plusieurs années, se développe très rapidement un nouvel espace de la recherche scientifique, les neurosciences appliquées aux sciences sociales (en raccourci, neurosciences sociales). Il s’agit d’une tentative d’utiliser les acquis des neurosciences (un ensemble assez vaste de recherches sur le fonctionnement du cerveau, notamment, à l’articulation des sciences de la vie et de la psychologie) pour rendre compte de phénomènes tels que les comportements humains, y compris dans leur dimension sociale. A la limite, et certains ne s’en cachent pas, les neurosciences auraient vocation à supplanter les sciences sociales dans leur tâche d’explication du social. Des publications renommées comme Nature ou Science semblent prêter main-forte à cette stratégie impérialiste, en publiant régulièrement des articles  de cette veine (pour ne donner qu’un exemple touchant à mon domaine de compétence, j’ai lu un jour un article dans Science (Oxley, Douglas R. et al. 2008. “Political Attitudes Vary with physiological Traits.” Science 321(5896): 1667-1670) expliquant que « political attitudes vary with physiological traits linked to divergent manners of experiencing and processing  environmental threats », et donc que les attitudes politiques ont un fondement biologique).

Est-il possible que cet impérialisme, qui a aussi des implications philosophiques, voire politiques (cf. par exemple Tiberghien, G. 2007. “Entre neurosciences et neurophilosophie : la psychologie cognitive et les sciences cognitives.” Psychologie Française 52(3): 279-297), soit parfois malhonnête scientifiquement, alors même qu’il se fonde sur son appartenance aux sciences « dures », les « vraies », pour affirmer sa supériorité sur les sciences sociales ? C’est en tout cas ce que suggère un très intéressant article à paraître dans Perspectives on Psychological Science.

Le point de départ de ce papier est l’étonnement des auteurs devant les corrélations étonnament élevées (entre la mesure ou l’automesure d’un trait de personnalité ou d’une émotion et l’activité du cerveau mesurée par imagerie à résonanance magnétique fonctionnelle – fMRI) citées par nombre de papiers dans le domaine (souvent de l’ordre de .8 voire .9). Or, les auteurs vont démontrer statistiquement comment cela est non seulement étonnant, mais même statistiquement impossible, compte tenu des imprécisions de mesure tant du côté de la personnalité, des émotions, des comportements sociaux, etc. que de l’imagerie du cerveau.

Les auteurs entament alors ce qu’on appelle une « méta-analyse » : une analyse des méthodes employées et résultats obtenus par les papiers étudiés. Or, notent-ils, dans la plupart des cas, « the exact methods were simply not made clear in the typically brief and sometimes opaque method sections ». Ils ont alors contacté tous les auteurs de leur corpus d’articles, afin de savoir comment exactement les corrélations en cause ont été obtenues.

Je ne rentre pas ici dans les détails (cela nécessiterait d’expliquer le fonctionnement de la fMRI), mais pour aller vite, l’idée est la suivante plus de la moitié des chercheurs qui ont répondu aux auteurs ont calculé les corrélations reportées sur un ensemble d’observations (sachant que l’utilisation de la fMRI engendre des milliers d’observations par individu étudié) sélectionnées parce qu’elles étaient particulièrement corrélées avec le phénomène observé. Rien d’étonnant alors à ce que les corrélations reportées soient si hautes ! Pour établir une analogie dans un domaine peut-être plus accessible à de nombreux lecteurs de ce blog, tout se passe comme si, souhaitant établir que les hommes de plus d’un mètre quatre-vingt-quinze votent plus Front national que les autres, je n’incluais dans mon étude que des hommes de plus d’un mètre quatre-vingt-quinze votant FN… Eh oui, c’est complètement tautologique. Apparemment, c’est pourtant ce que font certains chercheurs (pourtant reconnus) dans le champ des neurosciences sociales. Comme le notent les auteurs de l’article, « such an analysis… can even produce significant measure out of pure noise ». Les auteurs se sont même amusés à faire une simulation, en tirant au hasard des valeurs, et à en tirer, par cet artifice, une corrélation très élevée…

Le plus intéressant est que les auteurs montrent que la plupart des corrélations les plus élevées (au-delà de .65, environ) rapportées dans des articles de leur corpus sont en fait issues d’analyse souffrant de cette « erreur de non-indépendance ».  Il est impossible de savoir, sans nouvelle analyse des données d’origine, si ces corrélations surévaluées dissimulent une véritable relation (plus faible en réalité) ou sont totalement aléatoires.

Il convient de le préciser : toute la littérature en neurosciences sociales n’est pas concernée par ces erreurs statistiques, et il n’y a pas de raison de penser que de telles erreurs ne se retrouvent pas dans d’autres domaines scientifiques. Mais, en tous les cas, cela invite à relativiser la portée d’un champ de recherche encore assez neuf, dans lequel certains voudraient voir l’avenir des sciences sociales.

EDIT : on me signale la réponse que font un certain nombre d’auteurs mis en cause à Vul et al. : www.bcn-nic.nl/replyVul.pdf.