« D’après une étude, » cet imparable argument d’autorité !


Cet article est la version originale d'un article publié sur le site The Conversation, accessible ici.

« Les couches culottes sont toxiques pour les bébés, d’après une étude ». « D'après une étude, les gens qui se parlent à eux-mêmes seraient des génies ». « D’après une étude, le spoiler est bon pour vous ». Il n’y a pas un jour sans que les médias (que je consulte )mettent ce genre de titre en avant. Certains de ces articles sont très bien écrits et permettent réellement au lecteur de se faire une opinion argumentée en rapportant ce qui a été fait dans l’étude. D’autres se contentent du gros titre et de quelques considérations générales, attrayantes, mais pas argumentées. C’est là que le bâts blesse.

En creusant un peu, on se rend vite compte que pour chaque étude montrant le résultat « blanc », il y en à au moins une autre qui montre le résultat « noir ». Pourquoi se fier plus à l’une qu’à l’autre ? Parce qu’elle a été mieux relayée par les (multi-)médias ? Parce qu’elle est attribuée à « une université prestigieuse » ou à un « grand professeur » ou qu’elle a été qualifiée de « très sérieuse » ? Parce qu’elle a été mieux faite ? Ce dernier argument est peut être celui qui tombe le mieux sous le sens. A condition de savoir décortiquer ces fameuses études. Mode d’emploi et recommandations d’usage.

Les dessous de « une étude »


Il existe bien sûr plusieurs formats pour la publication des articles scientifiques, mais tous ont en commun une structure opérationnelle, efficace, souvent éloignée de la belle histoire que l’on peut en faire a posteriori. « Une étude », c’est un titre, des auteurs, un résumé, une introduction, des méthodes, des résultats, une discussion, des remerciements, des références.

D’abord un titre. C’est la première chose qu’on lit. Certains sont accrocheurs, mais ils peuvent manquer de nuances laisser entendre beaucoup plus qu’ils n’ont vraiment à dire. Et les retranscriptions ne sont pas toujours fidèle. Ce matin (6 février 2017) , j’ai tapé « d’après une étude » dans mon moteur de recherche, et sur la première page, j’ai cliqué sur le lien « D’après une étude, les femmes codent mieux que les hommes » qui m’a renvoyé vers le site du journal Le Parisien. De là, j’ai accédé à l’article original intitulé « Gender biais in open source: pull request acceptance of women versus men ». Il est bien question d’hommes et de femmes, mais ce que dit le titre de l’aryicle initial, ce n’est pas que les femmes codent mieux que les hommes, juste qu’il y a une différence entre les deux sexes, que l’article cherche à comparer. Aussi bien que soit l’article en ligne du Parisien – ce n’est pas mon propos d’en juger – on notera simplement que l’étiquette ne correspond pas forcément au produit.

Des auteurs. Des humains donc. Des humains qui signent leur article et qui en assument donc la responsabilité intellectuelle. Les auteurs assurent, s’il y a lieu, le service après vente de leur article. Une critique constructive ? Des compléments à apporter ? Des interrogations légitimes ? Ce sont les auteurs qui peuvent – et doivent – y répondre. Le nom des auteurs est toujours accompagné par leur affiliation, c’est à dire l’université ou l’institut de recherche qui les emploie. Le cas échéant, ce sont les services de communication de ces organismes qui peuvent assurer le le service après vente des articles.

Le nombre des auteurs signant un article est très variable d’une étude à l’autre. Il existe un ensemble de règles définissant quelles sont les contributions de chacun qui justifient de signer un article. Elles sont plus ou moins suivies à la lettre, mais en général sont considérés comme auteurs toutes les personnes qui ont élaboré l’étude, analysé et interprété les données, rédigé, apporté des critiques constructives ayant permis de renforcer la qualité de l’article. Les personnes qui ont acquis les données sont, selon les cas, considérées comme auteurs ou remerciés à la fin de l’article.

Plusieurs anonymes participent également à améliorer la valeur de l’article avant sa publication. Ce sont les reviewers, c’est à dire les deux ou trois spécialistes que l’éditeur contacte pour émettre un avis critique et constructif sur l’article que lui ont soumis les auteurs. Les échanges entre les auteurs, l’éditeur et les reviewers permettent de lever les ambiguïtés qui pourraient rester quant aux méthodes et aux interprétations et constituent une manière de valider la solidité des résultats et de leurs interprétations. Une sorte de contrôle qualité.

Le résumé (ou abstract) est aussi synthétique que possible. S’il est bien écrit, il informe sur ce qui a motivé l’étude, sur les grandes lignes de la méthodologie employée, il donne les principaux résultats et les principales conclusions que les auteurs en tirent, à la lumière de la question posée. Toutefois, le résumé n’est qu’un résumé. Souvent moins de 300 mots. C’est très court pour rendre compte de plusieurs mois, voire années, de travail. C’est surtout trop court pour apporter toutes les nuances nécessaires pour comprendre les résultats sans les surinterpréter. Malgré les efforts déployés, le nombre d’articles en accès libre pour le lecteur reste encore très limité de sorte que le citoyen curieux n’a souvent accès qu’au résumé de l’article. Toutefois, on espère que ceux qui le retranscrivent dans les médias grand public ont eu accès à sa version intégrale.

L’introduction… introduit l’article. Elle énonce le contexte de l’étude, pose les concepts et détaille les hypothèses de travail. C’est souvent la partie la plus accessible et la plus didactique de l’article. Tout simplement parce que ses auteurs veulent être bien compris par leurs lecteurs !J’ai l’habitude de dire aux étudiants que j’encadre que si l’introduction est bien écrite, alors à la fin, le lecteur doit être en mesure de formuler lui même les hypothèses testées par les auteurs.

Ce qui fait la différence fondamentale entre un article scientifique et toute autre forme d’écrit scientifique à destination du grand publique, c’est la partie matériels et méthodes. Si je lis sur mon paquet de dentifrice que 90 % des personnes interrogées sont satisfaites par le produit, alors je me demande 90 % de combien ? Est-ce que 9 personnes sur 10 interrogées ont été satisfaites, ou bien 900 sur 1000 ? Et puis satisfaites de quoi ? Sur quels critères a été évaluée la satisfaction ? Comment les utilisateurs ont ils été interrogés (questionnaire numérique, papier, interview, téléphone...) ? Et comment ont il été choisis ? Au hasard ? Dans plusieurs régions ? Les a-t-on rémunérés ? Ont-ils reçus des offres promotionnelles en remerciement ? C’est à ce genre de questions, légitimes, que doit répondre la partie matériels et méthodes.

A elle seule, cette partie peut occuper plus du tiers de la longueur de l’article ! Voyez là comme la retranscription détaillée du protocole que les auteurs ont utilisé. Une sorte de recette de cuisine. Si cette partie est aussi détaillée, c’est pour permettre la reproductibilité de l’étude. De l’étude. Pas nécessairement du résultat.

Partant de là, on comprend bien que les résultats d’une étude ne valent rien en tant que tels s’ils ne sont pas présentés dans un contexte général et si l’on n’a qu’une idée floue de la manière dont ils ont été obtenus (comprenez : les 90 % de satisfaction de mon tube de dentifrice ne valent pas grand chose). D’autant que la partie résultats des articles scientifique est d’une lecture que je qualifierai « d’aride ». Des chiffres. Des pourcentages. Des moyennes. Des intervalles de confiance. Des tableaux et des figures. Des faits, rien que des faits. Pas d’interprétation. Pas encore.

Les interprétations ne viennent que dans la partie qualifiée de discussion. C’est là que les auteurs interprètent leurs résultats à la lumière des hypothèses qu’ils ont formulées. Quand je rédige la discussion de mes articles, je dois donner à mon lecteur tous les éléments qui lui permettent de replacer mes résultats dans un cadre plus large que celui de mon étude. Je lui montre en quoi l’article qu’il est en train de lire constitue une avancée dans la compréhension d’un problème. Aussi objectifs que j’essaie d’être, et avec tous les garde-fous imaginables, il est permis qu’un lecteur, sur la base des résultats, ait des interprétations si ce n’est différentes, au moins nuancées. Et c’est tant mieux !

La discussion peut aller au-delà des seuls faits et proposer des interprétations et des implications plus générales, pour peu que je les argumente précisément en confrontant mes résultats à ceux présentés dans d’autres articles. Cela implique de mentionner tout aussi bien les études qui vont dans le même sens que mes résultats que les études montrant l’exact opposé : « J’ai montré que X. Ce résultat est conforme à la théorie Y selon laquelle… et qui est confirmée par les travaux de Doe et al. 1999, Durand et al. 2003, Martin et al. 2015. Cependant, mon résultat est contraire à l’idée proposée par Dupont & Dupond 2007 selon laquelle... ». Et de comparer les approches expérimentales des uns et des autres pour expliquer les points de convergence et de désaccord.

La discussion contextualise donc les résultat présentés. Implicitement, tous les auteurs de toutes les études – je crois – admettent la règle selon laquelle des résultats ne sont valables que dans le cadre théorique et méthodologique dans lequel ils ont été établis. Si des extrapolations sont possibles, elles doivent être faites avec beaucoup de prudence.

Entendons nous bien, la spéculation est saine si elle est étayée. Elle stimule le débat. Toutefois, les perspectives et implications des études que présentent en général les auteurs à la fin de leurs articles ne doivent en aucun cas être confondues avec les conclusions qui, elles, se fondent sur des résultats.

Cela peut paraître anecdotique, mais il est toujours intéressant de jeter un œil aux quelques lignes de remerciements qui précèdent la liste des références. C’est notamment là que sont mentionnés les sources de financement qui ont permis de réaliser l’étude. La question n’est pas de chercher systématiquement à remettre en question le contenu d’une étude sur la seule base de sa source de financement, mais si conflit d’intérêt il y à, il devrait être indiquer dans ce paragraphe.

De ce qui précède, on aura pu lire entre les lignes qu’en fin de compte, ce qui est nouveau dans « une étude », ce sont les résultats. Le reste de l’article emprunte à d’autres pour présenter le contexte, décrire des outils et des méthodes, étayer des arguments. Pour rendre à César ce qu’il lui appartient, et permettre à chacun de suivre ou de vérifier les arguments des auteurs, à chaque affirmation est associée une ou plusieurs références dont la liste est systématiquement fournie, dans le détail, à la fin de chaque article.

« Une étude », non, des études oui


La science n’est pas un catalogue de résultats publiés dans lequel chacun peut aller piocher les arguments qui abondent dans son sens ou contredisent les arguments du voisin. C’est un processus dynamique qui répond à un certain nombre de critères de qualité dont les plus importants sont la transparence et la reproductibilité.

La science, c’est avant tout une démarche, et une démarche exigeante. Toutes les études sont dignes d’intérêt, à condition d’être transparentes et que le message s’appuie sur une méthodologie claire et des résultats interprétés dans la limite des conditions fixées par l’étude. Face à un contradicteur, clamer « si, c’est vrai, je l’ai lu dans une étude » n’est pas satisfaisant, parce que votre contradicteur pourra brandir une autre étude tout aussi valable. Il est normal que des études se contredisent. Si vous voulez jouer, prononcez les mots « OGM » et « bio » pendant un repas de famille, vous verrez !C’est en confrontant des résultats opposés que l’on avance et que, petit à petit on arrive à mieux délimiter les contours d’une hypothèse, de ce qui est bien établi de ce qui fait débat.

Evitons les raccourcis


Sortir « une étude » de son contexte et la réduire à ses résultats en occultant la méthode qui a permis de l’obtenir relève au mieux de la négligence, au pire de la désinformation. Extrapoler les résultats de « une étude » en dehors du contexte dans lequel ils ont été établie relève de l’ignorance ou de la prise de position et ne devrait se faire qu’au conditionnel. Pas à l’indicatif. Et toujours en rappelant les éléments de méthodes supportant les résultats.

Qu’il n’y ait pas de méprise. Il est évident que le citoyen n’a pas à se plonger dans la lecture des études en elles mêmes (pour peu qu’il y ait accès) et qu’il doit pouvoir faire confiance aux journalistes scientifiques. Mais il est tout aussi important qu’il ait un esprit critique sur ce qu’il lit et qu’il n’oublie jamais deux choses primordiales : (1) la science est écrite par des humains, avec tous les défauts et leurs qualités et (2) les « études » relayées par les médias et les réseaux sociaux ont fait l’objet de plusieurs digestions et régurgitations par d’autres humains. Plus il y a d’intermédiaires entre les auteurs de « une étude » et les lecteurs, moins la bouillie finale garde les saveurs du produit d’origine.

Ah, oui, et cet article aussi est rédigé par un humain, aussi (im)partial qu’un autre. Faites en ce que vous voulez.

Une étude, en cours de réalisation



Commentaires

Articles les plus consultés