« D’après une étude, » cet imparable argument d’autorité !
Cet article est la version originale d'un article publié sur le site The Conversation, accessible ici.
« Les couches
culottes sont toxiques pour les bébés, d’après une étude ».
« D'après une étude, les gens qui se parlent à eux-mêmes
seraient des génies ». « D’après une étude, le
spoiler est bon pour vous ». Il n’y a pas un jour sans que
les médias (que je consulte )mettent ce genre de titre en avant.
Certains de ces articles sont très bien écrits et permettent
réellement au lecteur de se faire une opinion argumentée en
rapportant ce qui a été fait dans l’étude. D’autres se
contentent du gros titre et de quelques considérations générales,
attrayantes, mais pas argumentées. C’est là que le bâts blesse.
En creusant un peu,
on se rend vite compte que pour chaque étude montrant le résultat
« blanc », il y en à au moins une autre qui montre le
résultat « noir ». Pourquoi se fier plus à l’une qu’à
l’autre ? Parce qu’elle a été mieux relayée par les
(multi-)médias ? Parce qu’elle est attribuée à « une
université prestigieuse » ou à un « grand
professeur » ou qu’elle a été qualifiée de « très
sérieuse » ? Parce qu’elle a été mieux faite ?
Ce dernier argument est peut être celui qui tombe le mieux sous le
sens. A condition de savoir décortiquer ces fameuses études. Mode
d’emploi et recommandations d’usage.
Les dessous de « une étude »
Il existe bien sûr
plusieurs formats pour la publication des articles scientifiques,
mais tous ont en commun une structure opérationnelle, efficace,
souvent éloignée de la belle histoire que l’on peut en faire a
posteriori. « Une étude », c’est un titre, des
auteurs, un résumé, une introduction, des méthodes, des résultats,
une discussion, des remerciements, des références.
D’abord un titre.
C’est la première chose qu’on lit. Certains sont accrocheurs,
mais ils peuvent manquer de nuances laisser entendre beaucoup plus
qu’ils n’ont vraiment à dire. Et les retranscriptions ne sont
pas toujours fidèle. Ce matin (6 février 2017) , j’ai tapé
« d’après une étude » dans mon moteur de recherche,
et sur la première page, j’ai cliqué sur le lien « D’après
une étude, les femmes codent mieux que les hommes » qui m’a
renvoyé vers le site du journal Le Parisien. De là, j’ai accédé
à l’article original intitulé « Gender biais in open
source: pull request acceptance of women versus men ». Il est
bien question d’hommes et de femmes, mais ce que dit le titre de
l’aryicle initial, ce n’est pas que les femmes codent mieux que
les hommes, juste qu’il y a une différence entre les deux sexes,
que l’article cherche à comparer. Aussi bien que soit l’article
en ligne du Parisien – ce n’est pas mon propos d’en juger –
on notera simplement que l’étiquette ne correspond pas forcément
au produit.
Des auteurs. Des
humains donc. Des humains qui signent leur article et qui en assument
donc la responsabilité intellectuelle. Les auteurs assurent, s’il
y a lieu, le service après vente de leur article. Une critique
constructive ? Des compléments à apporter ? Des
interrogations légitimes ? Ce sont les auteurs qui peuvent –
et doivent – y répondre. Le nom des auteurs est toujours
accompagné par leur affiliation, c’est à dire l’université ou
l’institut de recherche qui les emploie. Le cas échéant, ce sont
les services de communication de ces organismes qui peuvent assurer
le le service après vente des articles.
Le nombre des
auteurs signant un article est très variable d’une étude à
l’autre. Il existe un ensemble de règles définissant quelles sont
les contributions de chacun qui justifient de signer un article.
Elles sont plus ou moins suivies à la lettre, mais en général sont
considérés comme auteurs toutes les personnes qui ont élaboré
l’étude, analysé et interprété les données, rédigé, apporté
des critiques constructives ayant permis de renforcer la qualité de
l’article. Les personnes qui ont acquis les données sont, selon
les cas, considérées comme auteurs ou remerciés à la fin de
l’article.
Plusieurs anonymes
participent également à améliorer la valeur de l’article avant
sa publication. Ce sont les reviewers, c’est à dire les deux ou
trois spécialistes que l’éditeur contacte pour émettre un avis
critique et constructif sur l’article que lui ont soumis les
auteurs. Les échanges entre les auteurs, l’éditeur et les
reviewers permettent de lever les ambiguïtés qui pourraient rester
quant aux méthodes et aux interprétations et constituent une
manière de valider la solidité des résultats et de leurs
interprétations. Une sorte de contrôle qualité.
Le résumé (ou
abstract) est aussi synthétique que possible. S’il est bien écrit,
il informe sur ce qui a motivé l’étude, sur les grandes lignes de
la méthodologie employée, il donne les principaux résultats et les
principales conclusions que les auteurs en tirent, à la lumière de
la question posée. Toutefois, le résumé n’est qu’un résumé.
Souvent moins de 300 mots. C’est très court pour rendre compte de
plusieurs mois, voire années, de travail. C’est surtout trop court
pour apporter toutes les nuances nécessaires pour comprendre les
résultats sans les surinterpréter. Malgré les efforts déployés,
le nombre d’articles en accès libre pour le lecteur reste encore
très limité de sorte que le citoyen curieux n’a souvent accès
qu’au résumé de l’article. Toutefois, on espère que ceux qui
le retranscrivent dans les médias grand public ont eu accès à sa
version intégrale.
L’introduction…
introduit l’article. Elle énonce le contexte de l’étude, pose
les concepts et détaille les hypothèses de travail. C’est souvent
la partie la plus accessible et la plus didactique de l’article.
Tout simplement parce que ses auteurs veulent être bien compris par
leurs lecteurs !J’ai l’habitude de dire aux étudiants que
j’encadre que si l’introduction est bien écrite, alors à la
fin, le lecteur doit être en mesure de formuler lui même les
hypothèses testées par les auteurs.
Ce qui fait la
différence fondamentale entre un article scientifique et toute autre
forme d’écrit scientifique à destination du grand publique, c’est
la partie matériels et méthodes. Si je lis sur mon paquet de
dentifrice que 90 % des personnes interrogées sont satisfaites
par le produit, alors je me demande 90 % de combien ?
Est-ce que 9 personnes sur 10 interrogées ont été satisfaites, ou
bien 900 sur 1000 ? Et puis satisfaites de quoi ? Sur quels
critères a été évaluée la satisfaction ? Comment les
utilisateurs ont ils été interrogés (questionnaire numérique,
papier, interview, téléphone...) ? Et comment ont il été
choisis ? Au hasard ? Dans plusieurs régions ? Les
a-t-on rémunérés ? Ont-ils reçus des offres promotionnelles
en remerciement ? C’est à ce genre de questions, légitimes,
que doit répondre la partie matériels et méthodes.
A elle seule, cette
partie peut occuper plus du tiers de la longueur de l’article !
Voyez là comme la retranscription détaillée du protocole que les
auteurs ont utilisé. Une sorte de recette de cuisine. Si cette
partie est aussi détaillée, c’est pour permettre la
reproductibilité de l’étude. De l’étude. Pas nécessairement
du résultat.
Partant de là, on
comprend bien que les résultats d’une étude ne valent rien en
tant que tels s’ils ne sont pas présentés dans un contexte
général et si l’on n’a qu’une idée floue de la manière dont
ils ont été obtenus (comprenez : les 90 % de satisfaction
de mon tube de dentifrice ne valent pas grand chose). D’autant que
la partie résultats des articles scientifique est d’une lecture
que je qualifierai « d’aride ». Des chiffres. Des
pourcentages. Des moyennes. Des intervalles de confiance. Des
tableaux et des figures. Des faits, rien que des faits. Pas
d’interprétation. Pas encore.
Les interprétations
ne viennent que dans la partie qualifiée de discussion. C’est là
que les auteurs interprètent leurs résultats à la lumière des
hypothèses qu’ils ont formulées. Quand je rédige la discussion
de mes articles, je dois donner à mon lecteur tous les éléments
qui lui permettent de replacer mes résultats dans un cadre plus
large que celui de mon étude. Je lui montre en quoi l’article
qu’il est en train de lire constitue une avancée dans la
compréhension d’un problème. Aussi objectifs que j’essaie
d’être, et avec tous les garde-fous imaginables, il est permis
qu’un lecteur, sur la base des résultats, ait des interprétations
si ce n’est différentes, au moins nuancées. Et c’est tant
mieux !
La discussion peut
aller au-delà des seuls faits et proposer des interprétations et
des implications plus générales, pour peu que je les argumente
précisément en confrontant mes résultats à ceux présentés dans
d’autres articles. Cela implique de mentionner tout aussi bien les
études qui vont dans le même sens que mes résultats que les études
montrant l’exact opposé : « J’ai montré que X. Ce
résultat est conforme à la théorie Y selon laquelle… et qui est
confirmée par les travaux de Doe et al. 1999, Durand et al. 2003,
Martin et al. 2015. Cependant, mon résultat est contraire à l’idée
proposée par Dupont & Dupond 2007 selon laquelle... ». Et
de comparer les approches expérimentales des uns et des autres pour
expliquer les points de convergence et de désaccord.
La discussion
contextualise donc les résultat présentés. Implicitement, tous les
auteurs de toutes les études – je crois – admettent la règle
selon laquelle des résultats ne sont valables que dans le cadre
théorique et méthodologique dans lequel ils ont été établis. Si
des extrapolations sont possibles, elles doivent être faites avec
beaucoup de prudence.
Entendons nous bien,
la spéculation est saine si elle est étayée. Elle stimule le
débat. Toutefois, les perspectives et implications des études que
présentent en général les auteurs à la fin de leurs articles ne
doivent en aucun cas être confondues avec les conclusions qui,
elles, se fondent sur des résultats.
Cela peut paraître
anecdotique, mais il est toujours intéressant de jeter un œil aux
quelques lignes de remerciements qui précèdent la liste des
références. C’est notamment là que sont mentionnés les sources
de financement qui ont permis de réaliser l’étude. La question
n’est pas de chercher systématiquement à remettre en question le
contenu d’une étude sur la seule base de sa source de financement,
mais si conflit d’intérêt il y à, il devrait être indiquer dans
ce paragraphe.
De ce qui précède,
on aura pu lire entre les lignes qu’en fin de compte, ce qui est
nouveau dans « une étude », ce sont les résultats. Le
reste de l’article emprunte à d’autres pour présenter le
contexte, décrire des outils et des méthodes, étayer des
arguments. Pour rendre à César ce qu’il lui appartient, et
permettre à chacun de suivre ou de vérifier les arguments des
auteurs, à chaque affirmation est associée une ou plusieurs
références dont la liste est systématiquement fournie, dans le
détail, à la fin de chaque article.
« Une étude », non, des études oui
La science n’est
pas un catalogue de résultats publiés dans lequel chacun peut aller
piocher les arguments qui abondent dans son sens ou contredisent les
arguments du voisin. C’est un processus dynamique qui répond à un
certain nombre de critères de qualité dont les plus importants sont
la transparence et la reproductibilité.
La science, c’est
avant tout une démarche, et une démarche exigeante. Toutes les
études sont dignes d’intérêt, à condition d’être
transparentes et que le message s’appuie sur une méthodologie
claire et des résultats interprétés dans la limite des conditions
fixées par l’étude. Face à un contradicteur, clamer « si,
c’est vrai, je l’ai lu dans une étude » n’est pas
satisfaisant, parce que votre contradicteur pourra brandir une autre
étude tout aussi valable. Il est normal que des études se
contredisent. Si vous voulez jouer, prononcez les mots « OGM »
et « bio » pendant un repas de famille, vous
verrez !C’est en confrontant des résultats opposés que l’on
avance et que, petit à petit on arrive à mieux délimiter les
contours d’une hypothèse, de ce qui est bien établi de ce qui
fait débat.
Evitons les raccourcis
Sortir « une
étude » de son contexte et la réduire à ses résultats en
occultant la méthode qui a permis de l’obtenir relève au mieux de
la négligence, au pire de la désinformation. Extrapoler les
résultats de « une étude » en dehors du contexte dans
lequel ils ont été établie relève de l’ignorance ou de la prise
de position et ne devrait se faire qu’au conditionnel. Pas à
l’indicatif. Et toujours en rappelant les éléments de méthodes
supportant les résultats.
Qu’il n’y ait
pas de méprise. Il est évident que le citoyen n’a pas à se
plonger dans la lecture des études en elles mêmes (pour peu qu’il
y ait accès) et qu’il doit pouvoir faire confiance aux
journalistes scientifiques. Mais il est tout aussi important qu’il
ait un esprit critique sur ce qu’il lit et qu’il n’oublie
jamais deux choses primordiales : (1) la science est écrite par
des humains, avec tous les défauts et leurs qualités et (2) les
« études » relayées par les médias et les réseaux
sociaux ont fait l’objet de plusieurs digestions et régurgitations
par d’autres humains. Plus il y a d’intermédiaires entre les
auteurs de « une étude » et les lecteurs, moins la
bouillie finale garde les saveurs du produit d’origine.
Ah, oui, et cet
article aussi est rédigé par un humain, aussi (im)partial qu’un
autre. Faites en ce que vous voulez.
![]() |
Une étude, en cours de réalisation |
Commentaires
Enregistrer un commentaire