Qu'est-ce qu'une preuve scientifique ?
Quelle est le point commun entre l'écologue et le médecin ?
Encore faut il pouvoir agencer ces briques de manière cohérente plutôt que de les déverser en tas. C'est tout l'objet des méta-analyses et des revues systématiques.
Revues systématiques et méta-analyses : les preuves ultimes ?
Les articles parus dans PlosOne et PNAS ont fait un peu de bruit, mais ce qui a carrément mis le feu au poudre, c'est un article de 2019 paru dans la revue Biological Conservation. Selon les mots des auteurs, cette étude
Ils travaillent avec un matériel vivant. Et souvent le vivant varie. Vous avez acheté des petits pois au marché, tous venant du même producteur. Certaines gousses étaient pleines de magnifiques pois, d’autres vous ont déçu une fois ouverte. Vous avez pulvérisé une solution de savon noir pour vous débarrasser des cochenilles sur votre citronnier. Certaines sont mortes, d’autres ont résisté. La molécule NewMagiX accélérait la guérison de 66 % des patients atteints de la maladie AZERTY par rapport à un traitement conventionnel¹. Mais quid des 44 % restant ?
Pour le scientifique, c’est une donnée comme une autre, ou un challenge à surmonter. Mais pour le médecin qui doit proposer un traitement sûr et efficace à son patient, c’est un casse tête, un caillou dans la chaussure, une épée de Damoclès. Bien sûr, on peut souhaiter que la science soit en amont de la décision du médecin. Mais quelle science ? Qu’est-ce que qui fait qu’un résultat scientifique peut, ou pas, à lui seul orienter la décision du praticien (ou de ceux qui décident des politiques de santé publique) ?
La question a largement été traitée dans le cas de la médecine. Elle est d'ailleurs aujourd’hui, plus que jamais, d’une actualité alarmante. Un peu trop pour que je me risque à écrire dessus. Et puis je ne suis pas médecin ni épidémiologiste. Alors je m'autocensure en latin : Sutor, ne ultra crepidam (oui, c'est la classe).
Il est un autre domaine où la question se pose, ou du moins devrait se poser : celui de l’écologie. Parce qu’avant d’être un bulletin dans une urne ou un choix de consommateur, l’écologie est avant tout une discipline scientifique. Reformulons donc la question : sur quelle science devraient pouvoir s’appuyer les choix des consommateurs et des politiques publiques en matière d’environnement ?
Il y a quelques mois, une actualité scientifique préoccupante a suscité un peu d'émotion dans la presse et l'opinion publique : l'apocalypse annoncée par le déclin des populations d'insectes. C'est un bon exemple, il me semble, pour illustrer les différents niveaux de preuve en écologie.
L'anecdote : le grain de sable
"Je me souviens quand j'étais petit et que j'allais en vacances dans le sud il fallait s'arrêter plusieurs fois pour nettoyer le pare-brise qui était couvert d'insectes écrasés. Aujourd'hui ce n'est plus la peine". C'est une anecdote que l'on lit en préambule de très nombreux articles et billets de blog sur le sujet du déclin des insectes. Même dans la très fameuse revue Science². Mais ce n'est qu'une anecdote. Elle n'engage que celui qui la raconte. Elle n'est pas vérifiable en tant que telle. Elle n'a aucune valeur scientifique.
Mais tout n'est peut être pas à jeter pour autant. Si indépendamment plusieurs personnes, dans différentes régions, rapportent la même anecdote, alors il peut y avoir matière à se dire "tiens, c'est bizarre, si on y regardait de plus près ?". A ceci près que dans ce cas là, l'anecdote n'est pas le résultat scientifique, simplement un petit quelque chose qui peut titiller (ou pas) la curiosité du scientifique.
L’anecdote est un grain de sable en ce sens que ce n’est pas sur elle que l’on peut construire une connaissance scientifique ou prétendre prendre des décisions orientées par la science. Mais n’oublions pas qu’il faut du sable (ou des cailloux) pour faire du béton, et construire quelque chose de solide.
Le cas d'étude : la brique élémentaire
En 2017, une étude publiée dans la revue en ligne PlosOne titrait : Plus de 75% de déclin de la biomasse des insectes volant sur une période de 27 ans dans une aire protégée.
C'est scientifique, c'est donc vrai, c'est doublement donc alarmant, n'est-ce pas ?
L'année suivante, les très prestigieux comptes rendus de l'académie des sciences des Etats Unis d'Amérique (Proceedings of the National Academy of Sciences of the United States of America, PNAS) publient un article faisant état d'un déclin de la biomasse des arthropodes d'un facteur 4 à 60 selon la méthode utilisée, pour un même site à Puerto Rico, entre 1976 et 2012?
Voilà deux cas d'études³ rapportant des observations protocolées faites localement, en Allemagne et à Puerto Rico. Est-ce suffisant pour extrapoler à l'échelle globale ? Non. D'autant qu'en cherchant bien, on trouve aussi des cas d'augmentation des densités d'insectes, comme par exemple pour les papillons de nuit en grande Bretagne entre 1968 et 2016.
Pour le scientifique, c’est une donnée comme une autre, ou un challenge à surmonter. Mais pour le médecin qui doit proposer un traitement sûr et efficace à son patient, c’est un casse tête, un caillou dans la chaussure, une épée de Damoclès. Bien sûr, on peut souhaiter que la science soit en amont de la décision du médecin. Mais quelle science ? Qu’est-ce que qui fait qu’un résultat scientifique peut, ou pas, à lui seul orienter la décision du praticien (ou de ceux qui décident des politiques de santé publique) ?
La question a largement été traitée dans le cas de la médecine. Elle est d'ailleurs aujourd’hui, plus que jamais, d’une actualité alarmante. Un peu trop pour que je me risque à écrire dessus. Et puis je ne suis pas médecin ni épidémiologiste. Alors je m'autocensure en latin : Sutor, ne ultra crepidam (oui, c'est la classe).
Il est un autre domaine où la question se pose, ou du moins devrait se poser : celui de l’écologie. Parce qu’avant d’être un bulletin dans une urne ou un choix de consommateur, l’écologie est avant tout une discipline scientifique. Reformulons donc la question : sur quelle science devraient pouvoir s’appuyer les choix des consommateurs et des politiques publiques en matière d’environnement ?
Il y a quelques mois, une actualité scientifique préoccupante a suscité un peu d'émotion dans la presse et l'opinion publique : l'apocalypse annoncée par le déclin des populations d'insectes. C'est un bon exemple, il me semble, pour illustrer les différents niveaux de preuve en écologie.
L'anecdote : le grain de sable
"Je me souviens quand j'étais petit et que j'allais en vacances dans le sud il fallait s'arrêter plusieurs fois pour nettoyer le pare-brise qui était couvert d'insectes écrasés. Aujourd'hui ce n'est plus la peine". C'est une anecdote que l'on lit en préambule de très nombreux articles et billets de blog sur le sujet du déclin des insectes. Même dans la très fameuse revue Science². Mais ce n'est qu'une anecdote. Elle n'engage que celui qui la raconte. Elle n'est pas vérifiable en tant que telle. Elle n'a aucune valeur scientifique.
Mais tout n'est peut être pas à jeter pour autant. Si indépendamment plusieurs personnes, dans différentes régions, rapportent la même anecdote, alors il peut y avoir matière à se dire "tiens, c'est bizarre, si on y regardait de plus près ?". A ceci près que dans ce cas là, l'anecdote n'est pas le résultat scientifique, simplement un petit quelque chose qui peut titiller (ou pas) la curiosité du scientifique.
L’anecdote est un grain de sable en ce sens que ce n’est pas sur elle que l’on peut construire une connaissance scientifique ou prétendre prendre des décisions orientées par la science. Mais n’oublions pas qu’il faut du sable (ou des cailloux) pour faire du béton, et construire quelque chose de solide.
Le cas d'étude : la brique élémentaire
En 2017, une étude publiée dans la revue en ligne PlosOne titrait : Plus de 75% de déclin de la biomasse des insectes volant sur une période de 27 ans dans une aire protégée.
C'est scientifique, c'est donc vrai, c'est doublement donc alarmant, n'est-ce pas ?
L'année suivante, les très prestigieux comptes rendus de l'académie des sciences des Etats Unis d'Amérique (Proceedings of the National Academy of Sciences of the United States of America, PNAS) publient un article faisant état d'un déclin de la biomasse des arthropodes d'un facteur 4 à 60 selon la méthode utilisée, pour un même site à Puerto Rico, entre 1976 et 2012?
Voilà deux cas d'études³ rapportant des observations protocolées faites localement, en Allemagne et à Puerto Rico. Est-ce suffisant pour extrapoler à l'échelle globale ? Non. D'autant qu'en cherchant bien, on trouve aussi des cas d'augmentation des densités d'insectes, comme par exemple pour les papillons de nuit en grande Bretagne entre 1968 et 2016.
Ce qui fait la différence entre l'anecdote et le cas d'étude, c'est la nature des observations qui sont faites et la manière dont elles sont rapportées. Les observations rapportées dans les articles scientifiques ont été provoquées et protocolées : les scientifiques ont observé ce qu'ils se sont donné les moyens d'observer, pour répondre à une question donnée. Ils rendent compte du résultat de leurs observations, mais également de ce qui les a motivées et de la manière dont elles ont été faites. Ces observations sont donc, en principe, reproductibles. Le cas d'étude représente par conséquent un niveau de preuve bien supérieur à celui de l'anecdote. On peut le voir comme la brique élémentaire qui va permettre d'édifier une connaissance scientifique robuste sur laquelle appuyer les décisions politiques.
Encore faut il pouvoir agencer ces briques de manière cohérente plutôt que de les déverser en tas. C'est tout l'objet des méta-analyses et des revues systématiques.
Revues systématiques et méta-analyses : les preuves ultimes ?
Les articles parus dans PlosOne et PNAS ont fait un peu de bruit, mais ce qui a carrément mis le feu au poudre, c'est un article de 2019 paru dans la revue Biological Conservation. Selon les mots des auteurs, cette étude
[...] révèle un déclin dramatique [des populations d'insectes] qui pourrait conduire à l'extinction de 40 % des espèces d'insectes à l'échelle du globe au cours des prochaines décennies.
Pourquoi devrait-on accorder plus de poids à cette étude plutôt qu'à une autre ? Parce qu'il s'agit d'une méta-analyse des données de la littérature scientifique sur le déclin des populations d'insectes. D'une certaine manière, une méta-analyse est un outil statistique qui permet d'assembler les briques entre elles pour déterminer si elles s'assemblent en un édifice cohérent.
Les méta-analyses et les revues systématiques se basent sur une recherche exhaustive et reproductible des articles scientifiques ayant traité d'un sujet. Elles permettent une évaluation critique des connaissances scientifique en vue d'en produire une synthèse, quantitative dans le cas de la méta-analyse, qualitative dans le cas de la revue systématique. Parce qu'elles se veulent exhaustives et reproductibles, méta-analyses et revues systématiques sont le niveau de preuve "ultime".
Fin de l'histoire donc ? Plus d'insectes à l'horizon 2100 ? Pas si vite. Il arrive que deux méta-analyses conduites sur le même sujet donnent des résultats contrastés. Il y a quelques semaines, la revue Science publiait une méta-analyse plus nuancée sur l'ampleur du déclin des populations d'insectes. L'abondance des insectes ne diminuerait "que" de 9 % par décennie en milieu terrestre, contre 11 % en milieu aquatique.
Cela n'enlève rien au fait qu'une méta-analyse représente un niveau de preuve plus élevé qu'un cas d'étude, mais il ne faut pas oublier le GIGO anglais : garbage in, garbage out. Autrement dit, la méta-analyse ne peut faire parler que les données qu'on lui donne à mouliner. C'est tout l'enjeu de la transparence dans la manière de rapporter les analyses. Elle permet d'évaluer la qualité des données incluses dans la méta-analyse.
Que retenir de tout ça ?
L'anecdote ne vaut pas grand chose en tant que telle. Le cas d'étude, bien mené, est la brique élémentaire de la connaissance scientifique. La méta-analyse ou la revue systématique sont l'édifice, monté à partir de ces briques. Les cas d'études, même s'ils représentent individuellement des niveaux de preuve faibles sont indispensables : on ne fait pas de méta-analyse sans analyse, comme on ne fait pas de mur en brique... sans brique.
On touche là à trois difficultés en écologie : l'espace, le temps, et la phylogénie.
L'espace d'abord - Ce qui est valable dans une région tempérée ne l'est peut être pas en milieu tropical. Les processus écologiques en forêt ne sont pas nécessairement les mêmes dans les agro-écosystèmes. Le temps ensuite - 2009 était une année "fraîche" en Europe par rapport à la moyenne de la période 1981-2010, alors que 2018 était particulièrement chaude. Il y a tellement de choses qui peuvent varier, sur un même site, d'une année à l'autre qu'il est hasardeux de tirer de grandes conclusions sur la base d'une seule étude ponctuelle. La phylogénie enfin - C'est l'histoire évolutive du vivant. Une mouche, ce n'est pas une abeille, encore moins une libellule. Toutes les familles d'insectes n'ont pas la même écologie, les mêmes besoins vis-à-vis de leur environnement. Ce qui est valable pour un groupe ne l'est pas nécessairement pour tous les autres.
Allons bon. Est-ce que ça veut dire que l'écologie ne vaut pas grand chose et que l'on n'est jamais en mesure de généraliser un résultat ? Bien sûr que non ! Simplement une généralisation robuste impose de regarder dans ces trois dimensions, espace, temps, phylogénie. Multiplier les cas d'études dans différents contextes environnementaux, à différentes dates, sur différents systèmes d'études aide a appréhender la complexité des processus écologiques en jeu, et évite les généralisations trop hâtives.
Ce qui est frappant dans cette histoire, c'est qu'alors que les scientifiques sont (pour la plupart) plutôt prudents dans leurs affirmations, certains médias généralistes le sont moins. Les scientifiques emploient le conditionnel, donnent des barres d'erreurs. Côté médias et réseaux sociaux on parle (souvent) au futur de l'indicatif et on rapporte des chiffres bruts sortis de leur contexte. Mais c'est normal : chacun est dans son rôle. Il ne s'agit aucunement de caricaturer. Les scientifiques ne sont pas irréprochables et tous les journalistes ne font pas du mauvais travail. Il arrive aux uns d'être trop enthousiastes (ou alarmistes) quant à la portée de leurs travaux, et aux autres d'êtres extrêmement rigoureux sur la manière de traduire les résultats scientifiques pour le plus grand public. Ce qu'il faut garder à l'esprit, c'est qu'il est toujours utile de revenir aux sources et de les évaluer à l'aune du niveau de preuves quelles représentent.
===
¹ Non je ne parlerai pas de chloroquine
² Cet article paru dans la revue science est un article écrit par une journaliste. L'auteur rapporte les propos de scientifiques en citant ses sources. C'est transparent et à défaut de pouvoir vérifier que les propos ont été tenu (mais pourquoi le remettrait-on en question ici ?) on peut remonter à la source. Mais ce n'est pas un article scientifique. Les chiffres annoncés ne sont pas reproductibles. Même la figure rapporte des chiffres sur la biomasse d'insectes collectés (comment ?) dans une réserve en Allemagne en 1989 et en 2013.
³ Ces deux articles ont eu un écho médiatique notable et ont fait pas mal de bruit dans la communauté scientifique à cause d'un certain nombre de faiblesses méthodologiques et de raccourcis dans les interprétations.
L'espace d'abord - Ce qui est valable dans une région tempérée ne l'est peut être pas en milieu tropical. Les processus écologiques en forêt ne sont pas nécessairement les mêmes dans les agro-écosystèmes. Le temps ensuite - 2009 était une année "fraîche" en Europe par rapport à la moyenne de la période 1981-2010, alors que 2018 était particulièrement chaude. Il y a tellement de choses qui peuvent varier, sur un même site, d'une année à l'autre qu'il est hasardeux de tirer de grandes conclusions sur la base d'une seule étude ponctuelle. La phylogénie enfin - C'est l'histoire évolutive du vivant. Une mouche, ce n'est pas une abeille, encore moins une libellule. Toutes les familles d'insectes n'ont pas la même écologie, les mêmes besoins vis-à-vis de leur environnement. Ce qui est valable pour un groupe ne l'est pas nécessairement pour tous les autres.
Allons bon. Est-ce que ça veut dire que l'écologie ne vaut pas grand chose et que l'on n'est jamais en mesure de généraliser un résultat ? Bien sûr que non ! Simplement une généralisation robuste impose de regarder dans ces trois dimensions, espace, temps, phylogénie. Multiplier les cas d'études dans différents contextes environnementaux, à différentes dates, sur différents systèmes d'études aide a appréhender la complexité des processus écologiques en jeu, et évite les généralisations trop hâtives.
Ce qui est frappant dans cette histoire, c'est qu'alors que les scientifiques sont (pour la plupart) plutôt prudents dans leurs affirmations, certains médias généralistes le sont moins. Les scientifiques emploient le conditionnel, donnent des barres d'erreurs. Côté médias et réseaux sociaux on parle (souvent) au futur de l'indicatif et on rapporte des chiffres bruts sortis de leur contexte. Mais c'est normal : chacun est dans son rôle. Il ne s'agit aucunement de caricaturer. Les scientifiques ne sont pas irréprochables et tous les journalistes ne font pas du mauvais travail. Il arrive aux uns d'être trop enthousiastes (ou alarmistes) quant à la portée de leurs travaux, et aux autres d'êtres extrêmement rigoureux sur la manière de traduire les résultats scientifiques pour le plus grand public. Ce qu'il faut garder à l'esprit, c'est qu'il est toujours utile de revenir aux sources et de les évaluer à l'aune du niveau de preuves quelles représentent.
===
¹ Non je ne parlerai pas de chloroquine
² Cet article paru dans la revue science est un article écrit par une journaliste. L'auteur rapporte les propos de scientifiques en citant ses sources. C'est transparent et à défaut de pouvoir vérifier que les propos ont été tenu (mais pourquoi le remettrait-on en question ici ?) on peut remonter à la source. Mais ce n'est pas un article scientifique. Les chiffres annoncés ne sont pas reproductibles. Même la figure rapporte des chiffres sur la biomasse d'insectes collectés (comment ?) dans une réserve en Allemagne en 1989 et en 2013.
³ Ces deux articles ont eu un écho médiatique notable et ont fait pas mal de bruit dans la communauté scientifique à cause d'un certain nombre de faiblesses méthodologiques et de raccourcis dans les interprétations.
Commentaires
Enregistrer un commentaire