Le café protégerait du cancer, puis l’aggraverait. Le vin rouge allongerait la vie, puis la raccourcirait. Ces revirements apparents viennent souvent d’une même source : des études mal lues ou mal présentées. Huit questions simples permettent d’évaluer un résultat avant d’y croire, ou de le partager.
1. Qui a publié, et où ?
Une étude sérieuse est en principe publiée dans une revue scientifique à comité de lecture. Avant publication, d’autres chercheurs, souvent anonymes, ont examiné le travail et demandé des corrections. Ce système n’est pas infaillible, mais il filtre une partie des erreurs.
Méfiez-vous des résultats présentés lors d’une conférence, diffusés en prépublication sans relecture, ou annoncés par communiqué de presse sans article associé. Ils peuvent être intéressants, mais ils restent provisoires. Méfiez-vous aussi des revues dites prédatrices, qui publient contre paiement presque sans contrôle.
2. Sur qui l’étude a-t-elle porté ?
Une étude menée sur des souris ou des cellules en laboratoire ne dit pas ce qui se passe chez l’être humain. Elle ouvre une piste. Beaucoup de molécules prometteuses chez l’animal échouent ensuite chez l’homme.
Chez l’humain, la composition de l’échantillon compte. Une étude conduite uniquement sur des étudiants américains, sur des hommes, ou sur des personnes âgées ne s’applique pas forcément à tous. Vérifiez qui a été étudié.
3. Combien de personnes ?
La taille de l’échantillon est essentielle. Sur vingt personnes, le hasard peut produire des résultats spectaculaires. Sur plusieurs milliers, il pèse beaucoup moins. Une étude portant sur un petit nombre de participants n’est pas inutile. Mais ses résultats demandent confirmation.
Le médecin et chercheur John Ioannidis a publié en 2005 un article retentissant, intitulé « Pourquoi la plupart des résultats de recherche publiés sont faux ». Il y montrait, par le calcul, que les petites études, les effets faibles et les analyses multiples augmentent fortement le risque de conclusions erronées.
4. Corrélation ou causalité ?
C’est la confusion la plus fréquente. Deux phénomènes qui varient ensemble ne sont pas forcément liés par une relation de cause à effet. Les ventes de glaces et les noyades augmentent toutes les deux en été. Les glaces ne provoquent pas les noyades. C’est la chaleur qui explique les deux.
Les études dites observationnelles comparent des groupes de personnes sans intervenir. Elles peuvent montrer qu’une habitude est associée à un meilleur état de santé. Elles ne prouvent pas que l’habitude en est la cause. Les personnes qui mangent beaucoup de légumes, par exemple, ont souvent aussi d’autres comportements favorables à la santé.
Pour établir une causalité, la méthode de référence est l’essai contrôlé randomisé. Les participants sont répartis au hasard entre un groupe qui reçoit le traitement et un groupe témoin. Le tirage au sort permet de rendre les groupes comparables.
5. Y a-t-il un groupe de comparaison ?
Un traitement qui améliore l’état de 70 % des patients semble efficace. Mais combien se seraient améliorés sans traitement ? Sans groupe témoin, impossible de le savoir. Beaucoup de troubles évoluent naturellement vers l’amélioration. L’effet placebo joue aussi un rôle réel.
Une étude sans groupe de comparaison ne permet pas de conclure à l’efficacité d’une intervention.
6. Quelle est la taille de l’effet ?
Un résultat peut être statistiquement significatif sans être important. La significativité indique seulement qu’il est peu probable que l’effet observé soit dû au hasard. Elle ne dit rien de son ampleur.
Méfiez-vous des risques relatifs présentés seuls. Dire qu’un aliment « augmente le risque de 50 % » impressionne. Si le risque initial était de 2 sur 10 000, il passe à 3 sur 10 000. L’augmentation est réelle, mais le risque reste très faible. Cherchez toujours le risque absolu.
7. Qui a financé ?
Le financement n’invalide pas un résultat. Beaucoup d’études financées par l’industrie sont rigoureuses. Mais il est utile de le connaître. Plusieurs travaux ont montré que les études financées par un fabricant aboutissent plus souvent à des conclusions favorables à son produit. Les revues sérieuses exigent que les auteurs déclarent leurs liens d’intérêts. Cherchez cette mention, en général à la fin de l’article.
8. Que disent les autres études ?
Une étude isolée ne fait pas la science. Elle s’inscrit dans un ensemble de travaux. Si elle contredit des dizaines d’études antérieures, elle mérite une grande prudence. Il est plus probable qu’elle contienne une erreur que de révolutionner le domaine.
Les revues systématiques et les méta-analyses rassemblent toutes les études disponibles sur une question et en font la synthèse. Elles fournissent en général le meilleur état des connaissances. L’organisation internationale Cochrane en publie un grand nombre dans le domaine de la santé.
Les signaux d’alerte
Certaines formulations doivent éveiller la vigilance.
« Des chercheurs ont découvert que… » sans nom de chercheur ni de revue.
Des mots comme « miracle », « révolutionnaire », « définitivement prouvé ».
Un titre affirmatif quand l’étude parle de simple association.
Un résultat sur l’animal présenté comme valable pour l’humain.
Une étude financée par celui qui vend le produit, sans autre confirmation.
Remonter à la source
Le meilleur réflexe reste de retrouver l’étude originale. Un article de presse sérieux cite la revue, les auteurs et souvent la date. Une recherche par le titre permet en général de trouver au moins le résumé, appelé abstract, souvent en accès libre. Ce résumé indique la méthode, le nombre de participants et les principaux résultats.
On n’a pas besoin d’être scientifique pour se poser ces questions. Elles ne permettent pas de trancher chaque controverse. Elles permettent d’éviter les erreurs les plus grossières, et de garder une confiance raisonnée dans la science, celle qui se fonde sur les preuves plutôt que sur les gros titres.
Pour aller plus loin
John P. A. Ioannidis, « Why Most Published Research Findings Are False », PLoS Medicine, 2005
Ben Goldacre, Bad Science, Fourth Estate, 2008
Haute Autorité de santé, niveaux de preuve et gradation des recommandations
Cochrane France, ressources sur la lecture critique
Science Media Centre France, ressources pour journalistes
Fiche de production — ne pas publier
