Par hasard, dans un flux d'actualités et d'informations, je suis tombé sur un article dans Nature Scientific Reports. Il présente les données d'une enquête menée auprès de 1 500 scientifiques sur la reproductibilité des résultats de recherche. Si auparavant ce problème était posé pour la recherche biologique et médicale, où d'une part il est explicable (fausses corrélations, la complexité générale des systèmes à l'étude, parfois même des logiciels scientifiques est accusé), d'autre part, il a un caractère phénoménologique (par exemple, les souris ont tendance à se comporter différemment avec les scientifiques). genres différents (1 et 2)).
Cependant, tout n'est pas simple avec plus de sciences naturelles, telles que la physique et l'ingénierie, la chimie, l'écologie. Il semblerait que ces mêmes disciplines reposent sur des expériences "absolument" reproductibles menées dans les conditions les plus contrôlées, hélas, étonnant - dans tous les sens du terme - le résultat de l'enquête: jusqu'à 70% des chercheurs ont rencontré des expériences non reproductibles et des résultats obtenus non seulement par d'autres groupes de scientifiques, MAIS aussi par les auteurs / co-auteurs d'ouvrages scientifiques publiés!
Chaque bécasseau loue-t-il son marais?
Bien que 52% des répondants pointent une crise de reproductibilité en science, moins de 31% considèrent les données publiées comme fondamentalement incorrectes et la majorité a indiqué qu'elle faisait toujours confiance aux travaux publiés.
Question: Y a-t-il une crise de reproductibilité des résultats?
Bien entendu, il ne faut pas bafouer et lyncher toute science en tant que telle uniquement sur la base de cette enquête: la moitié des répondants étaient encore des scientifiques associés, d'une manière ou d'une autre, aux disciplines biologiques. Comme le notent les auteurs, en physique et en chimie, le niveau de reproductibilité et de confiance dans les résultats obtenus est beaucoup plus élevé (voir graphique ci-dessous), mais toujours pas à 100%. Mais en médecine, les choses vont très mal par rapport au reste.
Vidéo promotionelle:
Une anecdote me vient à l'esprit:
Marcus Munafo, psychologue biologique à l'Université de Bristol, en Angleterre, s'intéresse depuis longtemps à la reproductibilité des données scientifiques. Se rappelant les jours de ses jours d'étudiant, il dit:
Question: Combien d'œuvres publiées dans votre industrie sont reproductibles?
Profondeur du problème de latitude et de longitude
Imaginez que vous êtes un scientifique. Vous tombez sur un article intéressant, mais les résultats / expériences ne peuvent pas être reproduits en laboratoire. Il est logique d'écrire à ce sujet aux auteurs de l'article original, de demander des conseils et de poser des questions de clarification. Selon l'enquête, moins de 20% l'ont fait à tout moment de leur carrière scientifique!
Les auteurs de l'étude notent que, peut-être, de tels contacts et conversations sont trop difficiles pour les scientifiques eux-mêmes, car ils révèlent leur incompétence et leur incohérence sur certaines questions ou révèlent trop de détails sur le projet en cours.
De plus, une écrasante minorité de scientifiques a tenté de publier une réfutation des résultats irréproductibles, tout en faisant face à l'opposition des rédacteurs en chef et des critiques qui ont exigé que les comparaisons soient minimisées avec l'étude originale. Faut-il s'étonner que la probabilité de signaler la non-reproductibilité des résultats scientifiques soit d'environ 50%?
Première question: avez-vous essayé de reproduire les résultats de l'expérience?
Deuxième question: avez-vous essayé de publier votre tentative de reproduire les résultats?
Peut-être, alors, à l'intérieur du laboratoire, au moins pour effectuer un test de reproductibilité? Le plus triste, c'est qu'un tiers des répondants n'ont JAMAIS pensé à créer des méthodes pour vérifier la reproductibilité des données. Seuls 40% ont indiqué qu'ils utilisent régulièrement de telles techniques.
Q: Avez-vous déjà développé des techniques / procédés techniques spéciaux pour améliorer la reproductibilité des résultats?
Autre exemple, une biochimiste du Royaume-Uni, qui n'a pas voulu divulguer son nom, dit que les tentatives de répéter, de reproduire le travail pour son projet de laboratoire double simplement le temps et les coûts matériels, sans donner ou ajouter quoi que ce soit de nouveau au travail. Des contrôles supplémentaires ne sont effectués que pour les projets innovants et les résultats inhabituels.
Et bien sûr, les éternelles questions russes qui ont commencé à torturer les collègues étrangers: qui est à blâmer et que faire?
Qui est coupable?
Les auteurs des travaux ont identifié trois problèmes principaux de reproductibilité des résultats:
- Pression des supérieurs pour que le travail soit publié à temps
- Rapports sélectifs (apparemment, cela signifie la suppression de certaines données, ce qui «gâche» toute l'image)
- Analyse des données insuffisante (y compris statistiques)
Question: Quels sont les facteurs responsables des résultats scientifiques irréproductibles?
Réponses (de haut en bas): –Rapport d'échantillons –Pression des bosses –Analyse / statistiques médiocres –Répétabilité insuffisante de l'expérience en laboratoire –Supervision insuffisante –Absence de méthode ou de code –Modèle expérimental médiocre - Manque de données brutes du laboratoire primaire - Fraude - Vérification insuffisante par des experts / examinateurs –Problèmes liés aux tentatives de reproduction –Expertise technique est nécessaire pour reproduire –Variabilité des réactifs standard - «Neddachka et Pichalka»
Que faire?
Sur 1 500 personnes interrogées, plus de 1 000 spécialistes se sont prononcés en faveur de l'amélioration des statistiques dans la collecte et le traitement des données, l'amélioration de la qualité du contrôle des patrons et une planification plus rigoureuse des expériences.
Q: Quels facteurs aideront à améliorer la reproductibilité?
Réponses (de haut en bas): - Meilleure compréhension des statistiques - Surveillance plus stricte - Meilleure conception expérimentale - Formation - Examen interne du laboratoire - Amélioration des compétences pratiques - Encouragement du recoupement formel des données - Examen interlaboratoires - Allouer plus de temps à la gestion de projet - Augmenter les normes des revues scientifiques - Allouer plus de temps pour travailler avec les enregistrements de laboratoire
Conclusion et quelques expériences personnelles
Premièrement, même pour moi, en tant que scientifique, les résultats sont stupéfiants, même si je suis habitué à un certain degré d'irreproductibilité des résultats. Cela est particulièrement évident dans les travaux exécutés par les Chinois et les Indiens sans "audit" par un tiers sous la forme de professeurs américains / européens. Il est bon que le problème ait été reconnu et réfléchi à sa / ses solution (s). Je garderai le silence avec tact sur la science russe à propos du récent scandale, même si beaucoup font honnêtement leur travail.
Deuxièmement, l'article ignore (ou plutôt ne considère pas) le rôle des métriques scientifiques et des revues scientifiques à comité de lecture dans l'émergence et le développement du problème de l'irreproductibilité des résultats de la recherche. Dans la poursuite de la rapidité et de la fréquence des publications (lecture, augmentation des indices de citations), la qualité baisse fortement et il n'y a pas de temps pour une vérification supplémentaire des résultats.
Comme on dit, tous les personnages sont fictifs, mais basés sur des événements réels. D'une manière ou d'une autre, un étudiant a eu l'occasion de réviser un article, car tous les professeurs n'ont pas le temps et l'énergie de lire attentivement les articles, de sorte que l'opinion de 2-3-4 étudiants et médecins est recueillie, à partir de laquelle la revue est formée. Une revue a été rédigée, elle a souligné l'irreproductibilité des résultats selon la méthode décrite dans l'article. Cela a été clairement démontré au professeur. Mais pour ne pas gâcher la relation avec les «collègues» - après tout, ils réussissent à tout - le bilan a été «corrigé». Et il y a 2 ou 3 articles de ce genre publiés.
Cela s'avère être un cercle vicieux. Le scientifique envoie l'article au rédacteur en chef de la revue, où il indique les relecteurs «désirés» et, surtout, «indésirables», c'est-à-dire en ne laissant que ceux qui sont positivement disposés envers l'équipe d'auteurs. Ils examinent le travail, mais ils ne peuvent pas «chier dans les commentaires» et essayer de choisir le moindre de deux maux - voici une liste de questions auxquelles il faut répondre, puis nous publierons l'article.
Un autre exemple, dont le rédacteur en chef de Nature a parlé il y a à peine un mois, est celui des panneaux solaires de Grazel. En raison de l'énorme intérêt pour ce sujet dans la communauté scientifique (après tout, ils veulent toujours un article dans Nature!), Les éditeurs ont dû créer un questionnaire spécial, dans lequel il est nécessaire d'indiquer de nombreux paramètres, de fournir des étalonnages d'équipement, des certificats, etc., pour confirmer que la méthode de mesure de l'efficacité panneaux conformes à certains principes et normes généraux.
Et, troisièmement, quand on entend à nouveau parler d'un vaccin miracle qui conquiert tout et tout le monde, une nouvelle histoire sur Jobs en jupe, de nouvelles piles ou les dangers / bénéfices des OGM ou des radiations des smartphones, surtout s'il a été promu par des écrivains jaunes du journalisme, alors soyez compréhensif et ne sautez pas aux conclusions. Attendez la confirmation des résultats par d'autres groupes de scientifiques, l'accumulation du tableau et des échantillons de données.
