Кожна друга наукова робота не має нічого спільного з реальністю

Навчання 02 серпня 2022 Перегляди: 73

Принаймні половина всіх опублікованих наукових робіт приховують серйозні помилки, що вводять в оману і вчених, і читає громадськість.

Такого висновку дійшов Джон Іоаннідіс (John Ioannidis), епідеміолог з Медичного інституту при Університеті Іоанніни (Греція), який доклав методи статистичного аналізу до проблеми оцінки якості опублікованих наукових робіт.

Незважаючи на те що пан Іоаннідіс не намагався аналізувати весь корпус доступних наукових текстів, він стверджує, що поєднання таких факторів, як недостатньо репрезентативна вибірка зразків, низька якість підготовки експерименту, особисті пристрасті дослідника, виборчий підхід до складання «доказової бази» роботи та ін., просто не дають підстав очікувати, що подальшу незалежну перевірку результатів дослідження витримає хоча б одна наукова робота з двох, пише New Scientist з посиланням на статтю, опубліковану в Public Library of Science Medicine (DOI: 10.1371/journal.pmed.0020124).

Дослідження прийнято вважати статистично значущим, коли ймовірність, що результат — чиста випадковість, становить не більше 5%. Однак, вважає Іоаннідіс, коли доводиться аналізувати безліч гіпотез — наприклад, щоб зрозуміти, чи впливає конкретний ген на конкретне захворювання, — дуже легко, використовуючи цей стандарт, прийти до помилкового висновку. Адже коли ви розглядаєте одну за однією 20 неправдивих гіпотез, одна з них, на тлі інших, вам може здатися вірною.

На думку Іоаннідіса, велика ймовірність помилкового відкриття і тоді, коли область, в якій воно зроблено, вважається «гарячою», і за те, щоб зробити статистично значуще відкриття з цієї теми, борються відразу кілька наукових команд.

Втім, Соломон Снайдер (Solomon Snyder) з Медичної школи Джонса Гопкінса в Балтиморі (США) вважає, що багато вчених зовсім і не ставляться до наукових робіт як до істини в останній інстанції, добре розуміючи їхні недоліки.

«Коли я читаю чиюсь статтю, — каже Снайдер, — я не шукаю докази, як у підручнику. Я читаю, щоб знайти свіжі ідеї. Навіть якщо в статті і зустрічаються помилки, але в ній є раціональне зерно, мені є про що подумати «.