Метанаука

Метанаука
Тема вивчення/дослідження	дослідження і наука
Частково збігається з	відкрита наука
Метанаука у Вікісховищі

Метанаука (також відома як дослідження, засновані на доказах) — це використання наукової методології для вивчення самої науки. Метанаука прагне підвищити якість наукових досліджень, зменшуючи відходи. Вона також відома як «дослідження досліджень» та «наука про науку», оскільки використовує методи дослідження для вивчення того, як проводяться дослідження та де їх можна вдосконалити. Метанаука стосується всіх галузей досліджень і була охарактеризована як «погляд з висоти пташиного польоту на науку».^[1] За словами Джона Іоанідіса: «Наука — це найкраще, що трапилося з людьми … але ми можемо це зробити краще».^[2]

У 1966 р. у ранніх мета-дослідженнях досліджено статистичні методи 295 праць, опублікованих у десяти відомих медичних журналах. Було встановлено, що «майже у 73% прочитаних звітів ... висновки були зроблені, коли обґрунтування цих висновків було недійсним». Метадослідження протягом наступних десятиліть виявило багато методологічних недоліків, неефективності та поганої практики досліджень у багатьох наукових галузях. Багато наукових досліджень не могли бути відтворені, особливо в медицині та м'яких науках. Термін "криза відтворюваності" був введений на початку 2010-х років як частина зростаючої обізнаності про проблему.^[3]

Вжито заходів для вирішення проблем, виявлених метанаукою. Ці заходи включають попередню реєстрацію наукових досліджень та клінічні випробування, а також заснування таких організацій, як CONSORT та EQUATOR Network, які видають вказівки щодо методології та звітності. Продовжуються зусилля щодо зменшення зловживання статистикою, усунення неправильних стимулів з наукових шкіл, вдосконалення академічної експертної оцінки процесу, боротьби з упередженостю в науковій діяльності літератури та підвищення загальної якості та ефективності наукового процесу.

Історія

У 1966 р. у ранніх метадослідженнях досліджено статистичні методи 295 робіт, опублікованих у десяти гучних медичних журналах. Було встановлено, що «майже у 73% прочитаних звітів ... висновки були зроблені, коли обґрунтування цих висновків було недійсним».^[4] Пізніші метадослідження виявили широкі труднощі в відтворюваністі результатів у багатьох наукових галузях, включаючи психологію та медицину. Цю проблему назвали "криза відтворюваності". Метанаука зросла як реакція на кризу відтворюваності та на занепокоєння щодо відходів у дослідженнях.^[5] Багато видатних видавців зацікавлені у метадослідженні та покращенні якості своїх публікацій. Найкращі журнали, такі як "Nature", "The Lancet" та "Science" забезпечують постійне висвітлення метадослідження та проблеми з відтворюваністю.^[6] У 2012 році PLOS ONE розпочав ініціативу щодо відтворення. У 2015 році Biomed Central представив контрольний список мінімальних стандартів звітності з чотирох рядків.

Першою міжнародною конференцією в широкій галузі метадосліджень стала конференція Research Waste / EQUATOR, що відбулася в Единбурзі в 2015 році; першою міжнародною конференцією з питань експертної оцінки була, що відбулася в 1989 році.^[7] У 2016 році було запущено журнал Research Integrity and Peer Review. Відкриття редакції журналу закликало до "досліджень, які розширять наше розуміння та запропонують потенційні рішення питань, пов'язаних з експертизою, звітністю про дослідження та етикою досліджень та публікацій".^[8]

Області метадосліджень

Метадослідження можна поділити на п'ять основних галузей, що цікавлять: методи, звітність, відтворюваність, оцінка та стимули. Вони відповідають відповідно до того, як проводити, спілкуватися, перевіряти, оцінювати та винагороджувати дослідження.^[9]

Методи

Метанаука прагне визначити погану дослідницьку практику, включаючи упередження дослідження в дослідженнях, погане планування дослідження, зловживання статистикою, а також знайти методи для зменшення цих практик. ^[9] Мета-дослідження виявило численні упередження у науковій літературі.^[10] Особливо слід зазначити широке поширення неправильного використання p-значень^[en] та зловживання статистичною значимістю. ^[11]

Звітність

Метадослідження виявило погану практику звітності, пояснення, поширення та популяризації досліджень, особливо в галузі соціальних та медичних наук. Погана звітність утруднює точну інтерпретацію результатів наукових досліджень, відтворення досліджень та виявлення упередженості та конфлікту інтересів авторів. Рішення включають впровадження стандартів звітності та більшу прозорість наукових досліджень (включаючи кращі вимоги до розкриття конфлікту інтересів). Існує спроба стандартизувати звітність даних та методологію шляхом створення керівних принципів звітними органами, такими як CONSORT та більш широкі EQUATOR. ^[9]

Відтворюваність

Криза реплікації - це методологічна криза, що триває, коли було виявлено, що багато наукових досліджень важко чи неможливо повторити. ^[12][13] Хоча криза сягає корінням у метадослідження середини - кінця 1900-х років, фраза "криза відтворюваності" була придумана до початку 2010-х років ^[3] як частина зростаючої обізнаності про проблему. ^[9] Криза відтворюваності особливо впливає на психологію (особливо соціальну психологію) та медицину.^[14][15] Відтворюваність є невід'ємною частиною наукового процесу, і широко розповсюджені невдачі відтворюваності ставлять під сумнів надійність постраждалих галузей. ^[16]

Більше того, відтворення дослідження (або неспроможність повторити) вважається менш значимим, ніж оригінальне дослідження, і рідше публікується у багатьох сферах. Це відлякує від звітування про дослідження та навіть спроби їх повторення.^[17][18]

Оцінка

Метанаука прагне створити науковий фундамент для експертної оцінки. Метадослідження оцінює систему експертної оцінки, включаючи експертний огляд перед публікацією, експертний огляд після публікації та відкритий експертний огляд. Вона також прагне розробити кращі критерії фінансування досліджень. ^[9]

Стимули

Метанаука прагне сприяти кращому дослідженню через кращі системи стимулювання. Це включає вивчення точності, ефективності, витрат та переваг різних підходів до ранжування та оцінки досліджень та тих, хто їх виконує. ^[9] Критики стверджують, що неправильні стимули створили середовище "опублікуй-або-загинь" в наукових колах, що сприяє виробленню сміттєвої науки, низькоякісних досліджень та хибнопозитивних даних.^[19][20] За словами Брайана Носека, "Проблема, з якою ми стикаємося, полягає в тому, що система стимулювання майже повністю орієнтована на опублікування досліджень, а не на правильне виконання досліджень".^[21] Прихильники реформ прагнуть структурувати систему стимулювання для вищої якості.^[22]

Реформи

Метадослідження, що виявляють недоліки в науковій практиці, надихнули реформ у науці. Ці реформи мають на меті вирішити та виправити проблеми в науковій практиці, які призводять до неякісних чи неефективних досліджень.

Попередня реєстрація

Практика реєстрації наукового дослідження до його проведення називається попередня реєстрація. Він виник як засіб для подолання кризи відтворюваності. Попередня реєстрація вимагає подання зареєстрованого звіту, який потім приймається до публікації або відхиляється журналом на основі теоретичного обгрунтування, експериментальної конструкції та запропонованого статистичного аналізу. Попередня реєстрація досліджень служить для запобігання упередженості публікацій, зменшення просіювання даних та збільшення відтворюваності. ^[23][24]

Стандарти звітування

Дослідження, що показують погану послідовність та якість звітності, продемонстрували необхідність стандартів та рекомендацій звітності в науці, що призвело до зростання організацій, які виробляють такі стандарти, як CONSORT (Consolidated Standards of Reporting Trials, Консолідовані стандарти звітності про експерименти) та EQUATOR Network.

The EQUATOR (Enhancing the QUAlity and Transparency Of health Research)^[25] Network - це міжнародна ініціатива, спрямована на просування прозорої та точної звітності про дослідження в галузі охорони здоров'я для підвищення цінності та надійності літератури з медичних досліджень.^[26] EQUATOR Network була створена з метою підвищення обізнаності про важливість належної звітності про дослідження, сприяння розробці, розповсюдженню та впровадженню рекомендацій звітності для різних типів досліджень, моніторингу стану якості звітності науково-дослідних досліджень у науково-дослідницької літератури в галузі охорони здоров'я та проведення досліджень, що стосуються питань, що впливають на якість звітності про дослідження в галузі охорони здоров'я.^[27] Мережа виступає як "парасольова" організація, яка об'єднує розробників керівних принципів звітності, редакторів медичних журналів та експертних рецензентів, органів фінансування досліджень та інших ключових зацікавлених сторін, що мають взаємний інтерес у покращенні якості наукових публікацій та самих досліджень.

Програми

Медицина

Клінічні дослідження в медицині часто низької якості, і багато досліджень неможливо повторити.^[28][29] За оцінками, 85% фінансування досліджень витрачається марно. ^[30] Крім того, наявність упередження спонсорування впливає на якість досліджень.^[31] Фармацевтичні компанії робить значний вплив на розробку та проведення медичних досліджень. Конфлікти інтересів поширені серед авторів медичної літератури ^[32] і серед редакторів медичних журналів. Хоча майже всі медичні журнали вимагають від їх авторів розкривати конфлікт інтересів, від редакторів цього не вимагають.^[33]Фінансові конфлікти інтересів були пов'язані з більш високими показниками позитивних результатів дослідження. У випробуваннях антидепресантів фармацевтичне спонсорство є найкращим предиктором результатів випробувань.^[34]

Засліплення є ще одним напрямком метадослідження, оскільки помилка, викликана поганим осліпленням, є джерелом упередженності. Про засліплення в медичній літературі не надто добре повідомляється, і широке нерозуміння цього предмета призвело до поганого впровадження засліплення в клінічному випробуванні.^[35] Крім того, про помилки засліплення рідко вимірюють або повідомляють.^[36] Дослідження, що показують неспроможність осліплення в дослідженнях антидепресантів, змусили деяких вчених стверджувати, що антидепресанти не кращі, ніж плацебо.^[37][38] У світлі метадосліджень, що показують невдачі сліплення, стандарти CONSORT рекомендують у всіх клінічних випробуваннях оцінювати та повідомляти про якість засліплення.^[39]

Дослідження показали, що систематичні огляди існуючих доказів досліджень недостатньо оптимально використовуються при плануванні нового дослідження або узагальнення результатів.^[40] Сукупний метааналіз досліджень, що оцінюють ефективність медичних втручань, показав, що багатьох клінічних випробувань можна було б уникнути, якби систематичний огляд наявних доказів проводився до проведення нового випробування.^[41][42][43] Наприклад, Lau та ін. ^[41] проаналізували 33 клінічні випробування (за участю 36974 пацієнтів), оцінюючи ефективність внутрішньовенної стрептокінази для гострого інфаркту міокарда. Їх сукупний метааналіз показав, що 25 з 33 випробувань можна було б уникнути, якби систематичний огляд проводився до проведення нового випробування. Іншими словами, рандомізація 34542 пацієнтів була потенційно непотрібною. Одне дослідження ^[44] проаналізував 1523 клінічні випробування, включені у 227 метааналізи та дійшов висновку, що "менше ніж чверть відповідних попередніх досліджень" було цитовано. Вони також підтвердили попередні висновки, що більшість звітів про клінічні випробування не містять систематичного огляду для обгрунтування досліджень або підведення підсумків. ^[44]

Багато методів лікування, які застосовуються в сучасній медицині, виявились неефективними або навіть шкідливими. У дослідженні Джона Іоанідіса в 2007 році було встановлено, що медичному співтовариству в середньому було потрібно десять років, щоб припинити посилання на популярні практики після того, як їх ефективність була однозначно спростована.^[45][46]

Психологія

Метанаука виявила значні проблеми в психологічних дослідженнях. Галузь страждає від великої упередженості, низької відтворюваності та широкого поширення зловживання статистикою.^[47][48][49] Криза відтворюваності зачіпає психологію сильніше, ніж будь-яку іншу сферу; оскільки дві третини широко розрекламованих висновків неможливо повторити.^[50] Метадослідження виявляє, що 80-95% психологічних досліджень підтримують свої початкові гіпотези, що упевнено підтверджує існування упередженості публікації. ^[51]

Криза відтворюваності призвела до відновлення зусиль для повторної перевірки важливих висновків.^[52][53] У відповідь на занепокоєння щодо упередженності публікацій та просіювання даних, в дослідженнях, в яких є попередня рестрація і тих, що публікуються без огляду на їх результати.^[54]Аналіз цих реформ підрахував, що 61% результатів сліпих результатів дають нульовий результат, на відміну від 5-20 відсотків у попередніх дослідженнях. Цей аналіз показує, що незрозумілий експертний огляд суттєво зменшує упередженість публікацій.^[51]

Психологи звичайно плутають статистичну значимість з практичним значенням, із захопленням повідомляють про велику впевненість у неважливих фактах.^[55] Деякі психологи повідомили про більш широке використання ефекту розміру статистики, а не виключно покладаючись на значення P-value.

Фізика

Річард Фейнман зазначив, що оцінки фізичних констант були ближче до опублікованих значень, ніж можна було б очікувати випадково. Вважалося, що це результат підтверджувального упередження: результати, які погоджуються з існуючою літературою, швидше вірять і тому публікуються. Зараз фізики застосовують засліплення для запобігання подібного упередження.^[56]

Пов'язані галузі

Журналологія

Журналологія, також відома як видавнича наука, - це наукове вивчення всіх аспектів процесу академічної публікації.^[57][58] Галузь прагне покращити якість наукових досліджень шляхом впровадження доказової практики в академічні публікації.^[59] Термін "журналологія" був введений Стівеном Локом, колишнім головним редактором "BMJ". Перший Конгрес експертного огляду, що відбувся в 1989 р. в Чикаго, Іллінойс, вважається ключовим моментом у заснуванні журналології як окремої галузі.^[59] Сфера журналології впливає на пошук попередньої реєстрації в науці, особливо в клінічних випробуваннях. Реєстрація клінічного випробування зараз очікується у більшості країн. ^[59]

Наукометрія

Наукометрія стосується вимірювання бібліографічних даних у наукових публікаціях. Основні дослідницькі питання включають вимірювання впливу наукових робіт та наукових журналів, розуміння наукових цитат та використання таких вимірювань у політиці та управлінських контекстах.^[60]

Наука про наукові дані

Наука про наукові дані - це використання науки про дані для аналізу наукових робіт. Вона охоплює як якісні, так і кількісні методи. Дослідження в галузі наукових даних включають виявлення шахрайства^[61] та аналіз мереж цитувань.^[62]

Див. також

• Епістеміологія
• Науковий метод
• Доказова медицина
• Упередження

Примітки

1. Ioannidis, John P. A.; Fanelli, Daniele; Dunne, Debbie Drake; Goodman, Steven N. (2 жовтня 2015). Meta-research: Evaluation and Improvement of Research Methods and Practices. PLOS Biology. 13 (10): –1002264. doi:10.1371/journal.pbio.1002264. ISSN 1545-7885. PMC 4592065. PMID 26431313.
2. Bach, Author Becky (8 грудня 2015). On communicating science and uncertainty: A podcast with John Ioannidis. Scope. Архів оригіналу за 8 листопада 2021. Процитовано 20 травня 2019.
3. Pashler, Harold; Wagenmakers, Eric Jan (2012). Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?. Perspectives on Psychological Science. 7 (6): 528—530. doi:10.1177/1745691612465253. PMID 26168108. S2CID 26361121.
4. Schor, Stanley (1966). Statistical Evaluation of Medical Journal Manuscripts. JAMA: The Journal of the American Medical Association. 195 (13): 1123. doi:10.1001/jama.1966.03100130097026. ISSN 0098-7484.
5. Researching the researchers. Nature Genetics. 46 (5): 417. 2014. doi:10.1038/ng.2972. ISSN 1061-4036. PMID 24769715.
6. Enserink, Martin (2018). Research on research. Science. 361 (6408): 1178—1179. Bibcode:2018Sci...361.1178E. doi:10.1126/science.361.6408.1178. ISSN 0036-8075. PMID 30237336.
7. Rennie, Drummond (1990). Editorial Peer Review in Biomedical Publication. JAMA. 263 (10): 1317—1441. doi:10.1001/jama.1990.03440100011001. ISSN 0098-7484. PMID 2304208.
8. Harriman, Stephanie L.; Kowalczuk, Maria K.; Simera, Iveta; Wager, Elizabeth (2016). A new forum for research on research integrity and peer review. Research Integrity and Peer Review. 1 (1): 5. doi:10.1186/s41073-016-0010-y. ISSN 2058-8615. PMC 5794038. PMID 29451544.
9. Ioannidis, John P. A.; Fanelli, Daniele; Dunne, Debbie Drake; Goodman, Steven N. (2 жовтня 2015). Meta-research: Evaluation and Improvement of Research Methods and Practices. PLOS Biology. 13 (10): e1002264. doi:10.1371/journal.pbio.1002264. ISSN 1544-9173. PMC 4592065. PMID 26431313.
10. Fanelli, Daniele; Costas, Rodrigo; Ioannidis, John P. A. (2017). Meta-assessment of bias in science. Proceedings of the National Academy of Sciences of the United States of America. 114 (14): 3714—3719. doi:10.1073/pnas.1618569114. ISSN 1091-6490. PMC 5389310. PMID 28320937. Процитовано 11 червня 2019.
11. Check Hayden, Erika (2013). Weak statistical standards implicated in scientific irreproducibility. Nature (англ.). doi:10.1038/nature.2013.14131. Архів оригіналу за 21 квітня 2021. Процитовано 9 травня 2019.
12. Schooler, J. W. (2014). Metascience could rescue the 'replication crisis'. Nature. 515 (7525): 9. Bibcode:2014Natur.515....9S. doi:10.1038/515009a. PMID 25373639.
13. Smith, Noah. Why 'Statistical Significance' Is Often Insignificant. Bloomberg. Архів оригіналу за 23 квітня 2020. Процитовано 7 листопада 2017.
14. Gary Marcus (1 травня 2013). The Crisis in Social Psychology That Isn't. The New Yorker. Архів оригіналу за 7 липня 2018. Процитовано 12 червня 2020.
15. Jonah Lehrer (13 грудня 2010). The Truth Wears Off. The New Yorker. Архів оригіналу за 20 грудня 2019. Процитовано 12 червня 2020.
16. Staddon, John (2017) Scientific Method: How science works, fails to work or pretends to work. Taylor and Francis.
17. Yeung, Andy W. K. (2017). Do Neuroscience Journals Accept Replications? A Survey of Literature. Frontiers in Human Neuroscience (English) . 11: 468. doi:10.3389/fnhum.2017.00468. ISSN 1662-5161. PMC 5611708. PMID 28979201.
18. Martin, G. N.; Clarke, Richard M. (2017). Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices. Frontiers in Psychology (English) . 8: 523. doi:10.3389/fpsyg.2017.00523. ISSN 1664-1078. PMC 5387793. PMID 28443044.
19. Binswanger, Mathias (2015). How Nonsense Became Excellence: Forcing Professors to Publish. У Welpe, Isabell M.; Wollersheim, Jutta; Ringelhan, Stefanie; Osterloh, Margit (ред.). Incentives and Performance (англ.). Springer International Publishing. с. 19—32. doi:10.1007/978-3-319-09785-5_2. ISBN 9783319097855. {{cite book}}: Проігноровано |work= (довідка)
20. Edwards, Marc A.; Roy, Siddhartha (22 вересня 2016). Academic Research in the 21st Century: Maintaining Scientific Integrity in a Climate of Perverse Incentives and Hypercompetition. Environmental Engineering Science. 34 (1): 51—61. doi:10.1089/ees.2016.0223. PMC 5206685. PMID 28115824.
21. Brookshire, Bethany (21 жовтня 2016). Blame bad incentives for bad science. Science News (англ.). Архів оригіналу за 11 липня 2019. Процитовано 11 липня 2019.
22. Smaldino, Paul E.; McElreath, Richard (2016). The natural selection of bad science. Royal Society Open Science (англ.). 3 (9): 160384. arXiv:1605.09511. Bibcode:2016RSOS....360384S. doi:10.1098/rsos.160384. PMC 5043322. PMID 27703703.
23. Registered Replication Reports. Association for Psychological Science. Архів оригіналу за 6 жовтня 2016. Процитовано 13 листопада 2015.
24. Chambers, Chris (20 травня 2014). Psychology's 'registration revolution'. the Guardian. Архів оригіналу за 3 серпня 2020. Процитовано 13 листопада 2015.
25. Simera, I; Moher, D; Hirst, A; Hoey, J; Schulz, KF; Altman, DG (2010). Transparent and accurate reporting increases reliability, utility, and impact of your research: reporting guidelines and the EQUATOR Network. BMC Medicine. 8: 24. doi:10.1186/1741-7015-8-24. PMC 2874506. PMID 20420659.
26. Simera, I.; Moher, D.; Hoey, J.; Schulz, K. F.; Altman, D. G. (2010). A catalogue of reporting guidelines for health research. European Journal of Clinical Investigation. 40 (1): 35—53. doi:10.1111/j.1365-2362.2009.02234.x. PMID 20055895.
27. Simera, I; Altman, DG (October 2009). Writing a research article that is "fit for purpose": EQUATOR Network and reporting guidelines. Evidence-based Medicine. 14 (5): 132—4. doi:10.1136/ebm.14.5.132. PMID 19794009. S2CID 36739841.
28. Ioannidis, JPA (2016). Why Most Clinical Research Is Not Useful. PLOS Med. 13 (6): e1002049. doi:10.1371/journal.pmed.1002049. PMC 4915619. PMID 27328301.
29. Ioannidis JA (13 липня 2005). Contradicted and initially stronger effects in highly cited clinical research. JAMA. 294 (2): 218—228. doi:10.1001/jama.294.2.218. PMID 16014596.
30. Chalmers, Iain; Glasziou, Paul (2009). Avoidable waste in the production and reporting of research evidence. The Lancet. 374 (9683): 86—89. doi:10.1016/S0140-6736(09)60329-9. ISSN 0140-6736. PMID 19525005. S2CID 11797088.
31. June 24, Jeremy Hsu; ET, Jeremy Hsu. Dark Side of Medical Research: Widespread Bias and Omissions. Live Science. Архів оригіналу за 24 травня 2019. Процитовано 24 травня 2019.
32. Confronting conflict of interest. Nature Medicine (англ.). 24 (11): 1629. November 2018. doi:10.1038/s41591-018-0256-7. ISSN 1546-170X. PMID 30401866.
33. Haque, Waqas; Minhajuddin, Abu; Gupta, Arjun; Agrawal, Deepak (2018). Conflicts of interest of editors of medical journals. PLOS ONE. 13 (5): e0197141. Bibcode:2018PLoSO..1397141H. doi:10.1371/journal.pone.0197141. ISSN 1932-6203. PMC 5959187. PMID 29775468.
34. Moncrieff, J (March 2002). The antidepressant debate. The British Journal of Psychiatry (англ.). 180 (3): 193—4. doi:10.1192/bjp.180.3.193. ISSN 0007-1250. PMID 11872507. Процитовано 22 травня 2019.
35. Bello, S; Moustgaard, H; Hróbjartsson, A (October 2014). The risk of unblinding was infrequently and incompletely reported in 300 randomized clinical trial publications. Journal of Clinical Epidemiology. 67 (10): 1059—69. doi:10.1016/j.jclinepi.2014.05.007. ISSN 1878-5921. PMID 24973822.
36. Tuleu, Catherine; Legay, Helene; Orlu-Gul, Mine; Wan, Mandy (1 вересня 2013). Blinding in pharmacological trials: the devil is in the details. Archives of Disease in Childhood (англ.). 98 (9): 656—659. doi:10.1136/archdischild-2013-304037. ISSN 0003-9888. PMC 3833301. PMID 23898156. Архів оригіналу за 24 квітня 2019. Процитовано 8 травня 2019.
37. Kirsch, I (2014). Antidepressants and the Placebo Effect. Zeitschrift für Psychologie. 222 (3): 128—134. doi:10.1027/2151-2604/a000176. ISSN 2190-8370. PMC 4172306. PMID 25279271.
38. Ioannidis, John PA (27 травня 2008). Effectiveness of antidepressants: an evidence myth constructed from a thousand randomized trials?. Philosophy, Ethics, and Humanities in Medicine. 3: 14. doi:10.1186/1747-5341-3-14. ISSN 1747-5341. PMC 2412901. PMID 18505564.
39. Moher, David; Altman, Douglas G.; Schulz, Kenneth F. (24 березня 2010). CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials. BMJ (англ.). 340: c332. doi:10.1136/bmj.c332. ISSN 0959-8138. PMC 2844940. PMID 20332509. Архів оригіналу за 24 квітня 2019. Процитовано 24 квітня 2019.
40. Clarke, Michael; Chalmers, Iain (1998). Discussion Sections in Reports of Controlled Trials Published in General Medical Journals. JAMA. 280 (3): 280—2. doi:10.1001/jama.280.3.280. PMID 9676682.
41. Lau, Joseph; Antman, Elliott M; Jimenez-Silva, Jeanette; Kupelnick, Bruce; Mosteller, Frederick; Chalmers, Thomas C (1992). Cumulative Meta-Analysis of Therapeutic Trials for Myocardial Infarction. New England Journal of Medicine. 327 (4): 248—54. doi:10.1056/NEJM199207233270406. PMID 1614465.
42. Fergusson, Dean; Glass, Kathleen Cranley; Hutton, Brian; Shapiro, Stan (2016). Randomized controlled trials of aprotinin in cardiac surgery: Could clinical equipoise have stopped the bleeding?. Clinical Trials: Journal of the Society for Clinical Trials. 2 (3): 218—29, discussion 229–32. doi:10.1191/1740774505cn085oa. PMID 16279145. S2CID 31375469.
43. Clarke, Mike; Brice, Anne; Chalmers, Iain (2014). Accumulating Research: A Systematic Account of How Cumulative Meta-Analyses Would Have Provided Knowledge, Improved Health, Reduced Harm and Saved Resources. PLOS ONE. 9 (7): e102670. Bibcode:2014PLoSO...9j2670C. doi:10.1371/journal.pone.0102670. PMC 4113310. PMID 25068257.
44. Robinson, Karen A; Goodman, Steven N (2011). A Systematic Examination of the Citation of Prior Research in Reports of Randomized, Controlled Trials. Annals of Internal Medicine. 154 (1): 50—5. doi:10.7326/0003-4819-154-1-201101040-00007. PMID 21200038. S2CID 207536137.
45. Epstein, David. When Evidence Says No, but Doctors Say Yes - The Atlantic. Pocket. Архів оригіналу за 13 червня 2020. Процитовано 10 квітня 2020.
46. Tatsioni, A; Bonitsis, NG; Ioannidis, JP (5 грудня 2007). Persistence of contradicted claims in the literature. JAMA. 298 (21): 2517—26. doi:10.1001/jama.298.21.2517. ISSN 1538-3598. PMID 18056905.
47. Franco, Annie; Malhotra, Neil; Simonovits, Gabor (1 січня 2016). Underreporting in Psychology Experiments: Evidence From a Study Registry. Social Psychological and Personality Science (англ.). 7 (1): 8—12. doi:10.1177/1948550615598377. ISSN 1948-5506.
48. Munafò, Marcus (29 березня 2017). Metascience: Reproducibility blues. Nature (англ.). 543 (7647): 619—620. Bibcode:2017Natur.543..619M. doi:10.1038/543619a. ISSN 1476-4687.
49. Stokstad, Erik (20 вересня 2018). This research group seeks to expose weaknesses in science—and they'll step on some toes if they have to. Science. doi:10.1126/science.aav4784.
50. Open Science Collaboration (2015). Estimating the reproducibility of psychological science (PDF). Science. 349 (6251): aac4716. doi:10.1126/science.aac4716. hdl:10722/230596. PMID 26315443. Архів оригіналу (PDF) за 29 жовтня 2019. Процитовано 13 червня 2020.
51. Allen, Christopher P G.; Mehler, David Marc Anton. Open Science challenges, benefits and tips in early career and beyond. doi:10.31234/osf.io/3czyt. Архів оригіналу за 15 червня 2020. Процитовано 15 червня 2020.
52. Simmons, Joseph P.; Nelson, Leif D.; Simonsohn, Uri (2011). False-Positive Psychology. Psychological Science. 22 (11): 1359—1366. doi:10.1177/0956797611417632. PMID 22006061.
53. Stroebe, Wolfgang; Strack, Fritz (2014). The Alleged Crisis and the Illusion of Exact Replication (PDF). Perspectives on Psychological Science. 9 (1): 59—71. doi:10.1177/1745691613514450. PMID 26173241. Архів оригіналу (PDF) за 15 червня 2020. Процитовано 15 червня 2020.
54. Aschwanden, Christie (6 грудня 2018). Psychology's Replication Crisis Has Made The Field Better. FiveThirtyEight. Архів оригіналу за 20 грудня 2018. Процитовано 19 грудня 2018.
55. Cohen, Jacob (1994). The earth is round (p < .05). American Psychologist. 49 (12): 997—1003. doi:10.1037/0003-066X.49.12.997. S2CID 380942.
56. MacCoun, Robert; Perlmutter, Saul (8 жовтня 2015). Blind analysis: Hide results to seek the truth. Nature (англ.). 526 (7572): 187—189. Bibcode:2015Natur.526..187M. doi:10.1038/526187a. PMID 26450040.
57. Galipeau, James; Moher, David; Campbell, Craig; Hendry, Paul; Cameron, D. William; Palepu, Anita; Hébert, Paul C. (March 2015). A systematic review highlights a knowledge gap regarding the effectiveness of health-related training programs in journalology. Journal of Clinical Epidemiology (англ.). 68 (3): 257—265. doi:10.1016/j.jclinepi.2014.09.024. PMID 25510373.
58. Wilson, Mitch; Moher, David (March 2019). The Changing Landscape of Journalology in Medicine. Seminars in Nuclear Medicine (англ.). 49 (2): 105—114. doi:10.1053/j.semnuclmed.2018.11.009. hdl:10393/38493. PMID 30819390.
59. Couzin-Frankel, Jennifer (18 вересня 2018). 'Journalologists' use scientific methods to study academic publishing. Is their work improving science?. Science. doi:10.1126/science.aav4758.
60. Leydesdorff, L. and Milojevic, S., "Scientometrics" arXiv:1208.4566 Архівована копія. Архів оригіналу за 15 червня 2020. Процитовано 15 червня 2020. (2013), forthcoming in: Lynch, M. (editor), International Encyclopedia of Social and Behavioral Sciences subsection 85030. (2015)
61. Markowitz, David M.; Hancock, Jeffrey T. (2016). Linguistic obfuscation in fraudulent science. Journal of Language and Social Psychology. 35 (4): 435—445. doi:10.1177/0261927X15614605.
62. Ding, Y. (2010). Applying weighted PageRank to author citation networks. Journal of the American Society for Information Science and Technology. 62 (2): 236—245. arXiv:1102.1760. doi:10.1002/asi.21452.