CC BY
2
ФАКТОРЫ, ВЛИЯЮЩИЕ НА ВОСПРОИЗВОДИМОСТЬ НАУЧНЫХ
ИССЛЕДОВАНИЙ
С.А. Грязнов1, канд. пед. наук, доцент
М.И. Кузнецов2, канд. пед. наук, доцент
1Самарский юридический институт ФСИН России
2Академия ФСИН России
1(Россия, г. Самара)
2(Россия, г. Рязань)
DOI:10.24412/2500-1000-2024-8-1-69- 71
Аннотация. Теоретически исследователи должны иметь возможность воссоздавать эксперименты, получая те же результаты и приходя к тем же выводам, тем самым помогая подтверждать и укреплять исходную работу. Однако реальность не всегда соответствует этим ожиданиям. Часто научные открытия не могут быть воспроизведены; следовательно, ресурсы, выделенные на исследования, тратятся впустую, а достоверность таких открытий ставится под сомнение. В статье рассматриваются некоторых факторы, влияющие на воспроизводимость научных исследований и предложен набор рекомендаций для улучшения ситуации.
Ключевые слова: научное сообщество, научные эксперименты, проверка данных, репликация, воспроизводилось научных исследований.
Научное развитие зависит от прочного фундамента достоверности данных. Независимая проверка данных является основополагающим принципом научных исследований в различных дисциплинах. Самокорректирующиеся механизмы научного метода зависят от способности исследователей воспроизводить результаты опубликованных работ для укрепления доказательств и развития новых исследований. При этом важность воспроизводимости связана не с обеспечением «правильности» результатов, а с обеспечением прозрачности того, что именно было сделано в данном направлении исследований.
Несмотря на то, что фраза «отсутствует воспроизводимость» понятна в научном сообществе - это весьма широкое выражение, которое включает в себя несколько аспектов. Так, прямая репликация - это попытка воспроизвести ранее наблюдаемый результат с использованием того же экспериментального плана и условий, что и в исходном исследовании; аналитическая репликация - направлена на воспроизведение серии научных результатов посредством повторного анализа исходного набора данных; системная репликация -представляет собой попытку воспроизве-
сти опубликованный результат в других экспериментальных условиях (например, на других животных); концептуальная репликация - достоверность явления оценивается с использованием другого набора экспериментальных условий или методов.
Обычно считается, что улучшение прямой репликации и аналитической репликации проще всего достигается посредством обучения, изменения политики и других вмешательств, в то время как сбои в систематической и концептуальной репликации сложнее связать с проблемами, связанными с тем, как проводились исследования, поскольку здесь присутствует больше естественной изменчивости [1].
Есть несколько категорий недостатков, которые могут объяснить случаи, когда исследования невозможно воспроизвести. Во-первых, отсутствие доступа к методологическим деталям, необработанным данным и исследовательским материалам. Чтобы ученые могли воспроизводить опубликованные работы, они должны иметь доступ к исходным данным, протоколам и ключевым исследовательским материалам. Без этого воспроизведение будет затруднено. Механизмы и системы для обмена «сырыми» неопубликованными
данными и исследовательскими материалами, такими как репозитории данных (и биорепозитории), должны быть надежными, чтобы обмен не стал препятствием для воспроизводимости.
Во-вторых, неспособность управлять сложными наборами данных. Достижения в области технологий позволили создать обширные, сложные наборы данных; однако многие исследователи не обладают знаниями или инструментами, необходимыми для правильного анализа, интерпретации и хранения данных. Кроме того, новые технологии или методологии могут пока не иметь установленных или стандартизированных протоколов, поэтому содержат предубеждения, которые, в свою очередь, могут повлиять на способность аналитически воспроизводить данные [2].
В-третьих, неудовлетворительная практика исследований и экспериментальный дизайн. Если исследование разработано без тщательного обзора существующих доказательств или если усилия по минимизации предвзятости недостаточны, воспроизводимость становится проблематичной.
В-четверых, когнитивные искажения. Когда суждение и принятие решений зависят от индивидуального субъективного социального контекста, который исследователь выстраивает вокруг себя (личные убеждения или восприятие). Исследователи должны стремиться к беспристрастности и пытаться избежать когнитивной предвзятости, однако часто трудно полностью исключить тонкие, подсознательные способы, которыми когнитивная предвзятость может повлиять на проведение исследования. Существуют десятки различных типов когнитивных предвзятостей, включая предвзятость подтверждения, предвзятость отбора, эффект присоединения к большинству, кластерную иллюзию и предвзятость сообщения.
В-пятых, конкурентная культура, которая поощряет новые открытия и обесценивает отрицательные результаты. Исследователи получают вознаграждения за публикацию открытий, а не за публикацию отрицательных результатов (например, когда корреляция не найдена). В целом, вос-
производимость в исследованиях затрудняется недооценкой исследований, которые дают результаты, считающиеся разочаровывающими или незначительными.
В качестве решения проблемы отсутствия воспроизводимости в научных исследованиях можно предложить следующий набор рекомендаций:
- надежный обмен данными, материалами, программным обеспечением и другими инструментами. Все исходные данные, лежащие в основе любых опубликованных выводов, должны быть легко доступны для коллег-исследователей и рецензентов опубликованной статьи. Размещение исходных данных в общедоступной базе данных снизит вероятность того, что исследователи выберут только те результаты, которые поддерживают преобладающее отношение или подтверждают предыдущие работы. Такой обмен ускорит научные открытия и позволит ученым взаимодействовать и сотрудничать на осмысленном уровне;
- обучение статистическим методам и дизайну исследований. Экспериментальная воспроизводимость может быть значительно улучшена, если исследователи будут обучены тому, как правильно структурировать эксперименты и проводить статистический анализ результатов. Строго придерживаясь набора лучших практик в статистической методологии и экспериментальном дизайне, исследователи могут повысить достоверность и воспроизводимость своей работы;
- предварительная регистрация научных исследований. Если ученые предварительно регистрируют предлагаемые научные исследования (включая подход) до начала исследования, это позволит тщательно изучить все части исследовательского процесса и воспрепятствует сокрытию отрицательных результатов;
- опубликование отрицательных результатов. Зачастую «отрицательные» данные, которые не поддерживают гипотезу, обычно остаются неопубликованными, поскольку они не считаются высокоэффективными или инновационными. Публикация отрицательных данных поможет интерпретировать положительные результа-
ты связанных исследований и может помочь исследователям скорректировать свой экспериментальный дизайн, чтобы не тратить впустую ресурсы и финансирование;
- подробное описание методов. Важно, чтобы методология исследования была подробно описана. Исследователи должны четко сообщать ключевые экспериментальные параметры: были ли эксперименты слепыми; какие стандарты и инструменты использовались; сколько повторов было сделано; как интерпретировались результаты; как проводился статистический анализ; как проводилась рандомизация;
какие критерии использовались для включения или исключения любых данных [3];
- использование метода множественных анализов - предлагать одни и те же данные разным группам и затем усреднять их результаты (своеобразный новый вид метаа-нализа - синтез результатов неоднократного анализа данных разными независимыми исследователями).
Таким образом, принимая необходимые меры и изыскивая возможности для устранения недостатков, исследователи и заинтересованные стороны могут помочь улучшить исследовательские практики и повысить достоверность научных данных.
Библиографический список
1. Пронских, В.С. Всегда ли воспроизводимость важна и возможна для научного эксперимента? / В.С. Пронских // Вопросы философии. - 2021. - № 8. - С. 103-115. -DOI 10.21146/0042-8744-2021-8-103-115. - EDN SWJVVS.
2. Воронцов К.В., Игловиков В.И., Стрижов В.В., Устюжанин А.Е., Хританков А.С. Проблемы проведения экспериментов и воспроизводимости исследований в науках о данных // Труды МФТИ. - 2021. - №2 (50).
3. Protzko J., Krosnick J., Nelson L. et al. High replicability of newly discovered social-behavioural findings is achievable // Nat Hum Behav. - 2024. - №8. - P. 311-319.
FACTORS AFFECTING THE REPRODUCIBILITY OF SCIENTIFIC RESEARCH
S.A. Gryaznov1, Candidate of Pedagogical Sciences, Associate Professor M.I. Kuznetsov2, Candidate of Pedagogical Sciences, Associate Professor 1Samara Law Institute of the Federal Penitentiary Service of Russia 2The Academy of the Federal Penitentiary Service of Russia 1(Russia, Samara) 2(Russia, Ryazan)
Abstract. Theoretically, researchers should be able to recreate experiments, getting the same results and coming to the same conclusions, thereby helping to confirm and strengthen the original work. However, reality does not always meet these expectations. Often scientific discoveries cannot be replicated; consequently, the resources allocated to research are wasted, and the reliability of such discoveries is questioned. The article examines some of the factors affecting the reproducibility of scientific research and offers a set of recommendations to improve the situation.
Keywords: scientific community, scientific experiments, data validation, replication, reproducible scientific research.
