Одно исследование предупреждает, что многообещающие новые образовательные вмешательства потенциально «ненужно отбрасываются», потому что испытания для проверки их эффективности могут быть недостаточно точными по сравнению с первоначальными исследованиями.
Предостережение было сделано после того, как исследователи провели крупномасштабное компьютерное моделирование более 11 000 исследовательских испытаний, чтобы изучить, насколько «верность» повлияла на результаты. В естественных и социальных науках «достоверность» — это степень, в которой тесты, оценивающие новую инновацию, соответствуют плану исходного эксперимента, на котором основана эта инновация.
Точно так же, как ученые проверяют новое лекарство до того, как оно будет одобрено, новые стратегии улучшения обучения часто тщательно оцениваются в школах или других условиях, прежде чем внедряться.
Многие инновации отвергаются на этом этапе, потому что испытания показывают, что они приводят к незначительному прогрессу в обучении или вообще к его отсутствию. Однако ученые в течение некоторого времени высказывали опасения , что в некоторых случаях потеря верности может поставить под угрозу судебное разбирательство. Во многих случаях верность не всегда измеряется или сообщается.
Новое исследование поставило эту теорию на проверку. Исследователи из Кембриджского университета и Университета Карнеги-Меллона провели тысячи смоделированных на компьютере испытаний с участием миллионов симулированных участников. Затем они исследовали, насколько изменения в точности изменили «величину эффекта» вмешательства.
Они обнаружили, что даже относительно незначительные отклонения в точности могут иметь значительное влияние. На каждые 5% потери достоверности в смоделированных последующих тестах величина эффекта уменьшалась на соответствующие 5%.
В реальных условиях это может означать, что некоторые инновации с высоким потенциалом считаются непригодными для использования, поскольку низкая точность искажает результаты. В исследовании отмечается: «Растет обеспокоенность тем, что значительное количество нулевых результатов в образовательных вмешательствах… может быть связано с отсутствием достоверности, что приводит к тому, что потенциально надежные программы без необходимости отбрасываются».
Выводы могут быть особенно полезны для таких организаций, как Фонд поддержки образования (EEF) в Соединенном Королевстве или Информационная палата What Works в США, которые оценивают новые исследования в области образования. ВЭФ сообщает о результатах испытаний проектов на своем веб-сайте . В настоящее время более трех из пяти отчетов указывают на то, что тестируемое вмешательство не привело к прогрессу или отрицательному прогрессу для учеников.
Мишель Эллефсон, профессор когнитивных наук педагогического факультета Кембриджского университета, сказала: «В эти испытания инвестируется много денег, поэтому мы должны внимательно следить за тем, насколько хорошо они контролируют достоверность. Воспроизводимость в исследованиях чрезвычайно важна. важно, но опасность заключается в том, что мы можем отказаться от многообещающих вмешательств из-за нарушений верности и создать ненужный разрыв доверия между учителями и исследователями».
Академики часто называют «кризис репликации» именно потому, что результаты многих исследований трудно воспроизвести. В образовании испытания часто проводятся одновременно учителями и исследователями. В частности, более крупные исследования создают широкие возможности для непреднамеренной потери достоверности либо из-за человеческого фактора (например, из-за неправильного прочтения инструкций по исследованию), либо из-за изменений в исследовательской среде (например, из-за времени или условий теста).
