Как искать и читать исследования об эффективном обучении и образовании

Коротко о главном: что искать?

Что вообще считать исследованием? Базовая единица научной информации в современном мире — научная статья. Это текст, опубликованный в специализированном научном журнале, редакторы которого — специалисты в соответствующей научной области. Перед публикацией в таком издании статья проходит рецензирование — текст должны проверить минимум два независимых специалиста в этой области.

При этом содержание статьи в рамках шаблонной структуры сильно зависит от научной дисциплины, темы и выбранных методов исследования. Образование — очень широкая область, поэтому интересующие вас статьи могут быть написаны совершенно по-разному:

• В количественном исследовании главное — анализ данных методами статистики. В образовании количественные исследования могут быть и экспериментами (когда учёные создают искусственную ситуацию, например, в лаборатории), и наблюдениями (данные собираются из реального мира), и различными опросами.
• В качественном исследовании автор сосредоточенно рассматривает конкретный опыт во всех деталях. Его тоже проводят разными методами — учёный может сделать глубинное интервью с респондентом, а может исследовать уже опубликованный контент.

Из научных статей собирается «здание» научного знания по теме — постепенно авторы обобщают свои работы в книгах (монографиях) и диссертациях. Более доказательным считается объединение работ разных авторов по одной теме, например, в виде систематического обзора. Такие работы подводят промежуточный итог в изучении темы.

Тут стоит сделать важную оговорку: не всякое исследование делается по научным канонам. Например, многие цифровые платформы проводят среди своих пользователей различные опросы, результаты которых затем попадают в новости ради PR. Практически все компании сейчас организуют маркетинговые исследования для собственных бизнес-целей (в частности, изучают потребителей и их «боли»), и если результаты получаются интересными, их потом тоже пускают в публичное поле. Некоторые IT-компании, обладая большим массивом данных, делятся своей аналитикой. Всё это называется в новостном потоке «исследованиями», но редко имеет отношение к науке.

Шаг №1

Поиск

Предположим, вы хотите узнать, какие исследования подтверждают эффективность интервального повторения для запоминания информации. Начать поиск можно по-разному:

Способ №1: поиск по ключевым словам в обычном поисковике

Большая часть ссылок в выдаче, конечно, приведёт вас на рекламные материалы и статьи в медиа. Но статьи специализированных медиа будут содержать и ссылки на конкретные исследования — например, в этой статье о кривой забывания есть две ссылки на работы по результатам экспериментов с интервальным повторением. Если пары ссылок на научные публикации вам недостаточно, воспользуйтесь другими способами.

Способ №2: поиск по агрегаторам научных новостей

Сузить выдачу до результатов исследований можно, если прийти со своим запросом на специализированные порталы. На таких сайтах, как ScienceDaily или EurekAlert, публикуются пресс-релизы университетов или новости, написанные журналистами, о недавних исследованиях. Пересказы опубликованных статей простым языком публикуют и многие научные журналы, особенно такие гиганты, как Nature, Science, PNAS. Российские исследования собирают на агрегаторе «Открытая наука», а также в специализированных научно-популярных СМИ (например, здесь).

Способ №3: поиск по базам научной литературы

Самая известная из бесплатных баз — «Google Академия», для поиска англоязычных статей также можно использовать Dimensions или Microsoft Academic Search. Поиск по русскоязычным научным публикациям возможен как через «Google Академию», так и на сайте Российского индекса научного цитирования (РИНЦ), но там нужна регистрация. Все эти базы выдадут вам ссылки исключительно на научные работы.

Плюс по сравнению с агрегаторами в том, что в базе вы увидите не изолированную новость в том виде, как её понял автор пресс-релиза или журналист, а целую сеть исследовательских статей. Можно открыть профиль автора и посмотреть, что ещё он написал по этой теме; увидеть, кто из учёных ссылался на эту статью в своих работах и что писали они. Так вы найдёте гораздо больше, чем по ключевым словам. Минус — упрощённых пересказов статей тут не будет.

Предположим, вы нашли несколько заинтересовавших вас статей. Вернее, пока не статей, а ссылок на них — лишь небольшую часть находок вы сразу увидите как полные тексты. Большинство научных статей доступны, увы, только платно на сайтах журналов. Такая закрытость научных публикаций от тех, на чьи средства в общем-то и делается наука, — налогоплательщиков — давно служит мишенью для критики.

Пока издатели выдерживают натиск борцов за открытый доступ, легальных способов найти полный текст платной статьи мало. Фактически всё, что можно сделать без нарушения авторских прав, — проверить профили авторов статьи в научных сетях ResearchGate и Academia и на сайтах вузов и институтов, где они работают. Там, а также в архивах препринтов в области образования и социальных наук могут лежать предварительные или даже финальные версии нужной вам работы.

Шаг №2

Отбор

Попробуем теперь определить, стоит ли доверять найденным статьям. Это не так просто. Если бы честное хорошее исследование можно было с ходу всегда отличить от статьи с подтасовкой данных, некорректными заимствованиями из других работ или просто с плохой методологией, то научным журналам никогда не пришлось бы извиняться за уже опубликованные статьи. В реальном мире отозванных научных статей так много, что существуют уже специальные базы данных для них. Подделку под науку не всегда просто распознать, но есть несколько инструментов. Ниже перечислено, что имеет значение, — вам нужно оценить эти критерии.

Рейтинг издания

Например, поищите его в SCImago Journal Ranking или в открытом списке на сайте Scopus. В них, как и на других платформах, научные издания ранжированы по тому, как часто исследователи ссылаются в других работах на статьи в этих изданиях. Чем больше ссылок, тем более значимыми и влиятельными считают статьи, а значит, и журнал, который их опубликовал.

В список журналов на платформе eLibrary (там же размещена база данных РИНЦ) входят в основном российские издания. Для каждого журнала указано, в какие относительно престижные базы данных (зарубежные Web of Science или Scopus, «ядро» РИНЦ или RSCI) он входит.

Сайт издания

Если журнал не входит ни в какие солидные базы, это ещё не значит, что он ни на что не годится. Посмотрите его сайт. Вот несколько «красных флажков»:

• нет данных об издателе;
• нет данных о редколлегии;
• ложная информация об индексации в базах (допустим, в списке Scopus журнала нет, а на сайте издания указано, что он туда входит);
• не размещаются аннотации статей, их ключевые слова, сведения об авторах;
• по опубликованным статьям видно, что с текстом не работали, — например, в них много опечаток.

Методы исследования

Чтобы полноценно оценить методологию научной работы, конечно, нужно быть специалистом в той области, которой она посвящена (и даже этого не всегда достаточно). В силах рядового читателя, как правило, лишь убедиться, что выводы в статье не взяты с потолка. Обратите внимание на такие пункты:

• Любое утверждение в научной работе должно быть обосновано. Поэтому даже вводная часть всегда пестрит ссылками на предыдущие исследования. Если вы видите в статье громкое утверждение без ясного указания, как и кем получен такой вывод, это повод усомниться в качестве исследования.
• Если исследование основано на опросе или эксперименте, убедитесь, что отбор участников выглядит адекватным. Насторожить могут слишком малый объём выборки (например, выводы о целом университете делаются на группе из 20 студентов) и её несоответствие цели исследования. Допустим, авторы хотели изучить отношение молодёжи к VR-технологиям, а в эксперименте участвовали только девушки со второго курса «Психологии».
• Постарайтесь в общих чертах понять, как авторы измеряют параметры, которые они оценивают в исследовании. Например, как определяют, улучшилось ли понимание темы учениками после внедрения нового метода, и с чем именно сравнивают результат «после». Подход авторов может не совпадать с вашим, но важно, чтобы они его объясняли и обосновывали, почему выбрали именно такие параметры для оценки.
• Проверьте, не считают ли авторы себя всемогущими. У каждого исследования есть ограничения, потому что ни один эксперимент или опрос не воспроизводит всю сложность реального мира. В хорошей статье будет указано, на какие ситуации и контексты выводы распространяются, а какие исследование просто не охватило.
• В целом открытость — хороший тон. Если в начале статьи автор выдвинул три гипотезы, и только одну из них удалось подтвердить, а по остальным не получилось ни «да», ни «нет», это показатель научной честности. Менее щепетильный учёный просто не написал бы в статье о неподтверждённых гипотезах. Некоторые исследования также могут быть заранее зарегистрированы — при этом учёные открыто фиксируют, что собираются изучить, какие гипотезы выдвигают. Многие также публикуют наряду со статьёй наборы данных по эксперименту, чтобы у желающих была возможность проверить расчёты.

Содержание статьи

Что, кроме нерепрезентативной выборки, может снизить доверие к статье, опубликованной в неплохом журнале? В одном из эпизодов подкаста EdU.Radio Александр Фенин, на тот момент руководитель Центра продуктовых исследований «СберКласса», предложил своё буллшит-бинго. В частности, по его мнению, не стоит доверять статьям, авторы которых:

• уверены в уникальности своего исследования;
• обесценивают работу оппонентов;
• делают чересчур категоричные выводы и обобщения;
• злоупотребляют метафорами;
• запугивают читателя и делают конспирологические намёки;
• ссылаются в подтверждение своих мыслей на работы, авторы которых ничего такого не писали;
• некритично ссылаются на знаменитые классические исследования (например, Стэнфордский тюремный эксперимент), результаты которых уже не считаются достоверными;
• сводят все социальные явления к биологии или работе мозга.

Если необходимо сверить свои выводы об исследовании с мнением эксперта, а обсудить их не с кем, посмотрите, кто и как ссылался на прочитанную вами статью. Узнать это можно в «Google Академии» и других базах — к каждой статье приводится список более новых работ, авторы которых на неё ссылаются. Также можно поискать, что писали о близких темах в систематических обзорах, например, в Campbell Collaboration или в What Works Clearinghouse.

Шаг №3

Внедрение

Предположим, описанный в одном из исследований метод так вам понравился, что вы хотите внедрить его в практику. Чтобы принять такое решение, недостаточно убедиться в том, что исследование качественно и результаты достоверны. Нужно понять, применимы ли они в вашей работе.

Австралийская организация исследований в области образования (AERA) предлагает педагогам и управленцам руководство к размышлению над научными доказательствами. Вот над какими вопросами эксперты советуют задуматься:

• что в исследовании связано с вашей практикой, схоже с вашими текущими условиями и задачами;
• что отличается;
• что привлекает вас в исследовании;
• почему применённый в исследовании подход сработал, какие ресурсы и условия были ключевыми для успеха;
• что вам придётся изменить в своей практике, чтобы внедрить этот подход, и будет ли этого достаточно, чтобы достичь эффекта;
• как вы адаптируете новшество к своей системе и как адаптация повлияет на ключевые элементы, которые обеспечили успех подхода в исследовании;
• сколько будут стоить перемены и откуда вы возьмёте эти средства и время;
• что нужно будет убрать из практики, чтобы ввести новый подход, и какими будут последствия отказа от старых, привычных форм работы для учеников.

Если вам кажется, что польза от внедрения нового перевешивает все издержки, решите для себя ещё два вопроса:

• какие ресурсы потребуются по ходу внедрения, как вы их получите и как будете распределять;
• как вы будете отслеживать эффективность нововведения — какие данные собирать, как убедиться, что изменения связаны именно с новым подходом.

Этот длинный список только подтверждает — доказательное образование не панацея и даже не набор выписанных доктором лекарств. Работа с исследованиями предполагает, что практики тоже становятся немного исследователями — или хотя бы партнёрами учёных.