Что такое конструкт и зачем он тем, кто что-то исследует в образовании
Он понадобится, если вы хотите измерить, как в процессе образования меняются личностные характеристики, навыки или, например, мотивация.
Иллюстрация: Катя Павловская для Skillbox Media
Критическое мышление, цифровая грамотность, вовлечённость в обучение — всё это для психометрики (науки об измерениях качеств людей) конструкты. Точнее, в науке это понятие называется теоретическими или латентными конструктами.
Что скрывается за этим термином и как от теоретического описания перейти к применимым на практике тестам и опросникам? Отвечаем в карточках.
Кто помог нам разобраться
Алёна Куликова
Кандидат наук об образовании, академический руководитель магистерской программы «Обучение и оценивание как наука», научный сотрудник Центра психометрики и измерений в образовании Института образования НИУ ВШЭ.
Что психологи и психометрики называют конструктом?
Конструкт — любая ненаблюдаемая характеристика человека или группы людей, всё, что нельзя увидеть непосредственно, потрогать, померить линейкой. Например, что такое «хорошее настроение»? Если это объект нашего исследования, то оно превращается в конструкт.
Есть два ключевых момента. Во-первых, конструкт определяется теоретически — то есть определение любой такой характеристики должно быть подкреплено одной или несколькими научными теориями.
Тут важно оговориться, что теория — не что-то совсем абстрактное, не просто идеи великих философов. Имеется в виду некая подтверждённая данными идея о причинах того или иного поведения людей или о природе тех или иных различий между ними.
И во-вторых, чтобы исследовать конструкт, нам нужно его измерить, и здесь нужны наблюдаемые индикаторы. Продолжая пример с хорошим настроением — измерить настроение само по себе нельзя, но можно наблюдать, улыбается человек или нет. Улыбка будет одним из индикаторов настроения.
Какие бывают конструкты?
Понятие конструкта используется не только в психологии, оно есть во всех социальных науках. Практически все объекты их исследований — конструкты. Их можно разделить на простые и сложные.
Простой конструкт — что-то односоставное. Например, стаж работы тоже может быть конструктом. Ведь его нельзя оценить на глаз, всё равно придётся задать человеку вопрос. Но так как определение конструкта очень простое, будет достаточно буквально одного вопроса.
Сложные конструкты образованы из нескольких составляющих. Например, учебная мотивация бывает как минимум внутренней и внешней. И чтобы оценить такой сложный конструкт, одного вопроса будет мало.
К другим примерам сложных конструктов можно отнести критическое мышление и социально-эмоциональные навыки. Любые теории, связанные с критическим мышлением, говорят нам о том, что это составной, сложный конструкт, в который входят, например, способность к поиску и анализу информации, способность делать выводы.
Цифровая грамотность тоже включает много разных составляющих — это и вычислительная грамотность, и коммуникационная грамотность в цифровой среде, и цифровая безопасность, техническая грамотность.
Конструкты могут характеризовать не только личность, но и среду. Например, комфортность рабочей среды или характер культуры — коллективистская она или индивидуалистическая.
Откуда психометрики знают, какие именно составляющие входят в тот или иной сложный конструкт?
Понимание того, из чего состоит конкретный конструкт, складывается из предыдущих исследований. Например, конструкт социально-эмоциональных навыков определяют через модель «большой пятёрки», в которую входят сознательность, экстраверсия, открытость новому, нейротизм и доброжелательность.
Эта модель продолжила линию исследований, в которых личность пытались описать через существующие в языке словесные характеристики. Подобные исследования личностных черт первым провёл американский психолог Гордон Олпорт. В 1960-е годы с помощью метода факторного анализа все характеристики были объединены в группы — факторы.
Однако финальное и наиболее устоявшееся описание «Большой пятёрки» принадлежит Льюису Р. Голдбергу. Именно он в 1992 году опубликовал устойчивую пятифакторную модель личности, которая впоследствии получила огромное количество эмпирических подтверждений на выборках из разных культур и возрастов и показала хорошую валидность.
Какие конструкты самые важные для исследований образования?
Можно выделить четыре группы конструктов. Первая — предметные компетентности, связанные со знаниями по предметам. Это не только образовательные результаты по отдельным предметам, но и более общие характеристики — например, количество лет обучения.
Вторая — универсальные компетентности. Сюда относятся критическое мышление, креативность, кооперация, саморегуляция и другие.
Третья группа — личностные характеристики. Например, как в модели «большой пятёрки».
И к четвёртой группе можно отнести характеристики, которые сравнительно недавно попали в фокус исследований образования — субъектность обучающегося, его самостоятельность, агентность или проактивность.
С чего начинается измерение конструкта?
Любое исследование и измерение начинается с постановки цели. От ответа на вопрос, зачем нужен инструмент или исследование, будет зависеть выбор теории. Только определившись с целями, можно на основе существующих теорий понять, что именно следует измерять.
Обращение к теории очень важно. Почему некоторые учёные скептически относятся, например, к использованию цифровых следов в исследовании человека? Потому что за цифровыми данными не стоит никакой теории. А без неё все интерпретации субъективны.
Например, почему студент при дистанционном обучении часто останавливает видеолекцию? Можно предположить, что он записывает и обдумывает материал. Но этот вывод легко оспорить — может, студент часто отвлекается, или у него проблемы с интернетом. Чтобы интерпретации имели смысл, нужно предварительное исследование опыта онлайн-обучения, на основе которого можно выработать теоретические объяснения такого поведения.
Как исследователи понимают, по каким показателям оценивать конструкт?
Этот шаг называется операционализацией конструкта. Операционализация — это перевод теоретического определения в набор операций-индикаторов, которые можно непосредственно наблюдать. Например, непосредственно наблюдать креативность человека нельзя. Чтобы её измерить, нужно подумать, в каких наблюдаемых действиях человека она может проявляться. Это и будут индикаторы.
Для операционализации, как правило, вновь проводят анализ научной литературы. Потому что если в каких-то ранее проводившихся исследованиях уже есть описание конструкта, который вас интересует, то, скорее всего, там есть и данные о том, в чём он проявляется. Но иногда теоретические построения могут быть противоречивыми или не подходить по другим причинам — и тогда приходится разрабатывать свою операционализацию.
Ещё одна сложность в том, что один и тот же конструкт можно измерять через разные наборы индикаторов в зависимости и от теории, и от целей оценивания. Например, в стандартном тесте креативности Торренса нужно привести как можно больше вариантов использования одного предмета. Но есть и другие способы измерения креативности — допустим, участника исследования просят собрать из разных элементов изображение какого-то несуществующего животного. Оба способа рабочие и измеряют именно креативность, просто конструкт в них операционализирован по-разному.
Зачем нужны разные тесты с отличающимися наборами индикаторов для одних и тех же конструктов?
В социальных науках исследуются достаточно широкие понятия — характеристики, навыки, способности. И в зависимости от целей исследования можно смотреть на разные аспекты одного и того же конструкта.
Цель учитывает в том числе особенности исследуемой выборки. Например, для разных возрастных групп даже в рамках одной теории придётся для одного и того же конструкта подбирать разные индикаторы. Так, индикаторы критического мышления у студентов вузов и младших школьников, конечно, отличаются.
Как подбирают инструменты измерения конструктов? Что это обычно — анкета, тест?
Выбор инструмента зависит от сути конструкта и от цели исследования. Например, в измерении социально-эмоциональных навыков лучше использовать не обычные опросники, а сценарные методики. Это тоже текстовые тесты, но в них испытуемому нужно не отвечать на вопросы о себе, а предлагать варианты поведения в разных ситуациях.
Дело в том, что в опросниках про себя люди часто склонны давать социально желательные ответы или вообще отвечать в каком-то одном стиле — например, соглашаться с большинством утверждений или всегда выбирать крайние варианты. В сценарных же заданиях человеку предлагают истории не про него самого, а про кого-то другого. Суть утверждений там не так легко считывается, что помогает снизить степень искажения в ответах.
В исследованиях образования более сложные и увлекательные формы тестов, чем обычные опросники, применяются также с целью мотивировать участников исследования. Потому что им зачастую в принципе непонятно, зачем заполнять тест, а сценарные и игровые задания могут быть увлекательными сами по себе.
Ещё одна причина, почему стандартный опросник может не подойти — возраст респондентов. Например, сейчас мы разрабатываем в Институте образования ВШЭ сценарную методику для оценки социально-эмоциональных навыков у первоклассников. Инструмент выглядит как комикс или мультфильм — история рассказывается голосом и сопровождается картинками, а ребёнку нужно ответить на вопросы о том, ведёт ли он себя в школе похоже на того или иного персонажа истории.
Картинки нужны, с одной стороны, потому что без них ребёнку сложно удерживать много информации достаточно долго, чтобы сделать выводы. И с другой стороны, уровень рефлексии у детей ещё не настолько высокий, чтобы подумать о своём поведении и сказать, согласны они с утверждениями обычного классического опросника или нет.
Есть ли какие-то преимущества у цифровых инструментов измерения перед «обычными»?
Преимущество цифровых инструментов в том, что они позволяют получить гораздо больше индикаторов наблюдаемого поведения. Если раньше можно было лишь предположить, как происходит восприятие экрана, то сейчас реально отследить движения курсора, движения глаз и не только. И это всё объективная информация, которую можно записать и оценить количественно.
Но повторю: если полученные цифровые данные не положить на какую-то теорию, то их просто невозможно интерпретировать. Вот мы узнали, что ребёнок, когда решает задачку, смотрит сначала в левый верхний угол экрана, а потом в правый нижний. И что дальше? Важно всё-таки, чтобы технология всегда шла в связке с теорией.
Какие конструкты самые трудные для измерения?
Сложно измерить то, для чего пока нет хорошей теории. Потому что тогда будет трудно составить набор связанных между собой индикаторов.
Возьмём самостоятельность и агентность. Их изучение — довольно новое направление, в нём существуют разные теории, но общепризнанной, по которой можно создать инструмент, ещё нет.
И в целом все универсальные компетентности, метапредметные навыки в образовании — это довольно свежее направление, где нет устоявшихся моделей измерения. Нет даже моделей этих компетенций. Их заимствуют из других областей, например из экономики или из организационной психологии, и пытаются адаптировать для образовательного контекста. Простор для улучшения и моделей, и инструментов ещё есть.
А какие качества в образовании уже научились надёжно измерять?
Пожалуй, академические достижения, предметные знания. Здесь традиция измерений уже очень давняя, и их научились более-менее качественно оценивать. И всё равно в связи с развитием технологий появляются стимулы развивать и улучшать уже существующие инструменты.
Больше интересного про образование — в нашем телеграм-канале. Подписывайтесь!