Как используют нейроинтерфейсы в образовании: «Можно определить, что показалось скучным»

Из этого интервью вы узнаете:

• как без громоздкой лабораторной аппаратуры узнать, что происходит в мозге;
• помогает ли нейроинтерфейс стать более сосредоточенным и внимательным;
• как с помощью нейроинтерфейсов измеряют креативность и уровень стресса;
• могут ли нейротехнологии сделать образование более персонализированным;
• что пока ограничивает применение нейроинтерфейсов.

Сергей Горюшко

Нейрофизиолог, координатор научных разработок в компании «Лаборатория знаний». Наряду с проектами в сфере нейротехнологий компания создаёт экспертно-аналитические системы и системы управления знаниями для бизнеса, научных и образовательных организаций. Все разработки направлены на усиление интеллекта человека и улучшение работы команд.

Что такое нейроинтерфейсы и зачем они образованию

— Какие именно устройства называют нейроинтерфейсами?

— Любые устройства, которые считывают сигнал головного мозга и передают его на компьютер. Чёткого определения нет, потому что можно считывать разнообразные сигналы несколькими способами: с помощью электроэнцефалограммы, функциональной магнитно-резонансной томографии (фМРТ) или инфракрасной спектроскопии.

У любых нейроинтерфейсов есть две парадигмы использования. Первая — активная, когда с помощью устройства мы передаём сигналы от мозга какому-то ещё устройству, например протезу, и управляем им. Вторая — пассивная: сигналы просто считываются, данные собираются, а решения на их основе принимает кто-то другой, не сам человек, который пользуется нейроинтерфейсом.

— На каком методе основана работа современных нейроинтерфейсов?

— В основном считывают электрическую активность мозга. Электроэнцефалограмма появилась раньше остальных методов — человеку её впервые сделали уже в 1924 году — и остаётся наиболее дешёвым из них. Только самых популярных нейроинтерфейсов на основе ЭЭГ можно назвать до 20 штук. Они работают по одному и тому же принципу, и даже внешне многие из них похожи.

— А есть более инновационные варианты?

— Да, появляются носимые устройства и других типов — например, связанные с изменениями магнитных полей, — но они пока дороговаты для широкого применения. Перспективный метод — функциональная спектроскопия в ближней инфракрасной области, fNIRS (functional near-infrared spectroscopy). Такие разработки ведутся, например, в «Сколково».

Принцип такой: устройство надевают на голову, как и нейроинтерфейс на основе ЭЭГ, но вместо электродов на нём установлены световоды. Они испускают инфракрасный свет, который проходит сквозь череп в мозг, отражается там от сосудов и выходит с противоположной стороны головы. Там на устройстве установлены уже не световоды, а приёмники. От расширенного сосуда отражается больше лучей, чем от суженного, и это позволяет в реальном времени оценивать кровоток, а по нему — активность мозга.

— Как подобные устройства используют в образовании?

— На самом деле нейроинтерфейсы в образовательных целях пока пытаются применять немногие компании. Большинство разработок сейчас сосредоточены на помощи парализованным людям или на управлении внешними девайсами вроде квадрокоптеров. Результаты тут наиболее очевидны. Человек парализован, но вот он надел нейроинтерфейс и может управлять креслом-коляской или набирать текст.

В образовании тоже есть проекты по помощи детям с какими-либо заболеваниями или особенностями поведения. Например, по коррекции СДВГ — синдрома дефицита внимания и гиперактивности. Благодаря работе с нейроинтерфейсом ребёнок может научиться брать себя в руки, когда нужно. Такие методы уже довольно распространены. Взрослые тоже, кстати, могут тренировать концентрацию и другие способности таким образом, но в работе с детьми нейроинтерфейсы всё же больше востребованы.

— Как это работает?

— Используется биологическая обратная связь: в режиме реального времени человек видит на экране изображения, основанные на сигналах от его мозга, например, о концентрации внимания. И требуется выполнить задание — сделать так, чтобы сигнал изменился и, соответственно, изменилось изображение на экране.

В случае с детьми это может быть мультфильм. Пока ребёнок спокоен и сосредоточен, мультик будет идти красиво, плавно. Если начнёт отвлекаться, то мультик будет закрываться чёрными квадратиками, пойдёт неприятный шум и так далее. При такой методике и взрослые, и дети неплохо осваивают контроль за своим состоянием — потому что у них есть объективная обратная связь о том, что с ними сейчас происходит.

— Применяются ли интерфейсы в обычной учебной обстановке?

— Таких примеров мало, но можно назвать компанию BrainCo. Она создана в США, но основные проекты реализованы в Китае. Например, в классах использовали нейроинтерфейсы с лампочкой — индикатором текущей концентрации. По цвету индикатора учитель мог определить, сконцентрирован ученик или нет, и как-то на него воздействовать. Но на мой взгляд, это довольно авторитарный способ контроля за учеником в режиме реального времени.

— Что насчёт применений нейроинтерфейсов не во время обычных занятий, а на тестах, экзаменах? Есть такие наработки?

— Есть варианты того, как за счёт этого расширить прокторинг. Дело в том, что у ученика, который решает задания самостоятельно, паттерн мозговой активности совсем не такой, как у того, кто списывает. У нас был интересный сторонний проект с одним шахматистом. Мы сравнивали активность его мозга в ситуациях, когда он думает над шахматными ходами сам и когда действует по подсказкам бота. Разница вышла большая, и теоретически можно использовать тот же принцип контроля учащихся во время экзамена.

Но я считаю, что современный контроль на экзаменах и так уже огромен: над экзаменуемым несколько камер, чтобы было видно и его руки, и глаза, и спину… Не очень представляю, как можно списать в таких условиях.

Как нейроинтерфейсы используют в «Лаборатории знаний»

— Какие устройства вы используете?

— У нас платформа для обработки данных ЭЭГ, и она может работать со множеством устройств. В большинстве случаев работаем с двумя: BrainBit производства российского разработчика «НейроМД» и Muse канадского разработчика InteraXon. Сейчас по понятным причинам всё больше склоняемся к российским устройствам.

— Какими задачами с применением нейроинтерфейсов именно в образовании вы занимаетесь?

— Мы используем нейроинтерфейсы в пассивной парадигме: считываем сигналы мозга учащихся в процессе занятия или решения задач и передаём полученные данные учителям и методистам. По сути, собираем обратную связь о занятии для учебной аналитики.

Конечно, такую обратную связь можно получить и традиционными методами. Но, если занятие было длинным, человек не вспомнит деталей своей реакции. А с нейроинтерфейсом мы видим всю картину поминутно или даже посекундно.

— Зачем вашим заказчикам обычно нужны такие измерения активности мозга?

— Самая частая мотивация — исследовательская. Данные нейроинтерфейсов используют, когда внедряется новая программа или инструмент и хочется проверить их эффективность. Ещё один вариант — для шоу, поскольку нейроинтерфейс — это что-то новенькое, с чем большинство людей сталкивались редко.

Например, у нас было несколько проектов с «Нетологией». Один из них — образовательный: мы проверяли, на длинных или на коротких видео у студентов выше уровень концентрации и увлечённости. Результаты, кстати, получились неоднозначные: оказалось, что ролики по 3–7 минут наиболее увлекательны, но концентрация на них минимальна, человек просто не успевает включиться в работу. При 20 минутах увлечённость минимальная, а концентрация неравномерная.

Но так как зависимость этих показателей от продолжительности видео нелинейная, для других образовательных продуктов её лучше проверить заново.

— А другие проекты были не образовательными?

— В другом случае мы использовали нейроинтерфейс на фестивале просто для того, чтобы сделать стенд компании поинтереснее.

Бывает и так, что хочется просто «поиграть» с новой технологией.

Кстати, мы как-то проводили хакатон, где собирали новые идеи, для чего применять нейротехнологии. Понравилось предложение насчёт того, что их можно было бы использовать в профориентации.

— Любопытно: как измерение активности мозга может помочь профориентации?

— Тут, конечно, пока много нерешённых методологических вопросов, но идея такая: когда человек до конца сам не знает, к чему душа лежит, можно было бы давать ему разные задания и смотреть на его мозговой отклик во время их выполнения.

— Каким был ваш первый образовательный проект с использованием нейроинтерфейсов?

— Это был проект с «Артеком». Мы изучали, как дети реагируют на занятия в разных секциях — по керамике, фортепиано и ракетостроению.

И вот какой инсайт мы получили: на секции по ракетостроению на первом занятии 12-летним ребятам показывали ролик о Гагарине, а на следующем давали практическое задание собрать макет космической ракеты из подручного материала. По тому, какой у детей был уровень вовлечённости и концентрации в процессе, с огромным отрывом побеждало практическое задание. Судя по ЭЭГ, во время просмотра видео подростки были вообще не сконцентрированы — просто сидели и ничего не воспринимали.

— Разве этот инсайт для педагогов не был очевидной истиной и без измерения активности мозга?

— Если просто наблюдать за подростками в то время, когда они смотрели ролик, нет впечатления, что им неинтересно. Кстати, мне видео понравилось. Ролик был хороший, но, видимо, он не подошёл целевой аудитории: или возраст не тот, или на этот просмотр ребят нужно было заранее как-то мотивировать. Получилось, что первое занятие прошло впустую и из-за этого на следующее кто-то мог уже не пойти. То есть наш небольшой инсайт о том, как дети реагируют на видео, помог перестроить программу секции.

— Какой ваш проект в образовании оказался самым сложным и почему?

— Это был проект с одним из крупных банков. Там топ-менеджеры учились проводить с помощью разных методик креативные командные сессии — по созданию новых продуктов, решению сложных проблем, запросов клиентов и так далее.

Нас пригласили на очные сессии, чтобы оценить, какие из используемых методик лучше стимулируют креативность у участников и можно ли как-то переформатировать занятия, чтобы повысить удовлетворённость от обучения. Сложность была в том, что там было много людей одновременно и нам надо было давать инсайты как организаторам (практически сразу после завершения занятия), так и самим участникам. Мы старались для каждого сделать какой-то вывод, чтобы для них все эти измерения были небесполезны.

— Что это могли быть за индивидуальные выводы?

— Например, мы могли сравнить показатели человека со средними для группы: какие методики проведения креативных сессий его увлекли больше, чем одногруппников, в какие моменты он был наиболее креативен, когда проявлял лидерство и так далее. И старались каждому дать персональные рекомендации, что с этим можно делать в будущем в работе.

— А для организаторов какие общие результаты вы измеряли и что интересного выяснили?

— Мы сравнили между собой разные методики проведения креативных сессий, а кроме того, выявили интересную вещь: вне зависимости от того, какой подход использовался, было три пика креативного состояния.

Первый наступает буквально через две-три минуты после начала выполнения задания. В этот момент участники выдают все свои лучшие первоначальные идеи и обсуждают их. Следующий пик — ещё через четыре-пять минут, когда надо придумать что-то более экстраординарное, неочевидное. А третий — перед дедлайном, когда модератор объявляет, сколько времени осталось до конца. В этот момент участники лихорадочно начинают придумывать что-то, что не стыдно будет показать другим группам.

— Как вы замеряли креативное состояние человека по ЭЭГ?

— Нам для этого потребовалось сначала разработать модель того, как креативное состояние выглядит в виде активности мозга. Для этого мы проводили отдельные экспериментальные сессии.

Вообще, это важная часть нашей работы, которая обычно остаётся в тени. Перед каждым проектом нам надо сначала погрузить человека в целевое состояние, чтобы понять, как выглядит на ЭЭГ стресс, концентрация, чрезмерная нагрузка на память, креативное состояние или любое другое. Надо как-то понять, чем оно отличается от обычной активности мозга. А для этого нужно смоделировать ситуацию, в которой человек придёт в нужное состояние, и замерить, что будет происходить с его мозгом.

Например, чтобы смоделировать стресс, мы неожиданно просим человека спеть песню. С помощью нейроинтерфейса записываем, что именно происходит в его мозге в процессе, и дальше, уже используя алгоритмы машинного обучения и простой статистики, формируем принципы, по которым можно одно состояние отличить от другого.

— А эти принципы универсальные для всех людей или их для каждого участника приходится выявлять индивидуально?

— В идеале, конечно, стоит с каждым человеком проводить отдельную калибровку, но это занимает время. Поэтому мы «отлавливаем» интересующие нас закономерности на экспериментальной группе, которая соответствует целевой аудитории будущей реальной сессии.

Поэтому, если проект предполагает исследование детей, то для экспериментальных сессий надо набрать группу детей такого же возраста. Если будем работать со взрослыми — то группу взрослых.

При этом индивидуальные различия в реакциях, конечно, существуют — самые свежие области коры мозга у нас формируются прижизненно, и паттерны сигналов от них в итоге разнятся. Но мы всякий раз набираем большую экспериментальную группу и ищем общие сигналы, более-менее одинаковые для всех.

— Что это могут быть за общие сигналы?

— Общее состояние, в котором находится человек в текущий момент. Конечно, не стоит надеяться, что с помощью нейроинтерфейса можно прочитать отдельные мысли. А если кто-то такое утверждает, то он переоценивает возможности технологии.

При использовании нейроинтерфейса можно ввести моторные команды, которые человек будет мысленно отдавать протезу, или умному дому, или компьютеру. Но чем больше внешних помех, тем больше будет ошибок распознавания. Поэтому вне лаборатории использовать нейроинтерфейсы пока приходится с осторожностью.

Какие у использования нейроинтерфейсов перспективы

— Если обобщить ваш опыт, какие задачи нейроинтерфейсы помогают решать в образовании уже сейчас?

— Во-первых, они помогают повышать вовлечённость самих участников процесса. Когда учащийся получает данные о себе самом, о том, как он учится, он больше интересуется и курсом, который предоставляет ему эти данные.

Во-вторых, методисты получают ценные инсайты о том, как стоило бы переработать курс. Мы пытались давать обратную связь преподавателям в режиме реального времени, но очень сложно одновременно вести занятие и реагировать на данные с дашборда. Получается, эти данные полезны постфактум, чтобы учесть их на следующем занятии или при следующем запуске курса.

— А когда, по вашему опыту, собирать данные об активности мозга учащихся бесполезно?

— Прежде всего, если ученики в целом против того, чтобы за ними следили, собирали о них какие-то данные. Или если они сами не получат пользы от этого процесса (то есть образовательный проект хочет собрать данные только для себя, а для участников никакой обратной связи на основе этих данных не планируется). Тогда участники будут так или иначе саботировать замеры и в результате мы получим только «мусорные» данные — улучшить программу они не помогут.

Ещё после многих наших пилотных проектов складывается впечатление, что бесполезно собирать данные об активности мозга, не имея какой-либо предварительной гипотезы.

— Почему?

— Могу привести пример. Недавно закончился наш совместный проект с Высшей школой менеджмента СПбГУ по технологиям виртуальной реальности в образовании. Поясню: у VR в образовании эффект зачастую скромный, а ВШМ хочет разобраться, при каких условиях обучение в виртуальной реальности так же эффективно, как в традиционных форматах.

Сначала коллеги попытались использовать нейроинтерфейсы так: измеряли активность мозга у тех, кто учился коммуникативным навыкам в VR, и у тех, кто учился тем же навыкам с тренером. Планировалось, что при сравнении результатов найдутся какие-нибудь различия и по ним можно будет понять, что идёт не так при обучении в VR. Но никаких значимых различий не нашли.

Когда мы подключились к проекту, то начали с теории: а почему вообще должна быть разница между тем, как мозг работает при обучении в VR и в обычных условиях?

Есть теория когнитивной нагрузки, которая говорит, что рабочая память ограничена по объёму. Если вы перегружаете ученика, он ничего не запомнит, образовательный результат ухудшится. А VR — непривычная рабочая среда, она сама по себе нагружает рабочую память. Мы предположили, что если человека предварительно адаптировать к VR, то образовательные результаты обучения в такой среде станут лучше.

Гипотеза подтвердилась: у людей, предварительно адаптированных к VR, результаты обучения были не хуже, чем у учившихся очно. А нейроинтерфейс помог нам подтвердить, что эффект достигнут именно за счёт изменения когнитивной нагрузки — у неподготовленных людей в VR она была выше, чем при очном обучении, а после адаптации к технологии показатели выровнялись.

— Как вы считаете, какой потенциал у нейроинтерфейсов в образовании в обозримом будущем — чему они могли бы поспособствовать?

— Возможны более сложные способы применения, чем образовательная аналитика. Аналитика больше интересна методисту или автору контента, а что получает при этом сам ученик? Для него возможно автоматизированное построение персональной образовательной траектории.

Конечно, сейчас много кто занимается построением персональных образовательных траекторий, но как раз одна из сложностей — это сбор и учёт обратной связи от ученика. Как понять, вынес он что-то из задания или нет, отвлекался ли он в процессе, не помешает ли это ему на следующем этапе? Нейроинтерфейс может помочь объективными данными.

— А вы уверены, что данные о концентрации внимания в моменте изучения обязательно связаны с тем, как будет усвоен материал?

— Наши исследования с МГПУ по показателям мозговой активности в процессе лекции показывают, что по ним можно лучше предсказать результаты экзаменов, чем по субъективному мнению студента о его обучении. Чтобы узнать это мнение, коллеги опрашивали студентов после каждой лекции: сложно было, понравилось ли, поняли ли? И оказалось, что корреляция этих ответов с итоговым баллом по курсу где-то 20%. А у данных с нейроинтерфейсов — 45–50%.

Пока мы не разрабатывали эту тему глубоко, но, в принципе, это может использоваться для автоматической персонализации.

Это будет полезно в случаях, когда темы сами по себе сложные и переделать их нельзя — не может, например, курс по высшей математике быть простым.

Какие ограничения есть у современных нейроинтерфейсов

— Персонализация обучения с помощью нейротехнологий — очень интересная идея. А какие ограничения, на ваш взгляд, препятствуют сейчас реализации таких решений?

— Много организационных барьеров. Чтобы выстраивать персональные образовательные траектории, направлять учащихся по разным развилкам, нужна прорва контента. Трудно сделать много вариантов одного и того же, чтобы они действительно различались по сложности. Возможно, тут помогут модные сейчас генеративные модели искусственного интеллекта.

Но основные барьеры, как мне кажется, методологические. Как мы определим, насколько можно в общем смысле доверять нейроинтерфейсам? Нужно ли вводить какую-то калибровку или нет? А если мы это внедрим массово, что делать, если у человека нет нейроинтерфейса? И главное — как продумать методологию внедрения, чтобы эта технология всем приносила пользу? Дело в том, что в общем виде этот вопрос не проработан, нам для каждого конкретного случая приходится придумывать, как именно использовать полученные данные.

— А в технологическом плане есть какие-то затруднения? Ведь энцефалограмма с нейроинтерфейса получается не такой точной, как на медицинских приборах?

— Да, точность отличается в худшую сторону. Основных различий два.

Первое — у лабораторного энцефалографа, как правило, больше электродов, которые принимают сигнал на поверхности головы. Это позволяет точнее определить, от какой именно зоны мозга он исходит.

Второе различие в том, что для энцефалограммы очень важно обеспечить плотное прилегание электродов к коже головы. Дело в том, что через череп от мозга проходит только слабый электрический сигнал. Собственно, поэтому в компании Neuralink Илона Маска разрабатывают инвазивные устройства — электроды будут вводить непосредственно в мозг.

С поверхности головы считать сигнал гораздо сложнее, а если под электрод попадает хоть чуть-чуть воздуха, вообще ничего не получается. Чтобы обеспечить хороший контакт электрода с кожей головы, в лабораториях используют специальный гель — по сути, жидкий электрод, куда точно воздух не попадает. При повседневном использовании нейроинтерфейса никто, конечно, не будет себе мазать голову гелем.

— Как же обеспечить прилегание и получить сигнал в этих случаях?

— Обычно используются разные ухищрения в форме самих электродов. Например, бывают такие «осьминожки», которые раскрываются и плотно прилегают к голове, и есть ещё сетка из электродов.

Проблема в том, что нужно как-то пробиться к коже головы через волосы. Есть вариант снимать сигнал только со лба, но если человек во время ЭЭГ будет морщить лоб, то из-за напряжения мимических мышц сигнала от мозга будет практически не видно.

— То есть современные устройства не вполне готовы к массовому применению?

— Скажем так: не все нейроинтерфейсы даже потребительского класса удобно носить долгое время. Некоторые нейроинтерфейсы удобно носить на голове без проблем только часа полтора. Дальше он начинает тут жать, там давить, здесь хочется почесать — и в итоге снять. Понятное дело, со временем привыкаешь, но кто-то после этих первых ощущений больше надевать его не хочет.

Более сложные девайсы очень тяжело надеть правильно, сложно добиться хорошего контакта с кожей головы. Особенности формы черепа тоже имеют значение.

Это всё мелкие проблемы, но в итоге они влияют на то, какую пользу человек может получить от нейроинтерфейса и насколько сложно это внедрить организации.