Искусственный интеллект в образовании: изучаем реальную практику

Когда речь заходит об искусственном интеллекте в образовании, фантастические сценарии будущего зачастую отвлекают от реальных возможностей, которые доступны уже сейчас. Каково же истинное положение дел?

В июне «СберУниверситет» организовал семинар «AI в обучении: на что способны технологии уже сейчас?», чтобы найти золотую середину между реальностью и фантастикой. На мероприятии собрались эксперты из «СберУниверситета», НИУ ВШЭ и Университета 2035.

Вот что они обсудили:

• какие алгоритмы ИИ применяются в обучении прямо сейчас;
• реальные кейсы внедрения ИИ в образование;
• в каких образовательных проектах имеет смысл использовать ИИ;
• почему тем, кто хочет внедрить ИИ в образовательный проект, важно помнить про этику.

Какие алгоритмы ИИ применяются в образовании прямо сейчас

Андрей Комиссаров, директор направления «Развитие человека на основе данных» Университета 2035, и Андрей Петровский, исполнительный директор по исследованию данных в Лаборатории по искусственному интеллекту «Сбера», рассказали о трёх основных типах искусственного интеллекта, которые реально применяются в обучении:

• Ансамбли алгоритмов, в основе которых лежат логики разной степени сложности. Именно такой ИИ отвечает за построение индивидуальных траекторий обучения или анализ эффективности плана урока.
• Предобученные нейросети, которые создают для решения одной конкретной задачи и обучают их на большом объёме данных. Такие нейросети могут, например, отвечать за автоматическое понимание языка или за распознавание эмоций на лицах студентов. Специалисты упомянули, что речь тут, как правило, идёт о моделях opensource, таких как зарубежные GPT-3 и BERT или отечественные YaLM 100B от «Яндекса» или RUGPT-3 от SberDevices.
• Нейросети, которые относятся к сфере теневого глубокого обучения. В этом случае предобученную нейросеть дообучают на меньшем объёме данных и приспосабливают решать более узкую задачу. Например, когда языковую нейросеть специализируют на проверку открытых заданий конкретного курса.

Андрей Комиссаров отметил, что сейчас основной спектр деятельности, к которому относится искусственный интеллект в образовании, — это Data Science. Речь о том, как на основе данных поставить гипотезу, как потом её проверить и на основе проверенной гипотезы к чему-то прийти. «В будущем, мне кажется, что мы увидим гораздо больше обучения на основе больших данных. Сейчас проблема, что больших данных [пока] мало», — заключил он.

Примеры использования ИИ в образовании в России

В продолжение дискуссии каждый спикер поделился реальными примерами применения искусственного интеллекта в обучении из своей практики. Мы сгруппировали эти кейсы в зависимости от цели использования технологии.

ИИ в обучении софт-скиллам

Андрей Комиссаров рассказал про два кейса из области работы с гибкими навыками, которые потенциально можно использовать в обучении: подбор команд и диагностику коммуникативных навыков.

Подбор команд с помощью искусственного интеллекта реализовали в рамках акселератора Национальной технологической инициативы. Перед учёными поставили задачу собирать из участников программы команды так, чтобы те потенциально могли создавать стартапы в результате своей деятельности.

Организаторы использовали данные предварительной диагностики участников и выделили пять характеристик-гармоний, на основе которых потом собирали людей в команды. Это были гармония знаний, ролей, личностных качеств, ценностей и интересов. Каждая гармония отвечала за то, чтобы в команде в итоге оказался нужный набор хард- и софт-скиллов для решения поставленной задачи.

По словам Комиссарова, такой подход позволил компоновать эффективные команды лучше экспертов-тьюторов и повысить их выживаемость в акселераторе. Спикер отметил, что потом важно продолжать наблюдение за командами, анализируя цифровой след их взаимодействия друг с другом и с образовательным контентом.

Диагностика коммуникативных навыков с использованием ИИ может быть полезной в обучении и развитии сейлз-менеджеров, педагогов и других специалистов, в чьей работе много коммуникации. Андрей Комиссаров в пример привёл проект, в котором по аудиозаписи встречи или совещания пытались измерить коммуникативные навыки участников.

По словам эксперта, благодаря ИИ удалось проанализировать, насколько сложно, связно и чисто говорит человек, разнообразна ли его речь, сколько в ней «воды». Это позволяет определить критерии хорошо развитых коммуникативных навыков и признаки типичных проблем.

Такой анализ потенциально может помочь провести диагностику коммуникативных навыков студентов, порекомендовать правильный трек развития или оценить эффективность обучения, сравнив показатели до и после.

ИИ в оценивании учащихся

Денис Федерякин, научный сотрудник и преподаватель Института образования НИУ ВШЭ, поделился двумя идеями, которые иллюстрируют использование технологии ИИ в образовательном оценивании. Одна касалась разработки заданий, вторая — проверки открытых ответов.

Автоматическую разработку заданий по русскому языку и литературе для школьников реализовали совместно с учёными Института русского языка им. Пушкина. Оказалось, что можно применить два типа ИИ:

• Простые алгоритмы. Они помогают генерировать задания на проверку понимания правил русского языка. Например, выбор буквы, обозначающей звонкий звук из нескольких предложенных вариантов. Такой способ создания проверочных заданий подходит для ситуаций, где есть понятный перечень правил русского языка, который можно описать для ИИ.
• Дообученные нейросети. Они способны генерировать задания, проверяющие языковую грамотность и понимание текста. Например, расставить перепутанные предложения текста по порядку или выбрать подходящую фразу, чтобы заполнить пробел в предложении. За основу взяли языковую модель RUGPT-3, предобученную на корпусе русского языка и неспецифичную для какого-то возраста или для какой-то темы, и применили мощное машинное обучение на меньшем объёме данных, чтобы модель смогла создавать задания по русскому языку и литературе для школьников.

Что касается проверки заданий с открытыми ответами или эссе, то Денис Федерякин видит в этой области большой потенциал ИИ. Не секрет, что при проверке открытых ответов экспертом возникает проблема субъективности. С этой проблемой много лет работает психометрия. Например, есть рекомендации о том, с помощью каких методов обработки убрать индивидуальные искажения, вносимые проверяющим.

Спикер уверен, что психометрические принципы, работающие с людьми, применимы и к обучению нейросетей, и весьма вероятно, что они дадут в итоге лучший результат.

Федерякин привёл в подтверждение своей гипотезы пример из смежной области. Учёные из Гарварда разрабатывали нейросеть для анализа постов в соцсетях и поиска в них хейтспича. При дообучении модели применяли принципы разработки рубрикаторов оценивания для экспертов. В итоге в поиске неприемлемых комментариев нейросеть показала лучшие результаты, чем люди-модераторы и нейросеть Google, обученная на классических принципах Data Science.

ИИ в учебной аналитике

Андрей Комиссаров и Алексей Зайцев, основатель образовательного проекта «01Математика», рассказали о трёх вариантах использования ИИ в учебной аналитике.

В «Московской электронной школе» реализуют предсказательную аналитику. Она, как рассказал Алексей Зайцев, помогает учителям оценить, сколько времени ученики потратят на ту или иную активность в классе или дома — на выполнение заданий, контрольную работу или практическое упражнение. Педагоги могут использовать этот прогноз для планирования уроков или для контроля, эффективно ли класс движется по учебному плану. К проекту подключены 37% школ Москвы, и это даёт ИИ достаточно данных для анализа и прогнозов.

А в проекте «01Математика» реализована аналитика качества учебных материалов. ИИ анализирует данные о том, какой процент задач выполнен верно, какова средняя скорость их выполнения, и статистику ошибочных ответов учащихся. В качестве результата ИИ может выдать методисту гипотезу о том, какие задачи составлены с ошибками или просто не очень удачно для восприятия учащихся. Такая аналитика важна всегда, но прежде всего на первых неделях выпуска курса, подчеркнул Алексей Зайцев.

Андрей Комиссаров, в свою очередь, рассказал про аналитику цифровой рефлексии, которую внедрили в программе «Цифровые профессии» от Минцифры, где участвует около 300 тысяч человек. Цель цифровой рефлексии — выяснить, что именно после каждого модуля усваивает студент и какие знания потом планирует применить. Вот как это устроено:

• после каждого модуля программы студента просили описать в свободной форме свои комментарии, рассказать, что было полезно в модуле и как он это планирует применять;
• собрали массив данных по этим цифровым рефлексиям студентов, отсеяли ответы-погрешности (например, такие, где пользователь вместо своего отзыва просто скопировал и вставил описание курса или прислал бессмысленный набор символов);
• проанализировали информативность рефлексии, то есть оценили, насколько много слов и словосочетаний, связанных с тематикой курса, сохраняется в цифровой рефлексии после обучения.

Это стало возможно благодаря нейросемантической сети, рассказал спикер.

ИИ в улучшении опыта студента

Андрей Петровский из Лаборатории по искусственному интеллекту «Сбера» рассказал, как конспект лекции можно уже сейчас организовать на базе моделей opensource. Технология состоит из двух этапов: сначала речь переводится в стенограмму с помощью модели Speech to text, потом с помощью языковых моделей типа BERT из стенограммы выделяют предложения, которые лучше всего представляют текст лекции. Это может быть полезно методистам для автоматизации создания памяток для студентов курса.

Алексей Зайцев и Денис Федерякин рассказали про кейс организации адаптивного обучения для «Московской электронной школы» на базе проекта «01Математика». Для этого внедрили адаптивный фейдинг — так специалисты называют систему адаптивного обучения, которая сначала ведёт учащегося, а потом постепенно отступает назад и даёт ему возможность развиваться самому.

Читайте также:

Адаптивное обучение: что это и зачем нужно

Это стало возможным благодаря сбору больших данных об обучении школьников — например, о скорости прохождения видеоуроков, об ошибках в выполнении интерактивных заданий и о том, как ученик взаимодействует с системой (какие дополнительные материалы использует, как работает с графиками и так далее).

По словам спикеров, искусственный интеллект от «01Математики» способен распознать, когда у школьника начинаются проблемы с тем или иным модулем, и вовремя предложить ему помощь. Это может быть дополнительный материал по нужной теме, упрощённый трек или повторение ранее изученной темы, которая влияет на понимание текущей. Технология сопоставляет цифровой след обучения конкретного ребёнка и десятков тысяч других, хранящихся в базе, что помогает более 90% школьников успешно завершать начатый учебный блок и идти при этом своим индивидуальным путём, пояснил Зайцев.

В каких проектах имеет смысл использовать ИИ

Если обобщить описанные экспертами кейсы, то заметно, что в повторяющихся задачах обучения, которые при этом поддаются алгоритмизации, технологии ИИ показывают результат не хуже, а то и лучше, чем человек. Вот как это прокомментировал Денис Федяркин:

Но по словам эксперта, для автоматизации этих процессов нужен выход на огромные массивы данных. К примеру, генерация учебных заданий с помощью ИИ целесообразна для проекта, развёрнутого на всех школьников Москвы, но совершенно бессмысленна для маленькой авторской онлайн-школы.

Получается, что тем, у кого данных мало или совсем нет, про ИИ можно забыть? Андрей Петровский считает, что нет. Действительно, классические языковые модели, такие как BERT или GPT-3, обучаются на петабайтах или сотнях гигабайтах данных. То есть речь идёт о таком количестве данных, которое, к примеру, не может поместиться на обычном персональном компьютере. Однако дообучение opensource нейросети под конкретную образовательную задачу выполняют и на меньшем объёме данных — на датасете, который содержит 12–16 тысяч обучающих примеров. Именно на такие цифры стоит ориентироваться, если вы задумываетесь о применении технологии ИИ, рекомендует эксперт.

Объём данных, тем не менее, не единственный критерий целесообразности использования ИИ. Второй критерий — время (конечно, не говоря уже о деньгах). Денис Федерякин подчеркнул, что расхожее представление о том, что якобы уже в течение одного-двух лет после внедрения в проект ИИ можно ждать гигантского скачка вперёд, — не более чем заблуждение.

А руководитель центра образовательных технологий «СберУниверситета» Вячеслав Юрченков насчёт сроков сказал так: «Давайте будет реалистами: искусственный интеллект в образовании при его даже мгновенном внедрении сразу результатов вам не даст. Не будет сразу меньше работы, потому что нужно будет собрать данные, правильно их разметить, чтобы обучить систему, и она уже впоследствии будет давать необходимые результаты как преподавателю, так и слушателям».

Четыре призыва к тем, кто хочет внедрить ИИ в образовательный проект

В завершение семинара спикеры дали четыре этических рекомендации тем руководителям образовательных проектов, которые задумываются, не усилить ли их возможностями ИИ.

Контролировать качество работы ИИ

Любую технологию нужно проверять и верифицировать, закладывая в проекте время на это. В образовании работу ИИ мониторят методисты, педагоги, специалисты T&D (в зависимости от того, где внедряется технология).

Вот как прокомментировал это Андрей Комиссаров: «Ни одна образовательная организация в мире, которая использует искусственный интеллект, не применяет его без надсмотра». Это касается и тех, у кого огромные наборы данных, очень мощные модели на разработку и обучение потрачено очень много ресурсов.

Читайте также:

Разработаны рекомендации по использованию искусственного интеллекта в сфере образования

Придерживаться принципов этичности и прозрачности

Использовать ИИ нужно там, где можно увидеть и понять, как он принял то или иное решение и почему именно такое. Ведь в образовательных проектах, особенно ориентированных на детей и подростков, ошибки или неверная трактовка данных могут привести к серьёзным последствиям для судьбы человека.

В подтверждение этого тезиса Денис Федерякин вспомнил кейс, в котором созданная учёными нейросеть-судья стала систематически дискриминировать чернокожее население, и создатели даже не сразу это выявили. Широко известен также скандал с нейросетью в Amazon, которая отбирала для HR-отдела резюме подходящих разработчиков и, как выяснилось, дискриминировала женщин. Подобных случаев было вообще немало.

«Так что в плане прозрачности очень много подводных камней, которые мы даже не сразу улавливаем», — резюмировал Денис Федяркин.

Не заменять учителей, а высвобождать им время

Алексей Зайцев упомянул про идею заменить учителя искусственным интеллектом, чтобы сэкономить время и бюджет. Это кажется очень заманчивым, но при более детальном рассмотрении такая идея, по словам эксперта, — ошибка. Социальное взаимодействие и личность педагога — важные факторы качественного образования. Поэтому ИИ нужно рассматривать как помощника, а не заместителя учителя.

Идеальный вариант — когда технология заполняет то пространство, которое учитель не в состоянии покрыть, считает спикер. Если технология выстроена высококвалифицированными методистами, то она действительно может повысить доступность и качество образования там, где просто нет доступа к хорошим педагогам.

Помнить про человечность при работе с технологией

По мнению экспертов, цифровизация образования настолько популярна, что порой забывают о том, для чего она на самом деле нужна. А нужна она для того, чтобы помочь студенту реализовать его потенциал. Поэтому важно лелеять человечность при реализации проектов с участием ИИ, говорят спикеры. Андрей Комиссаров раскрыл этот тезис так: «Мы должны сделать так, чтобы наши колебания между разными выборами, наши ошибки, <…> наши эмоции, которые мы проявляем, <…> чтобы все эти элементы, учитываемые искусственным интеллектом, помогли нам сделать наше образование более эффективным, более правильным».