Необычная практика: как студентов оценивают за старания, а не за результат

Пока теоретики спорят о том, какой должна быть идеальная система оценивания, некоторые преподаватели-практики экспериментируют в попытках создать собственный сбалансированный подход к оценкам и увлекают своими идеями других.

Один из таких экспериментов — labor-based grading, то есть оценивание, основанное на труде. Это не совсем обычный подход, он сфокусирован непосредственно на процессе работы учеников, а не на результатах, которых они достигают. Разберёмся:

• что такое оценивание, основанное на труде, и почему причиной его появления стал расизм;
• зачем считают труд в минутах и как устроен «трудовой» контракт со студентами;
• в каких сферах эту систему уже используют и как под неё меняют учебные программы;
• каковы плюсы и минусы этой системы.

Что такое оценивание, основанное на труде

Labor-based grading — это альтернативная система оценивания. Она подразумевает, что отметки студенты получают не за качество работы, а за то, сколько усилий они в неё вложили. Фактически это оценка за старания, а не за достижения.

Например, в обычных условиях преподаватель будет оценивать эссе студента по таким критериям, как качество текста, логичность и стройность изложения. А в альтернативной системе критерии будут иными: например, объём сочинения, количество дополнительных источников, которые использовал студент, и потраченное на него время. Проще говоря, оценивать преподаватель будет не саму работу, а усилия, вложенные в неё.

Как новая система оценивания выросла из попытки противостоять расизму

Одним из основателей и пионеров оценивания за труд считается профессор риторики и композиции в Колледже интегративных наук и искусства при Университете штата Аризона Асао Иноуэ. Асао преподавал курсы по писательскому мастерству и осознал, насколько несправедливы стандартные системы оценивания, в частности из-за бытового, неосознаваемого расизма.

Бывают ситуации проще: маловероятно, что ученик, для которого английский неродной язык, сможет быстро «подтянуться» до уровня своего сверстника-носителя. Это означает, что он вряд ли сможет когда-нибудь получить желаемую отметку.

К таким мыслям Асао Иноуэ, японца по национальности, привёл и собственный опыт. В США его регулярно принимали за мексиканца, и он регулярно сталкивался с дискриминацией (как минимум в виде косых взглядов).

В своей книге, посвящённой системе оценивания за труд, Асао приводит такой пример: в старших классах он получил высшую оценку по французскому языку повышенного уровня сложности. А за обычный английский — кстати, родной ему — всего лишь четвёрку, хотя владел языком прекрасно.

В преподавательской работе Асао попробовал несколько разных подходов к оцениванию:

• Подход, основанный на сообществе. В этом случае студенты рефлексируют, получают обратную связь от однокурсников и от преподавателя. В начале курса совместно с педагогом они устанавливают критерии оценивания, в процессе могут защищать свой проект, а отметку получают в зависимости от того, насколько процесс и результат их работы соответствовал заданным критериям.
• «Гибридный» подход оценивания за труд. Эта система предполагает оценку и за качество, и за количество. Здесь также прописываются критерии, и за «количество» выполненных заданий можно получить любую отметку в пределах четвёрки. А вот для высшей отметки придётся показать «качество». Получить её могут немногие, только те, кто проявляет действительно выдающиеся способности.

Профессор пришёл к выводу, что у этих систем есть свои недостатки. В первом случае вроде бы хорошо, что студенты становятся непосредственными участниками оценивания. Но есть и обратная сторона: они, как и преподаватели, склонны к предвзятости, поэтому в их обратной связи однокурсникам могут проявляться несправедливые стереотипы и внутренние установки.

Во втором случае решение принимает преподаватель, а высшая оценка оказывается недостижимой для тех, кто не получил прекрасного школьного образования или, например, для тех, у кого английский — неродной язык. Но ведь именно эти категории студентов обычно трудятся больше всех, чтобы дотянуться до остальных.

Тогда Асао объединил эти и другие известные ему подходы и создал собственный — чтобы оценивать студентов именно по их труду.

Как выглядит оценивание на основе труда

Система Асао учитывает три основных составляющих студенческой работы:

• Процесс. Тут для оценки важны пошаговые инструкции, объясняющие тот или иной труд, и рефлексия студентов.
• Сам труд. Здесь учитывается количество труда — оно считается в затраченном времени, количестве слов (напомним: оценивается письменная работа). Длительность разных активностей заносится в журнал и дневник труда.
• Значение труда. Это включает метакогнитивное развитие, вовлечённость и практики осознанности. Всё это призвано помочь студентам оценить смысл и значимость того, что они делают.

Все эти критерии прописаны в символическом контракте, который преподаватель заключает со студентами. Документ объясняет, на каких условиях и какие отметки получат студенты, и обязывает обе стороны (студента и преподавателя) следовать обозначенным правилам. В начале курса Асао предлагает ученикам черновик этого контракта и обсуждает его с ними, в середине курса условия пересматриваются. Стоит сразу пояснить, как этот контракт устроен.

Как организован контракт со студентами

Профессор Асао поделился с коллегами шаблоном контракта. Он на английском языке, но мы перескажем суть.

В шаблоне за 2023 год отметка по умолчанию — это пятёрка с плюсом (точнее, А+ по американской шкале оценивания). Правда, из инструкций в книге за 2022 год следует, что по умолчанию получить можно только четвёрку. В любом случае «по умолчанию» означает, что студент выполнил все условия договора и строго их придерживался. «Дотянуть» до высшего балла могут те, кто не пропустил ни одного занятия и добросовестно сдавал все задания, выполнил небольшие дополнительные задания, а также студенты, которые потратили на работу наибольшее число минут.

Асао заранее прописывает чёткие условия получения финальной отметки. Правила выглядят как таблица, где левая колонка — отметка, а правая — допустимые «ошибки» (то есть пропуск дедлайнов или, например, несдача работы). Если дедлайны соблюдены и работа проведена, преподаватель не делает себе никаких пометок. А вот если студент пропускает занятия, не сдаёт домашние задания или не до конца их выполняет — преподаватель ставит отметку в ведомости (grading book).

Пример распределения отметок в контракте

Студентам при этом полагаются поблажки и бонусы. Каждый студент может воспользоваться одной поблажкой в конце семестра после обсуждения своей ситуации с профессором. Например, если кто-то пропустил дедлайн только с одним заданием, преподаватель может всё же зачесть её как сданную вовремя.

В контракте также подробно описано, почему преподаватель выбрал именно такую систему, в чём основные её преимущества и чем она будет полезна студентам.

Как устроен процесс работы с системой оценивания за труд

Асао предлагает студентам для начала обсудить, как устроен процесс труда в целом: что он предполагает, какие шаги включает. Для каждого задания есть свои пошаговые инструкции с указанием примерного времени, которое учащиеся потратят на каждый шаг, требуемого количества слов — написанных или прочитанных. Асао считает, что так его подопечные концентрируются не на финальном продукте, а на самом процессе работы, чтобы понять, как что-либо создаётся.

В процессе работы с домашними заданиями студенты ведут учёт своего труда (или журнал труда). Туда они записывают количество минут, написанных слов, своё настроение, уровень вовлечённости. Всё это нужно для того, чтобы осознанно подойти к процессу. После выполнения задания преподаватель предлагает им также «твитнуть» (или просто зафиксировать) что-то из выученного или сделанного.

Выглядит журнал как таблица, которую заполняет каждый студент. Преподаватель отдельно проговаривает, что отражённая в нём информация не будет использована против студентов в выставлении финальной отметки. Это важно пояснить, чтобы студенты не стали искусственно «подтягивать» свои показатели. В конце семестра преподаватель может дать тем, кто работал больше всех (считается это по количеству минут), дополнительные очки. Правда, студентам этого он, судя по всему, не рассказывает.

В журнале Асао также предлагает отметить — медитировал ли студент. Дело в том, что он считает очень важной практику осознанности: короткие медитации и дыхательные практики помогают сфокусироваться, сконцентрироваться на конкретной задаче.

Раз в неделю студенты записывают свои впечатления от процесса в дневник труда. Они отвечают на три вопроса:

• где и в каких условиях они трудились;
• какие внутренние и внешние аспекты сделали для них выполнение задания значимым и вовлекающим;
• что они узнали о своём труде, рефлексируя над выполненным заданием.

Обратную связь студенты получают от сокурсников и преподавателя, они могут обсуждать и защищать свои работы, однако на отметку это никак не повлияет. У фидбэка также есть свои правила, и они обозначены в документе, который дословно переводится как «Хартия сострадания» — за названием скрывается ряд принципов вежливой и этичной обратной связи. Например, студентам предлагается внимательно относиться к своим словам, говорить спокойно, а если им становится некомфортно — поделиться этим с группой. Воспринимать фидбэк также нужно добросовестно и учитывать его в дальнейшей работе.

Читайте также:

Как давать формирующую обратную связь в онлайн-курсе: 6 важных принципов

Отдельно следует сказать о критериях качества. Кажется, что этот показатель система совсем не учитывает, однако это не так: во-первых, работы всё же читает и преподаватель, и сокурсники. Во-вторых, некоторые преподаватели, которые уже внедрили такую систему оценивания, вместе со студентами разрабатывают и такие критерии — просто учитывают их в обсуждении, а не в финальной отметке.

Казалось бы, зачем это всё?

Соответственно, и фокус оценивания смещается не на продукт, который может быть разным у студентов с разным жизненным опытом и качество которого можно оценивать по-разному, а на сам подход к труду.

Кто и как использует такую систему

Преподаватели, особенно те, кто интересуется альтернативными системами оценивания, стали присматриваться к разработкам Асао Иноуэ и пробовать внедрять её у себя в вузах.

Конечно, в большей степени это касается тех, кто преподаёт писательское мастерство или академическое письмо. Однако к ним присоединяются специалисты из других сфер — например, так уже оценивают преподаватели по астрономии и истории, звучат предложения адаптировать эту систему в обучении психологии и нейронаук.

Пожалуй, самый интересный пример — как систему, предназначенную прежде всего для гуманитарных наук, переложили для курса по компьютерным наукам. Своим опытом в этой сфере поделились преподаватели Школы инженерии и технологий при Вашингтонском университете, в частности ассоциированный профессор (доцент) Крис Марриотт. Он описал, как изменил свой курс под оценивание на основе труда, вместе с коллегами провёл опрос среди студентов и представил результаты публично.

Преподаватели внесли небольшие поправки в систему: например, каждую работу они отмечали особым образом: «полная» (студент выполнил задачу верно и сдал вовремя), «неполная» (студент не сдал работу вовремя, допустил или не исправил значительные ошибки) и «проигнорированная» (студент не сдал работу вообще). Каждый тип работ учитывался в ведомости, которая была построена по стандартному шаблону.

А вот сам учебный курс пришлось заметно перестроить под систему оценивания:

• Крис Марриотт разделил курс на несколько модулей с еженедельными домашними заданиями. Поскольку каждое задание в зависимости от затраченного на него труда должно «весить» одинаково, то и объём этих заданий тоже должен быть схожим — поэтому они и стали еженедельными. Задания были основаны на проблемно-ориентированном подходе.
• Вместо привычных экзаменов, которые Крис устраивал несколько раз в семестр, он стал применять тесты и квизы (они тоже стали частью домашних заданий). Для студентов это был просто способ повторить материал и самостоятельно оценить свои знания.
• Крис также добавил то, что назвал «метатрудом». Например, предложил студентам вести учёт труда (та самая таблица, куда записывается потраченное на обучение время в минутах и другие данные). В конце недели студентам нужно взглянуть на неё и отрефлексировать процесс своей учёбы, а заодно вспомнить пройденный материал. Сделать это можно в свободной форме. Это, кстати, позволяет преподавателю получать вполне честную обратную связь о собственной работе и о контенте учебного курса.
• Преподаватель также стал объединять студентов в небольшие группы (случайным образом). Вместе они могут работать над небольшим исследованием или разработкой какого-то продукта — и таким образом получить дополнительные баллы.

Плюсы и минусы системы оценивания, основанной на труде

Новая система оценивания принесла свои плоды, которыми поделились Крис Марриотт и его коллеги. По их наблюдениям, студенты стали больше доверять преподавателям (студенты тоже так считают), а преподаватели получают больше качественной обратной связи. В процесс обучения студенты тоже вовлечены лучше, чем при обычном подходе к оцениванию, потому что они не фокусируются только на получении отметки и больше внимания уделяют самой учёбе. Благодаря рефлексии и тестам они развивают метанавыки и лучше запоминают информацию.

Есть и дополнительные преимущества — например, у студентов снизился уровень тревоги, а ещё уменьшилась частота случаев академического мошенничества. Крис Марриотт связывает это с тем, что в этой системе сама потребность списывать снижается, кроме того, поощряется обсуждение студентами своих домашних заданий друг с другом.

Однако обнаружились и минусы. Коротко их можно свести к одному — это трудоёмкая для преподавателей система (впрочем, как и все альтернативные системы оценивания). И вот почему:

• На внедрение и адаптацию курса к системе оценивания на основе труда уходит значительное количество времени.
• Адаптироваться необходимо и самим преподавателям, если они выбирают оценивание на основе труда. Им приходится переосмысливать многие привычные практики и представления об образовании.
• Сам процесс оценивания при таком подходе также занимает больше времени, чем при стандартной системе. Например, Крис Марриотт отметил, что немалая часть его рабочего времени уходит на чтение рефлексивных заметок студентов. Однако он видит в этом ценность для своей преподавательской практики.

Не все преподаватели, попробовавшие систему оценивания на основе труда, остаются довольны. Например, преподавательница одного калифорнийского университета применила эту систему в своём онлайн-курсе по писательскому мастерству и пришла к выводу, что студенты показывали меньший прогресс в работе, чем обычно. Справедливости ради нужно отметить, что это могло быть связано и с условиями работы конкретно на её курсе. Но даже она отметила, что студенты стали более открытыми и меньше фокусировались на своих баллах.

В целом же большинство преподавателей, которые рассказывали о внедрении такой системы, были вполне довольны изменениями. Это, конечно, не означает, что к ней нет никаких вопросов. Например, доктор Бреана Байрактар предлагает преподавателям подумать: подходит ли эта система для студентов без должной внутренней мотивации? Как учёт труда поддерживает учащихся? Точно ли можно обойтись без учёта качества работы?

Пока на этот вопрос пытаются ответить практикующие преподаватели, полноценных исследований такой системы оценивания ещё нет. Однако Асао Иноуэ считает, что она всё равно лучше стандартной системы, потому что стимулирует учащихся «брать на себя риск и делать как можно больше, возиться, исследовать, видеть то, чего ты ещё не знаешь, вместо того чтобы демонстрировать уже существующие знания». Именно это по-настоящему ценно, убеждён Асао.