Взрослые теряют грамотность? Что показало новое исследование навыков от ОЭСР

В конце 2024 года Организация экономического сотрудничества и развития (ОЭСР) опубликовала отчёт по итогам международного «Исследования навыков взрослых» (Survey of Adult Skills или PIAAC). Его проводили в 2022–2023 годах в 31 стране (России в этот раз среди них не было), участниками стали 160 тысяч человек в возрасте от 16 до 65 лет. По оценке организаторов, такая выборка позволяет сделать выводы о 673 миллионах взрослых жителей этих стран.

Результаты исследования оказались такими удручающими, что, например, их пересказ в The Economist вышел с заголовком «Взрослые забывают, как читать?». Мы посмотрели отчёт, чтобы разобраться:

• какие виды грамотности и как проверяют в PIAAC;
• какие уровни навыков показали участники в среднем и насколько эти результаты хуже, чем в предыдущем таком же исследовании;
• что отличает взрослых с высокими уровнями развития навыков;
• почему результаты этого исследования важны, несмотря на развитие ИИ.

Что за проект PIAAC

PIAAC представляет собой крупнейшее исследование функциональной грамотности взрослых, то есть в нём оценивают, насколько человек умеет использовать в решении повседневных задач навыки чтения, письма и счёта. По сути, это аналог известного исследования грамотности подростков PISA (его ОЭСР проводит раз в три года, и результаты последнего замера тоже оказались хуже ожидаемых) для взрослой аудитории.

В 2022–2023 годах все участники выполняли задания PIAAC в цифровом формате. В исследовании измеряли три фундаментальных компетенции: это читательская и математическая грамотность, а также навык решения задач. К тесту прилагались опросники о возрасте, поле, уровне образования и занятости респондентов, а ещё у них оценивали социально-эмоциональные навыки, состояние здоровья и удовлетворённость жизнью.

Само исследование включало задания разных уровней по каждому из трёх навыков. Читательскую грамотность оценивали по тому, насколько человек способен понять текст и извлечь из него необходимую информацию. Как пример разработчики привели задания об условиях хранения хлеба и крекеров:

• Чтобы подтвердить базовый уровень навыка, было достаточно ответить на прямой вопрос о том, на каком уровне влажности крекеры размягчаются. Ответ (с такой же формулировкой, как и в вопросе) содержался в отдельном предложении в конце текста — его трудно было не заметить.
• На втором уровне сложности требовалось оценить, верны ли три утверждения — они были основаны на тексте, но не повторяли его дословно. То есть от участника требовалось не просто увидеть нужную информацию в тексте, а понять его.
• И, наконец, на третьем уровне сложности давался иной, менее подробный текст с данными о температурных условиях, которые обеспечивают или нарушают сохранность хлеба. От участника требовалось составить рейтинг разных мест хранения с учётом этой информации.

В простейших заданиях на математическую грамотность участникам предлагали, например, оценить, входит ли указанная температура в приемлемый диапазон для хранения пищи (диапазон был явно прописан в условии). На следующем уровне требовалось рассчитать по заданному алгоритму, сколько килограммов штукатурной смеси потребуется на стену определённой площади. И на самом высоком уровне нужно было вычислить, сколько обоев необходимо для оклейки стен в комнате. Для этого имелся специальный калькулятор, однако изначально данные в него были введены с ошибкой. Чтобы её исправить, участник должен был применить знания о единицах измерения.

Читайте также:

Какие виды грамотности существуют

Задачи на решение задач требовали, в частности, составить на интерактивной карте маршрут с учётом ограничений по времени, чтобы завезти ребёнка в школу, купить продукты и вернуться домой к указанному часу. На более сложных уровнях условия задачи менялись в процессе: например, участнику на середине маршрута сообщали, что выбранный им магазин оказался закрыт.

В каких странах самые грамотные взрослые

Исследование показало: если в какой-то стране высокие результаты по одному виду грамотности, остальные навыки там тоже на высоком уровне. Топ-5 государств с наиболее высокими средними баллами по всем трём шкалам одинаковый: это Финляндия, Япония, Швеция, Норвегия, Нидерланды.

Ещё семь стран и территорий, как отмечают авторы отчёта об исследовании, показали результаты выше средних по ОЭСР во всех трёх видах грамотности. Это Канада, Дания, Англия, Эстония, Фламандский регион Бельгии, Германия и Швейцария.

Средние баллы PIAAC в странах-участницах, показавших лучшие результаты по каждому из навыков, и в ОЭСР в среднем

Источник данных: ОЭСР

Одиннадцать стран, напротив, во всех трёх видах навыков показали результаты ниже, чем в среднем по ОЭСР: это Чили, Хорватия, Франция, Венгрия, Израиль, Италия, Корея, Литва, Польша, Португалия и Испания.

Сколько малограмотных взрослых в разных странах

Баллы участников PIAAC из разных стран показывают, что результаты даже у лидеров «средненькие» — в лучших случаях они соответствуют третьему уровню функциональной грамотности. Так получается потому, что в каждой из стран многие участники справились с тестом плохо, менее чем на 226 баллов. Взрослых с первым уровнем грамотности или ниже в среднем в странах ОЭСР по каждой из трёх шкал набралась четверть или больше:

• По читательской грамотности — 26%. Это означает, что такие читатели понимают содержание отдельных предложений, небольших текстов, списков, а также могут найти в них прямые ответы на поставленный вопрос.
• По математической грамотности — 25%. Такие уровни соответствуют способности выполнять базовые арифметические операции с целыми числами и сравнивать разные числовые значения.
• По решению задач — 29%. Это соответствует способности решать задачи, требующие одного шага, в неизменных условиях.

Тех же, кто добился максимального уровня в каком-либо из навыков, ожидаемо очень мало — около 1% в среднем по ОЭСР. Большинство участников исследования показали средние уровни грамотности — второй и третий. На четвёртом уровне — чуть больше 10%.

У кого с грамотностью дела обстоят лучше, а у кого хуже

Результаты исследования показывают, что люди с определёнными характеристиками справлялись с тестами PIAAC лучше остальных. Их отличает следующее:

• Молодой возраст. В исследовании участвовали люди до 65 лет, и старшая возрастная группа (55–65 лет) в преобладающем большинстве стран показала худшие результаты по всем навыкам.
• Высокий уровень образования. Ожидаемо, те, кто получил профессиональное или высшее образование после школы, справлялись с заданиями PIAAC довольно хорошо. Но разные уровни означают не одно и то же в различных странах: выпускники финских школ обгоняют по баллам взрослых с профессиональным образованием из Австрии, Венгрии, Новой Зеландии, Сингапура и многих других стран.
• Образование в сфере STEM. Те, кто изучал технические и естественные науки в вузе или в колледже, опережают участников с таким же уровнем образования по другому профилю. В математической грамотности разрыв между ними достигает 28 баллов, а в решении проблем люди со STEM-образованием набрали в среднем по ОЭСР на 10 баллов больше, чем настолько же образованные гуманитарии.
• Происхождение из той страны, где человек проходил исследование. Иммигранты и дети иммигрантов в среднем справлялись с тестом PIAAC хуже, чем взрослые, живущие в той же стране, где родились их родители. Зависимость довольно чёткая. Так, в среднем по ОЭСР по читательской грамотности взрослые дети тех, кто родился в этой же стране, набрали 267 баллов. Те, кто родился здесь же, но у родителей-иммигрантов — 260 баллов. И те взрослые, кто родился в другой стране, — 222 балла.
• Высокий уровень образования родителей. Разрыв в баллах PIAAC между детьми высоко- и малообразованных родителей в среднем по ОЭСР составляет 50 баллов по читательской грамотности, 49 — по математической и 42 в решении задач. Вероятно, те из сегодняшних взрослых участников PIAAC, у родителей которых было хорошее образование, росли в лучших условиях и имели больше возможностей учиться и развивать навыки. То есть эта характеристика отражает социально-экономическое неравенство.

Читайте также:

Причина неуспеваемости — образовательное неравенство и образовательная бедность?

Насколько результаты ухудшились по сравнению с первым PIAAC и почему

Первый цикл PIAAC стартовал в 2008 году, но большинство стран-участниц проводили тесты в 2011-м. Результаты нового цикла можно сравнивать с первым только по двум из трёх навыков: тест по решению задач в новом исследовании слишком сильно изменился.

Для стран, участвовавших в обоих циклах PIAAC, сопоставление показывает: в основном взрослые стали хуже читать и считать.

• Баллы по читательской грамотности стали за десятилетие выше только в двух странах — в Финляндии и Дании. Ещё в 14 они остались на прежнем уровне, а в 11 средние баллы упали. Особенно заметное ухудшение произошло в Польше (минус 31 балл), Литве (минус 28 баллов), в Южной Корее (минус 23 балла) и в Новой Зеландии (минус 21 балл).
• По математической грамотности результаты получше: баллы выросли в восьми странах, остались прежними в двенадцати и упали в семи. Сильнее всего средний балл снизился вновь в Литве (на 22 пункта) и в Польше (на 21 балл).

Изменения средних баллов отражают рост доли тех, кто показал самые низкие результаты — не добрался до второго уровня по тому или иному виду грамотности. В половине исследованных стран стало больше плохих результатов по читательской грамотности, а в трети стран — и по математической. Эксперты ОЭСР связывают изменения с тем, что взрослые теперь меньше практикуются в чтении и вообще в сложной обработке информации. В прошлом году, кстати, выходило исследование по данным теста PISA с такой же гипотезой о подростках: современные школьники чаще читают короткие и фрагментарные текстовые материалы (посты в соцсетях и сообщения в мессенджерах), поэтому в быту читательская грамотность совсем не развивается, только в школе.

По результатам PIAAC эксперты выдвинули ещё две гипотезы о том, почему ухудшаются навыки взрослых. Во-первых, во многих странах вырос приток иммигрантов — а им, очевидно, сложно проходить тесты на грамотность на неродном языке. Во-вторых, в странах ОЭСР стремительно стареет население, а люди старшего возраста тоже справляются с тестами на грамотность хуже.

Чтобы проверить эти предположения, при анализе результатов дополнительно рассчитали гипотетические средние баллы — какими они получились бы, если бы демографическая структура населения в изученных странах осталась такой, как десять-пятнадцать лет назад. Расчёт показал, что в большинстве государств наблюдались бы те же тренды, что и в действительности сейчас, даже если бы доли иммигрантов и пожилых людей остались на прежнем уровне.

Но есть и исключения. В Норвегии и Швеции показатели по читательской грамотности при сохранении демографической структуры улучшились бы (в действительности они остались стабильными), а в Австрии и Франции упали бы, но не так сильно, как в реальности. Баллы по математической грамотности могли бы стать лучше в Чили, Фламандском регионе Бельгии, Испании и Швеции и упали бы не так ощутимо в Южной Корее и в США.

А важны ли вообще эти навыки?

Данные PIAAC показывают прямую связь между уровнем навыков и экономической успешностью. Трудно понять, что причина, а что следствие, но, к примеру, высокий уровень математической грамотности чаще демонстрируют люди с хорошим образованием и высокооплачиваемой работой.

А ещё — чем выше уровень грамотности, тем лучше показатели самооценки здоровья и удовлетворённости жизнью. Проще говоря, люди, которые с трудом считают и понимают смысл текстов, чаще мало зарабатывают и бывают несчастливы. В ОЭСР уверены, что это показывает крупную политическую и социальную проблему: недостаточно грамотные взрослые не способны участвовать в общественной, политической и экономической жизни.

Однако в отчёте об исследовании PIAAC эксперты организации приводят такой факт: в 2022 году генеративный искусственный интеллект смог успешно ответить на 80% заданий по читательской грамотности. Большинство реальных участников исследования не достигли этой планки. И нет сомнений, что в ближайшие несколько лет ГИИ наберёт в PIAAC практически недостижимые для людей 500 баллов, то есть выполнит 100% заданий.

Эксперты ОЭСР прогнозируют, что в будущем ГИИ сможет выполнять практически любые виды интеллектуальной работы, а роботизированные комплексы возьмут на себя ручной труд разных типов. Не факт, что работники-люди при этом останутся невостребованными: возможно, что ускорение производства благодаря ИИ приведёт к повышенному спросу на товары, а значит, и на выполнение сопутствующих дополнительных задач людьми. Но это одна из множества гипотез, перспективы автоматизации для рынка труда пока неясны.

Читайте также:

Почему не стоит судить о возможностях ИИ по способности сдать «человеческий» экзамен

Несомненно, однако, что многие навыки, которые люди сейчас получают в результате образования и на работе, устареют. Но в ОЭСР считают, что навыки верхнего уровня, максимально фундаментальные, о которых идёт речь в PIAAC, не обесценятся, потому что дают базу для усвоения любых других знаний и умений.

И тот факт, что ГИИ успешно решает задания на грамотность, мало что меняет. Когда машина даёт правильный ответ в задаче, это почти ничего не говорит о её возможностях вообще. Известно, например, из исследования НИУ ВШЭ о том, как нейросети сдают экзамен по педагогике, что ГИИ иногда плохо справляется с базовыми темами — хотя они, по идее, лежат в основе более сложных заданий (которые нейросеть решает). То есть успешное выполнение сложного задания не означает, что нейросеть владеет всем массивом более простых навыков в этой области.

В случае с людьми действуют законы психометрики: правильные ответы в тестах вроде PIAAC важны не сами по себе, а как свидетельство того, что в других ситуациях и контекстах человек сможет решить похожие и более простые задачи. И даже если рынок труда изменится фундаментально — например, не надо будет больше учиться программированию, достаточно будет запустить помощника и проверить его работу — базовые навыки работы с информацией всё равно останутся нужны.