Эмоции в иллюстрациях: учёные исследовали, какая именно графика помогает их распознать

Исследовательницы из лаборатории когнитивной психологии пользователя цифровых интерфейсов НИУ ВШЭ решили провести научный эксперимент и выяснить, по каким именно элементам рисунка люди считывают эмоции у нарисованных героев.

Краткий обзор теорий и отчёт об эксперименте «Вышки» читайте в этой статье. Выводы будут особенно полезны графическим дизайнерам и иллюстраторам.

Как мы определяем эмоции в изображениях: теории учёных

Люди распознают эмоциональные реакции в основном визуально. Есть разные гипотезы о том, что именно помогает нам определить их: отдельные элементы в выражении лица, или глаза, рот и щёки вместе, или даже полностью тело.

Объясним с примерами.

По лицу

Черты лица в мимике образуют комбинации, которые узнаёт абсолютное большинство людей. Каждый элемент — источник информации для нашего мозга, и когнитивные процессы помогают нам обработать эти комбинации и «распределить» результаты по категориям.

Учёные по-разному анализировали, как именно это происходит, и появилось два основных подхода.

• Признаковый: отдельных элементов лица — рта или глаз — достаточно для распознавания эмоций.
• Холистический: только всё лицо работает как источник информации об эмоциях.

И признаковый, и холистический подходы подтверждаются научными данными. Вероятно, в реальности механизм распознавания эмоций смешанный, и на когнитивный процесс влияет не только то, что «показывает» мимика, но и другие факторы.

По позе

Холистический подход допускает, что мы считываем информацию об эмоциях не только по лицу. Поза тела тоже важна.

Исследования о том, как мы распознаём и категоризируем эмоции по положению тел, дали разные выводы:

• Подобно мимике, позы тела, связанные с базовыми эмоциями, распознаются даже тогда, когда выражение лица не изображено.
• Точность сигналов об эмоциях от тела сравнима с точностью распознавания эмоций по лицу, а иногда может быть даже выше.
• Позы тела и выражения лица скорее обрабатываются как единое целое.
• Оценка положения позвоночника нарисованных фигур не привела к строгой корреляции между распознаванием поз тела и конкретных эмоций. Одно положение позвоночника респонденты связывали с целым спектром эмоциональных состояний.

Такой вывод предполагает, что фактор позы тела, хотя и имеет отношение к эмоциональной категоризации, не так важен, как фактор выражения лица.

Если изображения позы тела и выражение лица конгруэнтны, то есть показывают одну эмоцию, люди распознают её быстрее, чем неконгруэнтные.

По emanata

В рисованных изображениях, особенно в жанре комиксов, часто присутствует элемент, который передаёт информацию об эмоциях и помогает нарративу. Эти чёрточки, звёздочки, волнистые линии и другие значки вокруг головы или тела называются эманата.

Эманата-визуализации и их восприятие людьми тоже исследовали. Разные группы учёных обнаружили:

• Отдельно эманата не символизируют для людей конкретные эмоции — каждый значок наделяют десятками значений. Например, капелька рядом с головой на картинке может быть для зрителей потом, слезами или просто дождём.
• Эти обозначения люди скорее ассоциируют не с эмоциями, а с состояниями: например, изображение спирали — с замешательством. Однако эманата способствуют тому, что люди распознают эмоции в изображении.
• В целом эманата не делают категоризацию эмоций систематической. Впрочем, был эксперимент, который показал: вертикальная линия, нарисованная поверх изображения лица, помогает распознать грусть.

В целом эманата — дополнительный фактор, гиперболизирующий эмоциональное состояние персонажа, но этого элемента для распознавания эмоций на картинке людям недостаточно.

Почему важен контекст: визуальный язык и эффект Кулешова

Существует теория визуального языка, которую разрабатывает американский учёный Нил Кон. Согласно ей, в изображениях есть ровно те же элементы, что в речи — суффиксы, предлоги и прочие. Этими «языковыми» элементами служат детали на картинках: например, линии, которые обозначают быстрое движение, или символ лампочки около головы. С помощью таких графических морфем художники и дизайнеры выстраивают динамичную историю в статичных изображениях.

Однако отдельно эти нарисованные элементы не создают полноценную историю. Мы распознаём визуальный язык и смысл «сказанного» только тогда, когда есть грамматика. Этой грамматикой служит контекст.

Контекст — фон, ситуация, текст — играет важную роль в том, как мы воспринимаем эмоции в иллюстрациях. Существует даже так называемый эффект Кулешова.

Таким образом, когда есть контекст, люди могут распознавать эмоции даже там, где этого не предполагает изображение. А если в иллюстрации есть и богатый нарратив, и графика об эмоциях (мимика, позы, эманата), это помогает зрителям намного легче и быстрее определять их выражение.

Что помогает точнее определять эмоции: научный эксперимент

Ольга Рубцова и Елена Горбунова из НИУ ВШЭ решили провести собственный поведенческий эксперимент с группой респондентов и узнать, как люди считывают и категоризируют эмоции в изображениях. Исследовательницы предположили:

1. Чем больше элементов, передающих информацию об эмоциях, тем точнее должно быть определение.

Эманата как наиболее неоднозначный из факторов приведёт к большему количеству ошибок.

2. Повествовательный контекст улучшает определение эмоций.

Группе испытуемых предлагали определять злость, удивление, страх, счастье, грусть, облегчение и смущение по картинкам, в которых присутствовали:

• мимика, эманата, поза по отдельности;
• мимика и эманата;
• мимика и поза;
• поза и эманата;
• мимика, эманата, поза вместе.

Эксперимент показал следующее:

• Эманата показали себя как самый сомнительный элемент: по ним респонденты определяли эмоции наименее точно и наименее быстро. Вероятно, эманата на картинках вообще не улучшает категоризацию эмоций.
• По позе тела респонденты тоже считывали конкретную информацию об эмоциях не особенно точно — но только в отсутствие контекста.

В целом отсутствие контекста в иллюстрациях заставляло людей тратить больше когнитивных ресурсов, а уровень точности в определении эмоций падал.

• Изображение мимики в отсутствие контекста помогало респондентам считывать эмоции правильнее.
• Если на картинке были и лицо, и поза, и эманата, это значительно улучшало восприятие эмоций. По отдельности и попарно эти элементы давали примерно одинаковые неблестящие результаты.
• Действительно, контекст в любом случае делает восприятие эмоций более точным.

Зачем нужны эмоции в коммерческом дизайне: мнение арт-директора

Ольга Кутовая

Арт-директор Dotorg branding & digital

---

— Я как дизайнер обожаю работать с иллюстрациями и, когда есть возможность, использую их.

В реальности, когда мы говорим о коммерческой иллюстрации, а не об отдельном визуальном повествовании типа комиксов или наглядной инструкции, имеют значение не только отдельные элементы графики. Важно всё: сфера деятельности компании, её целевая аудитория, готовность клиента к экспериментам, что за носитель предполагается (офлайн или онлайн).

На мой взгляд, интереснее всего иллюстрация проявляет себя в потребительском брендинге. Например, в упаковке или в приложениях это маскоты или сюжеты с продуктом. Если они изображают живые эмоции и понятные сценарии взаимодействия, то создают эмоциональную связь с брендом. Особенно если ЦА — дети или подростки.

Думаю, в корпоративном брендинге давно пора смелее смотреть на иллюстрацию как инструмент. Только здесь нужны не маскоты, а метафоричные 2D-иллюстрации или абстрактные 3D-анимации, которые передают образ компании, а не конкретные эмоции. Кстати, тренд на нейтральные флэт-иллюстрации ушёл, ура! Всем наскучил «взрослый» корпоративный мир, и мы хотим окунуться в детство.

Сейчас в тренде корявые, но искренние иллюстрации. Дети вообще максимально искренне выражают чувства, и их графику даже используют большие бренды. Вы только посмотрите на этот розовый нос у волка — это так мило :) И ещё чудесный розовый пудель с удивлённым взглядом — я точно хочу такую футболку!