Дизайн
#статьи

Эмоции в иллюстрациях: учёные исследовали, какая именно графика помогает их распознать

Научные выводы о том, как мы понимаем настроение по лицу, позе и контексту, помогут лучше генерировать изображения, рисовать иллюстрации и комиксы.

Иллюстрация: Полина Честнова для Skillbox Media

Исследовательницы из лаборатории когнитивной психологии пользователя цифровых интерфейсов НИУ ВШЭ решили провести научный эксперимент и выяснить, по каким именно элементам рисунка люди считывают эмоции у нарисованных героев.

Краткий обзор теорий и отчёт об эксперименте «Вышки» читайте в этой статье. Выводы будут особенно полезны графическим дизайнерам и иллюстраторам.

Как мы определяем эмоции в изображениях: теории учёных

Люди распознают эмоциональные реакции в основном визуально. Есть разные гипотезы о том, что именно помогает нам определить их: отдельные элементы в выражении лица, или глаза, рот и щёки вместе, или даже полностью тело.

Объясним с примерами.

По лицу

Черты лица в мимике образуют комбинации, которые узнаёт абсолютное большинство людей. Каждый элемент — источник информации для нашего мозга, и когнитивные процессы помогают нам обработать эти комбинации и «распределить» результаты по категориям.

Учёные по-разному анализировали, как именно это происходит, и появилось два основных подхода.

  • Признаковый: отдельных элементов лица — рта или глаз — достаточно для распознавания эмоций.
  • Холистический: только всё лицо работает как источник информации об эмоциях.

И признаковый, и холистический подходы подтверждаются научными данными. Вероятно, в реальности механизм распознавания эмоций смешанный, и на когнитивный процесс влияет не только то, что «показывает» мимика, но и другие факторы.

Возможно, нашему мозгу достаточно увидеть глаза и рот, чтобы узнать эмоции на лице визави
Изображение: Storz & Escherich / Behance
У фигуры-блоба нет элементов, кроме схематичного изображения глаз и рта, но мы распознаём эмоции, которые передаёт эта анимированная картинка
Изображение: Niceshit Studio / Behance

По позе

Холистический подход допускает, что мы считываем информацию об эмоциях не только по лицу. Поза тела тоже важна.

Исследования о том, как мы распознаём и категоризируем эмоции по положению тел, дали разные выводы:

  • Подобно мимике, позы тела, связанные с базовыми эмоциями, распознаются даже тогда, когда выражение лица не изображено.
  • Точность сигналов об эмоциях от тела сравнима с точностью распознавания эмоций по лицу, а иногда может быть даже выше.
  • Позы тела и выражения лица скорее обрабатываются как единое целое.
  • Оценка положения позвоночника нарисованных фигур не привела к строгой корреляции между распознаванием поз тела и конкретных эмоций. Одно положение позвоночника респонденты связывали с целым спектром эмоциональных состояний.

Такой вывод предполагает, что фактор позы тела, хотя и имеет отношение к эмоциональной категоризации, не так важен, как фактор выражения лица.

Если изображения позы тела и выражение лица конгруэнтны, то есть показывают одну эмоцию, люди распознают её быстрее, чем неконгруэнтные.

У моделей нейтральное выражение лица. Поза тела на изображении слева может подсказать, что человек испытывает испуг, а справа — удивление
Изображение: Stepan Filenko / Behance
Мы не видим на изображении лицо, но по позе с руками, которые расслабленно лежат на коленях, можем предположить, что у героя иллюстрации спокойное эмоциональное состояние
Изображение: Julia Geroeva / Behance

По emanata

В рисованных изображениях, особенно в жанре комиксов, часто присутствует элемент, который передаёт информацию об эмоциях и помогает нарративу. Эти чёрточки, звёздочки, волнистые линии и другие значки вокруг головы или тела называются эманата.

Эманата-визуализации и их восприятие людьми тоже исследовали. Разные группы учёных обнаружили:

  • Отдельно эманата не символизируют для людей конкретные эмоции — каждый значок наделяют десятками значений. Например, капелька рядом с головой на картинке может быть для зрителей потом, слезами или просто дождём.
  • Эти обозначения люди скорее ассоциируют не с эмоциями, а с состояниями: например, изображение спирали — с замешательством. Однако эманата способствуют тому, что люди распознают эмоции в изображении.
  • В целом эманата не делают категоризацию эмоций систематической. Впрочем, был эксперимент, который показал: вертикальная линия, нарисованная поверх изображения лица, помогает распознать грусть.
Похожие изображения многоугольников могут означать разные состояния
Изображение: PK XIAOMI / July Vysotskaya / Behance

В целом эманата — дополнительный фактор, гиперболизирующий эмоциональное состояние персонажа, но этого элемента для распознавания эмоций на картинке людям недостаточно.

Почему важен контекст: визуальный язык и эффект Кулешова

Существует теория визуального языка, которую разрабатывает американский учёный Нил Кон. Согласно ей, в изображениях есть ровно те же элементы, что в речи — суффиксы, предлоги и прочие. Этими «языковыми» элементами служат детали на картинках: например, линии, которые обозначают быстрое движение, или символ лампочки около головы. С помощью таких графических морфем художники и дизайнеры выстраивают динамичную историю в статичных изображениях.

Однако отдельно эти нарисованные элементы не создают полноценную историю. Мы распознаём визуальный язык и смысл «сказанного» только тогда, когда есть грамматика. Этой грамматикой служит контекст.

Контекст — фон, ситуация, текст — играет важную роль в том, как мы воспринимаем эмоции в иллюстрациях. Существует даже так называемый эффект Кулешова.

Лев Кулешов в 1920-х годах провёл эксперимент, который объяснил, как монтаж меняет нарратив, смысл сцены и то, какие эмоции зрители считывают в кадре. Кадр с нейтральным выражением лица актёра он перемежал другими — тарелкой супа, девочкой в гробу и красивой девушкой на кушетке. Кадр с актёром был один и тот же, но зрители приписывали ему разные эмоции: нетерпение от голода или предвкушение еды, скорбь, радость.

Таким образом, когда есть контекст, люди могут распознавать эмоции даже там, где этого не предполагает изображение. А если в иллюстрации есть и богатый нарратив, и графика об эмоциях (мимика, позы, эманата), это помогает зрителям намного легче и быстрее определять их выражение.

Контекст на фото создаёт историю, и распознать эмоции девочки и женщины нам проще
Изображение: Polina Chebykina / Julia Vlasova / Behance
Благодаря контексту в этой иллюстрации нам даже не нужно видеть детальную прорисовку лица героя, чтобы распознать его эмоции
Изображение: Joanna Gniady / Behance

Что помогает точнее определять эмоции: научный эксперимент

Ольга Рубцова и Елена Горбунова из НИУ ВШЭ решили провести собственный поведенческий эксперимент с группой респондентов и узнать, как люди считывают и категоризируют эмоции в изображениях. Исследовательницы предположили:

1. Чем больше элементов, передающих информацию об эмоциях, тем точнее должно быть определение.

Эманата как наиболее неоднозначный из факторов приведёт к большему количеству ошибок.

2. Повествовательный контекст улучшает определение эмоций.

Группе испытуемых предлагали определять злость, удивление, страх, счастье, грусть, облегчение и смущение по картинкам, в которых присутствовали:

  • мимика, эманата, поза по отдельности;
  • мимика и эманата;
  • мимика и поза;
  • поза и эманата;
  • мимика, эманата, поза вместе.
Изображение: Ольга Рубцова / Елена Горбунова / НИУ ВШЭ

Эксперимент показал следующее:

  • Эманата показали себя как самый сомнительный элемент: по ним респонденты определяли эмоции наименее точно и наименее быстро. Вероятно, эманата на картинках вообще не улучшает категоризацию эмоций.
  • По позе тела респонденты тоже считывали конкретную информацию об эмоциях не особенно точно — но только в отсутствие контекста.

В целом отсутствие контекста в иллюстрациях заставляло людей тратить больше когнитивных ресурсов, а уровень точности в определении эмоций падал.

  • Изображение мимики в отсутствие контекста помогало респондентам считывать эмоции правильнее.
  • Если на картинке были и лицо, и поза, и эманата, это значительно улучшало восприятие эмоций. По отдельности и попарно эти элементы давали примерно одинаковые неблестящие результаты.
  • Действительно, контекст в любом случае делает восприятие эмоций более точным.
Контекст помогает определить, что герой иллюстрации расстроен, но всё-таки не испытывает глубокую скорбь
Изображение: Varvara Grankova / Behance

Зачем нужны эмоции в коммерческом дизайне: мнение арт-директора

Ольга Кутовая

Арт-директор Dotorg branding & digital


— Я как дизайнер обожаю работать с иллюстрациями и, когда есть возможность, использую их.

В реальности, когда мы говорим о коммерческой иллюстрации, а не об отдельном визуальном повествовании типа комиксов или наглядной инструкции, имеют значение не только отдельные элементы графики. Важно всё: сфера деятельности компании, её целевая аудитория, готовность клиента к экспериментам, что за носитель предполагается (офлайн или онлайн).

На мой взгляд, интереснее всего иллюстрация проявляет себя в потребительском брендинге. Например, в упаковке или в приложениях это маскоты или сюжеты с продуктом. Если они изображают живые эмоции и понятные сценарии взаимодействия, то создают эмоциональную связь с брендом. Особенно если ЦА — дети или подростки.

Думаю, в корпоративном брендинге давно пора смелее смотреть на иллюстрацию как инструмент. Только здесь нужны не маскоты, а метафоричные 2D-иллюстрации или абстрактные 3D-анимации, которые передают образ компании, а не конкретные эмоции. Кстати, тренд на нейтральные флэт-иллюстрации ушёл, ура! Всем наскучил «взрослый» корпоративный мир, и мы хотим окунуться в детство.

Сейчас в тренде корявые, но искренние иллюстрации. Дети вообще максимально искренне выражают чувства, и их графику даже используют большие бренды. Вы только посмотрите на этот розовый нос у волка — это так мило :) И ещё чудесный розовый пудель с удивлённым взглядом — я точно хочу такую футболку!

Коллекция Sela с фондом «Обнажённые сердца»
Изображение: Sela

Больше интересного про дизайн в нашем телеграм-канале. Подписывайтесь!

Нейросети для работы и творчества!
Хотите разобраться, как их использовать? Смотрите конференцию: четыре топ-эксперта, кейсы и практика. Онлайн, бесплатно. Кликните для подробностей.
Смотреть программу
Понравилась статья?
Да

Пользуясь нашим сайтом, вы соглашаетесь с тем, что мы используем cookies 🍪

Ссылка скопирована