Generated with Avocode. Generated with Avocode. Generated with Avocode. Generated with Avocode. Generated with Avocode. hat Generated with Avocode. Generated with Avocode. Generated with Avocode. Generated with Avocode. Generated with Avocode. Generated with Avocode. path40

У умных помощников плохое юзабилити: исследуем проблемы Alexa, Google Assistant и Siri

Интеллектуальные ассистенты пока подходят только для простых задач. Мы перевели исследование о проблемах юзабилити «умных помощников».

Священный Грааль юзабилити — построить интерфейс с нулевой стоимостью взаимодействия, который сможет удовлетворить потребности пользователя, не требуя от него никаких усилий. Мы всё еще далеки от этого, но «интеллектуальные помощники», такие как Alexa, Google Assistant и Siri, — определенно шаг в нужном направлении. Ралука Будиу и Пейдж Лаубхаймер оценивают их возможности с точки зрения юзабилити в своей статье, перевод которой мы сделали.

5 UX-характеристик «умных ассистентов»

«Умные ассистенты» задействуют пять технологий, ориентированных на повышение удобства использования:

1. Голосовой ввод

Ввод данных голосом вместо взаимодействия с экранными элементами.

2. Понимание естественного языка

Возможность использовать не только ограниченный набор команд (словарь) и правила их произношения (синтаксис), а обращаться к устройству как в настоящем разговоре.

3. Голосовой вывод

Вместо отображения информации на экране «помощник» зачитывает ее вслух.

4. Интеллектуальная интерпретация

Кроме непосредственно вводимого пользователем запроса ассистент использует дополнительную информацию (например, контекст действия или прошлое поведение), чтобы лучше понять свою задачу.

5. Агентские функции

Совершение действий, которые пользователь не запрашивал, но которые, по оценке «помощника», будут полезны.

Последние две технологии требуют, чтобы «помощник» активно узнавал своего пользователя — для того чтобы иметь возможность подстраивать свое поведение под его потребности.

Связка технологий

Оценивая «интеллектуальные помощники», нам нужно рассмотреть не только эти пять технологических решений, но и то, как они взаимодействуют между собой, их интеграцию.

Идея интеграции в юзабилити не нова. Этот же принцип лежит в основе самого популярного формата графических пользовательских интерфейсов (GUI) — WIMP: “windows-icons-menus-pointers” — «окна-пиктограммы-меню-указатель». Встречаются и окна без курсора (например, работающие по нажатию Alt и Tab), и работа с мышью без иконок (когда вы кликаете на слова), но именно полный набор создает хорошо интегрированный графический интерфейс, ставший стандартом последних тридцати лет.

«Ассистенты» тоже не всегда используют все перечисленные решения. Например, когда пользователю доступен экран, они могут выводить информацию на него. Но лучшим сочетанием является именно плавная интеграция всех пяти технологий. И, хотя скорость ввода голосовых команд существенно ниже манипуляции курсором, потенциально естественный язык сможет сделать передачу команд быстрее, чем клики по пиктограммам.

Будучи применены вместе, эти пять технологий позволяют:

  • отказаться от «видимого» интерфейса и полностью перейти на голос. В частности это снижает до нуля время обучения использованию «умного ассистента»;
  • «читать мысли» - то есть выстраивать предположения о целях пользователя на основе его предыдущего поведения и проявлять собственную инициативу в решении возникших задач.

«Интеллектуальные помощники» всё еще сильно ограничены в использовании контекстной информации, но шаги в этом направлении уже делаются. Google Assistant анализирует электронную почту и добавляет рейсы или резервирование ресторанов в календари. И он, и Siri предупреждают пользователя о времени, которое потребуется, чтобы попасть в часто посещаемые места, стоит ему покинуть локацию, в которой он обычно находится. Когда эти непрошеные предложения достигают пользователя, они помогают в достижении целей.

Экран AppleTV c Siri

Исследование пользователей

Чтобы лучше понять, как «умные ассистенты» помогают пользователям и какие проблемы стоят перед ними, мы провели два лабораторных UX-исследования. 5 человек в Нью-Йорке и 12 — в Сан-Франциско, достаточно часто использующие один из трех наиболее популярных «помощников» — Siri, Alexa и Google Assistant, — прошли набор юзабилити-текстов и сессию интервью.

При тестировании мы попросили участников использовать «помощников» для решения множества повседневных задач и изучили их поведение и взаимодействие с «ассистентами». Пользователям нужно было узнать, например, расписание ближайших аптек, погоду на 4 июля и то, в каком году вышел второй фильм Стенли Кубрика и играл ли в нем Джордж Клуни.

В этой статье кратко изложены наши основные выводы. Второй подготовленный нами материал покажет социальные аспекты взаимодействия с «интеллектуальными помощниками».

Уровень удобства не отвечает пользовательским ожиданиям

Наши исследования показали, что сегодняшние «интеллектуальные помощники» терпят неудачу по всем 6 пунктам (5 технологий плюс интеграция). Это значит, что для минимально сложных взаимодействий они бесполезны, хотя и соответствуют требованиям юзабилити в рамках простых задач. Несмотря на то что это противоречит главной предпосылке user-centered design, пользователям приходится разбираться, когда «помощник» будет полезен, а когда обращаться к нему не стоит.

Мы привычно ориентировались на то, что компьютер должен адаптироваться к пользователю, а не наоборот. Одно из главных обещаний искусственного интеллекта — высокая приспособляемость, но, наблюдая за реальным использованием, мы видели обратное.

Важно!

Взаимодействие с «умными помощниками» напоминало возвращение к «темным временам 1970-х». Необходимость запоминать загадочные команды, угнетающе-непонятные режимы, запутанный контент, негибкие взаимодействия — исключительно неприятный пользовательский интерфейс.

Оценим, насколько технологии и их интеграция отвечают ожиданиям пользователей. Недостатков много. И главный вопрос — это уже неотъемлемые проблемы, или развитие технологий позволит их преодолеть?

Технология

Текущее удобство использования

Будущий потенциал

Примечания

Голосовой ввод

Хорошо (за исключением пользователей, не являющихся носителями языка)

Скоро станет еще лучше, в том числе сможет работать с акцентами

Большая часть ввода корректно переводится в текст, хотя иногда не распознаются имена собственные.

Естественный язык

Плохо

Возможны значительные улучшения, но они трудно осуществимы

Длинные предложения не распознаются; эквивалентные формулировки запросов дают разные результаты в зависимости от выбранных слов. Существуют проблемы с распознаванием местоимений и их роли в запросе.

Голосовой вывод

Плохо

Они смогут отвечать не только на простые запросы

За исключением нескольких задач (например работы с навигатором или поиска прогнозов погоды), ассистенты не могут удовлетворительно формулировать свои ответы.

Контекстная обработка

Плохо

Возможны значительные улучшения, но их трудно реализовать

«Помощники» используют простую контекстную информацию, такую ​​как текущее местоположение, контактные данные или прошлые частые местоположения, но редко выходят за рамки этого.

Агентские функции

Плохо

Может стать намного лучше

Доступно очень ограниченное использование внешних источников информации (например, календаря или электронной почты) для определения потенциальных действий, представляющих интерес для пользователя.

Интеграция

Ужасный

Может быть значительно улучшена, но требует серьезного труда

«Помощники» не работают с другими доступными приложениями на устройстве, и взаимодействие с различными «навыками» или «действиями» не использует преимущества всех доступных технологий.

Объективны ли мы? За последние годы интерфейсы на основе ИИ достигли огромного прогресса, и сегодняшние решения — колоссальный прорыв по сравнению с тем, что было доступно на протяжении предыдущих десятилетий. Но требования к повседневному использованию куда выше, чем к лабораторным результатам демонстрационных версий.

Уже то, что показывали на академических конференциях двадцать лет назад, было очень впечатляющим. Существующие продукты гораздо лучше, но они до сих пор не соответствуют пользовательским ожиданиям.

Сегодня человек уже может использовать «интеллектуальный помощник» с пользой для себя. Но для того чтобы этот инструмент смог полностью реализовать свой потенциал, нужны еще долгие годы.

Можно провести аналогию с тем, как в 2000 году исследователи, тестируя юзабилити мобильных устройств, пришли к неутешительным выводам. Но уже тогда многие, видя перспективы, начинали применять такие низкоуровневые решения, как текстовые сообщения.

Потребовалось много лет, чтобы технология продвинулась вперед и благодаря интеграции к 2009 году был достигнут приемлемый, хотя и все еще низкий уровень пользовательского опыта. Еще одно десятилетие усовершенствований — и мобильные пользовательские интерфейсы теперь довольно хороши.

Почему люди используют «помощники»

Большинство опрошенных нами пользователей сообщили, что используют «интеллектуальные помощник», когда:

  • заняты руки — например, во время вождения или приготовления пищи;
  • задать вопрос голосом быстрее, чем печатать его и читать результаты.

Второй кейс заслуживает обсуждения. Почти все испытуемые понимали ограничения «помощников» и говорили, что не станут использовать «ассистента» для решения сложных задач. Пользователи исходили из того, что только простой запрос имеет хорошие шансы на правильный ответ. Двое участников явно упомянули вопросы класса 5W1H (Who, What, Where, When, Why, How)Кто, Что, Где, Когда, Почему, Как.

Интерфейс Google Assistant

Напротив, более тонкие, исследовательские потребности респонденты решали с помощью веб-поиска или другого взаимодействия с устройством.

Однако некоторые полагали, что «помощники» способны выполнить даже сложные задачи — при условии, что им задали правильный вопрос. Один из пользователей сказал: «Всё, что я могу делать со своим телефоном, я могу сделать с помощью Siri. <...> Сложные запросы нужно просто упростить, чтобы заставить ее работать».

Большинство тестируемых при этом считали, что думать над правильной формулировкой — лишняя трата усилий. Как сказал один из пользователей, «Alexa — как инопланетянин, я должен все объяснить ей. <…> Она хороша только для простых запросов. Мне нравится просто спрашивать, а не думать [о том, как формулировать вопрос]».

Одной из областей, в которых голосовые «помощники» смогли сохранить хорошую стоимость взаимодействия, оказалась диктовка. Длинные сообщения или поисковые запросы легче сказать, чем набрать, особенно на мобильных устройствах с их крошечными клавиатурами, скорость ввода на которых разочаровывающе ограничена.

Участники опроса обращали внимание, что, хотя диктовка и была несовершенной, она оказывалась полезной, когда они не могли легко пользоваться ручным вводом (например, когда гуляли, вели машину, готовили или просто находились вдали от устройства с реальной клавиатурой). При этом пользователи избегали диктовки, если в тексте используется уникальная терминология, которая может быть неверно распознана.

Некоторые тестируемые также упоминали о том, что «помощник» не умеет расставлять пунктуацию (он либо перестает слушать при первой же паузе, либо просто игнорирует пунктуацию, требуя проверки и редактирования текста).

Разговор с «помощником»

Разговор с Алексой

Когда у респондентов было время сформулировать запрос, «помощнику» обычно удавалось разобрать его полностью и ответить корректно. Как сказал один из пользователей: «Нужно сначала подумать, как задать вопрос, и это не похоже на реальный разговор, где ваши слова могут звучать расплывчато».

Другой пожаловался: «Я почти чувствую себя роботом, потому что должен спрашивать очень ясно и коротко. Здесь нет места метафорам, к тому же “помощник” не способен распознать эмоции и учесть их при подборе ответа. Он просто считывает слова».

При этом люди начинали говорить еще до того, как четко сформулировали запрос, и тогда часто останавливались, стараясь подобрать лучшие слова. Такие паузы естественны в разговоре, но «помощники» обычно неправильно их истолковывают и спешат отвечать. Конечно, ответы на такие неполные запросы были в большинстве случаев неправильными, и общий эффект был неприятным: тестируемые жаловались, что их прервали, что «помощник» «влезал в разговор». Некоторые даже явно ругали ассистента за это («Алекса, это грубо!»).

Когда нужно было повторить запрос, который неправильно понят, пользователи часто произносили слова, преувеличенно подчеркивая артикуляцию, как будто они разговаривали с человеком с нарушением слуха.

Диалог с Siri

Большинство участников сочли, что сложные предложения (например, «В какое время я должен уехать в Мосс-Бич в субботу, если я хочу избежать пробок?» или «Найти статус рейса из Лондона в Ванкувер, вылетающего сегодня в 4:55») вряд ли будут поняты «помощниками». Некоторые пытались разложить такие предложения на несколько запросов. Например, один из пользователей, который хотел узнать, когда вышел предпоследний фильм Стенли Кубрика, запросил список всех работ режиссера, а затем планировал задать вопрос о нужном ему элементе полученного списка. К сожалению, Siri вообще не смогла ему помочь, потому что предоставляла фильмографию неструктурированно.

Запросы от не-носителей языка

Пользователи, говорившие по-английски с акцентом, отмечали, что «помощники» плохо понимают их. Они говорили, что тем нужно научиться разбираться в особенностях произношения разных людей.

Кроме акцента, люди испытывали трудности со скоростью построения запросов. Когда они подбирали слова, то могли инстинктивно поправить себя, поняв, что употребили неправильные или ошиблись в произношении. Кроме того, они могли иногда использовать непривычные для носителя языка формулировки запросов. Всё это приводило к проблемам.

Несмотря на это, понимание акцентов — область, в которой компьютеры уже сейчас могут опережать человека. Программа распознает слова целиком, а не составляющие их отдельные звуки, поэтому способна понимать вас лучше, чем человек. Выходит, что корректная работа с акцентами — только вопрос времени. Это одна из самых простых задач, которые сейчас стоят перед разработчиками «умных ассистентов».

Представление ответов

Язык «помощника»

Некоторые участники пожаловались, что «помощник» говорил слишком быстро и не мог повторить ответ. Особенно это было важно, когда ответ был слишком длинным или сложным и пользователь не мог запомнить его целиком. Среди примеров — подтверждение заполненных данных или перечисление возможных действий (вроде тех, что встречаются в работе корпоративных автоответчиков).

Неверные ответы на неправильно понятые вопросы давали неуправляемый и раздражающий опыт. Людей возмущала необходимость ждать длинный ответ, который был совершенно неактуален, и они изо всех сил пытались прервать «ассистента», говоря, например: «Алекса, остановись». Один из участников объяснил: «Мне не нравится, что [Алекса] не замолкает, когда я начинаю с ней разговаривать. Это необходимая часть очеловечивания взаимодействия. [...] Было бы идеально, если бы ее можно было остановить не только четкой командой “Alexa, stop”, но и чем-то вроде “oк” или “достаточно”, да и вообще любой моей реакцией. [...] Сейчас это напоминает разговор с кем-то, кто не способен остановиться и вам нужно ждать паузы, чтобы вставить свою реплику».

Часто слишком многословным оказывались и правильные ответы. Один из пользователей жаловался, что при составлении списка продуктов Alexa произносила «<объект> добавлен в список» после каждого из них. Другой опрошенный назвал Google Assistant «слишком болтливым», когда тот предоставил дополнительную информацию в ответ на запрос времени работы аптеки. Участник закатил глаза, когда Alexa прочитала подробное описание каждого варианта в списке рецептов тирамису, включая постоянные упоминания довольно очевидных и повторяющихся ингредиентов, таких как яйца.

Голосовая выдача против экранной

Чаще всего «умных ассистентов» используют, когда руки заняты. Большинство опрошенных считают, что голосовой ответ в большинстве случаев лучше текстового. Важным исключением стала женщина, возмущенная публичной озвучкой конфиденциальной информации: вслух было зачитано время ее записи к врачу. Она заявила: «Я предпочла бы, чтобы “помощник” использовал слово “событие”».

Еще один пример разочаровывающего опыта — выдача в качестве ответа результатов поиска, когда пользователя, ожидающего голосовой коммуникации, вынуждают пользоваться экраном. Один из респондентов отметил, что «было бы полезно, если бы «помощник» говорил: “Если вам нужно больше подробностей — посмотрите здесь”».

Правильные ответы «были похожи на магию». Например, когда на запрос «Сколько дней я должен провести в Праге» Google Assistant четко сказал: «Согласно Quora, вы должны провести в Праге 3-4 дня», пользователь радостно воскликнул: «Это именно то, что я искал!»

Такие кейсы были самыми полезными — и самыми вдохновляющими, но они были очень редки. Хотя эта задача была поставлена перед несколькими участниками, только один смог сформулировать свой запрос так, чтобы «ассистент» ответил ему. Остальные шесть вариантов («ОК, что, по вашему мнению, было бы хорошим сроком для отдыха в Праге», «ОК, как долго я должен отдыхать в Праге», «Эй, Сири, как много дней нужно для посещения Праги»,«ОК, сколько времени нужно для посещения Праги», «Сири, на сколько дней я должен ехать в Прагу?», «Сири, если я поеду в Прагу, сколько времени мне нужно?») получили набор ссылок вместо ответов от «ассистентов».

Еще одной проблемой интеграции «голосовых помощников» с экранными приложениями стало то, что, перейдя к одному из результатов поиска, пользователи не могли вернуться к списку ответов, как это часто бывает при использовании Siri.

Важна и скорость распознавания: один из участников, не видя синхронного вывода произносимых им слов на экране устройства, решил, что «ассистент» «не слышит» его, и повторил их несколько раз, создав некорректный запрос.

Частичные ответы

Иногда Alexa открыто признавала, что ответа у нее нет. Но часто, не имея результатов, которые прямо отвечали бы на вопрос пользователя, она могла предложить альтернативу — в таких случаях тестируемые оставались довольны.

Так, один из них спрашивал «ассистента» об аренде в Уиллоу Гленн (окрестности Сан-Хосе, Калифорния), и Alexa, сказав, что не знает ответа, предложила вместо этого аренду в районе залива Сан-Франциско. Пользователь обрадовался, что «помощник» узнал Уиллоу Гленн как часть побережья, и был удовлетворен ответом. Одному из пользователей Alexa на просьбу сообщить стоимость квартиры ответила: «Извините, я не знаю этого. Но могу найти номера телефонов, часы и адреса агентств недвижимости». В ответ он даже вступил с ней в диалог, сказав: «Спасибо. Это действительно полезно».

Еще один пример частичного ответа — выдача результатов поиска. Если результаты релевантны, пользователи остаются довольны (хотя это может быть следствием лабораторных условий, где у них свободны руки). Многие сомневаются в качестве подбора результатов «помощником» (особенно Siri) и говорят, что потом в любом случае повторят поиск сами. Чаще всего «ассистента» в качестве просто голосового интерфейса для поиска воспринимают пользователи Google Assistant.

Доверие к результатам

Зная, что «голосовые помощники» несовершенны, люди часто сомневались в их ответах. В частности, они не доверяли «оценочным суждениям» «ассистентов» — когда Alexa предоставила «лучший рецепт», пользователь усомнился в критериях выбора, потому что они не были ему видны. Были ли это рецепты с высоким рейтингом? Рецепты, опубликованные известным блогом или кулинарным сайтом? Люди должны были доверять выбору, который сделала Alexa для них, без каких-либо подтверждающих доказательств в виде оценок или количества отзывов.

Даже «помощники», выводящие результаты на экран, сталкивались с проблемой доверия. Например Siri, которую попросили найти рестораны по дороге между двумя пунктами, вывела их список, но не показала карту — значит, быстро проверить релевантность результата было невозможно, а переход к карте, как было упомянуто выше, вызывал трудности.

Siri не показывала рестораны на карте. Чтобы увидеть расположение, нужно было выбрать отдельный ресторан. Сделав это, некоторые пользователи не знали, как вернуться к списку ресторанов (это можно сделать, нажав кнопку «Назад в приложение» в левом верхнем углу экрана). Источник.

Проблемы со сравнением товаров и покупкой

Задачи, связанные со сравнением различных вариантов, имели особенно плохое юзабилити. Речь оказалась неэффективным способом вывода многочисленных результатов, монотонно произносимых «помощником». Вместе с вышеупомянутой невозможностью остановить вывод это вызвало множество неудобств. Сказалось и то, что пользователи не могли удобно перемещаться между результатами.

Так, в Google Assistance часть данных в результатах поиска требует открытия отдельных объектов. В результате пользователь не смог выбрать пиццерию, ориентируясь одновременно и на расстояние, и на рейтинг.

Для некоторых важным недостатком оказалась ограниченность информационных ресурсов, к которым может обращаться «ассистент». Так, пользователь Alexa не обращался к ней, чтобы узнать курс биткойна, потому что «помощник» выдавал бы не самые свежие результаты, что жизненно необходимо для трейдера.

Умения Alexa и Google Assistant

Для таких систем, как Alexa и Google Assistant, пользователи могут получить доступ к специальным приложениям, посвященным конкретным задачам. Это skills — «умения».

Теоретически «умения» могут расширить возможности этих систем, но в нашем исследовании они оказались практически бесполезными. Большинство пользователей Alexa не знали, какие возможности им доступны; некоторые сталкивались с ними раньше, использовали пару раз, а затем полностью забывали об их существовании.

У Alexa есть две большие проблемы с открываемостью skills:

  • Нужно точно помнить их названия.
  • Alexa требуют от пользователей запоминания «волшебных» слов вроде «play <skill>», «talk to <skill>», «ask <skill> <specific question>» и других. При этом часть команд вообще не работает или работает по-разному для разных «навыков».

Родовой болезнью всех skills оказалась работа с длинными голосовыми списками (вроде тех, которые иногда до сих пор приходится выслушивать по телефону) и с четкими командами, требующими запоминания.

Интеграция с другими приложениями

Почти все жалобы на «помощников» сводились к тому, что они не очень хорошо интегрировались в экосистемы, в которых живут пользователи. Владельцы iPhone были недовольны отсутствием взаимодействия между Siri и привычными им приложениями от Spotify до Google Maps. Многие поначалу говорили, что считают Siri оптимизированной для устройств Apple, но на практике убеждались в ее неспособности нормально работать со многими приложениями.

Владельцы Alexa ругались, что услуги Amazon имеют приоритет — многие уже подписались на Spotify или Apple Music и считали, что расточительно связываться еще и с Amazon Music, чтобы пользоваться Echo. Агрессивное продвижение собственных услуг компании заставляло пользователей учиться формулировать запросы, чтобы обходить эти ограничения: «Когда я говорю “музыка”, она говорит мне, что у меня нет Amazon Music, поэтому я должен быть предельно ясным и сказать: “Play in iHeart Radio”».

Вывод

Сегодняшние «умные помощники» все еще далеки от прохождения теста Тьюринга: при большинстве взаимодействий люди легко поймут, что они разговаривают не с человеком. Хотя пользователи и придают ассистентам человеческие качества, у них относительно низкие ожидания от «помощников». Пока что на их долю достаются простые вопросы, имеющие однозначные ответы. При этом, несмотря на то что основными вызовами разработчикам сейчас, видимо, являются улучшение естественного языка и обработки диалога, многие мелкие проблемы могут быть исправлены просто более продуманным дизайном.

Станет ли голосовое взаимодействие прорывом, или останется только там, где неудобно использовать другие способы ввода? Может быть, оно не успеет достаточно развиться к тому моменту, как появятся более совершенные и быстрые способы взаимодействия? Время покажет. Данные, собранные Будиу и Лаубхаймером, можно использовать в разработке приложений и «ассистентов» уже сейчас, улучшая их. А мы тем временем готовим перевод второй части статьи, посвященной социальным аспектам взаимодействия с интеллектуальными помощниками.

Основой работы «умных ассистентов» являются нейросети. Один из главных языков, используемых для их создания сегодня, — Python. Если вам интересен искусственный интеллект, создание систем распознавания и улучшение таких продуктов как Siri и Alexa, вы можете начать изучать его, записавшись на курс «Профессия Python-разработчик».

Курс «Python-разработчик с нуля»
Практический 4-х месячный курс для тех, кто хочет научиться основам программирования на универсальном, понятном и лаконичном языке с индивидуальным наставником, а также создать свою первую программу на Python и получить реальный опыт разработки.
  • Живая обратная связь с преподавателями
  • Неограниченный доступ к материалам курса
  • Стажировка в компаниях-партнёрах
  • Дипломный проект от реального заказчика
  • Гарантия трудоустройства в компании-партнёры для выпускников, защитивших дипломные работы

Комментарии

0
Чтобы оставить комментарий,  авторизуйтесь
Хочешь получать персональную подборку статей по дизайну?
Подпишись на рассылку Skillbox