5 случаев, когда система распознавания лиц едва не разрушила жизнь человека по ошибке

Ретейл, безопасность, банки, общепит, логистика, медицина — это далеко не полный список сфер, куда успели проникнуть и где смогли закрепиться системы распознавания лиц. Технология распространяется так быстро, что пугает общественность. Например, российские правозащитники считают, что работу подобных систем следует ограничить. И страхи людей вполне обоснованны.

Предназначенные для удобства и безопасности алгоритмы иногда работают против пользователей. За последние несколько лет в России и мире прогремело несколько крупных скандалов, связанных с использованием автоматических систем биометрической идентификации. Ранее мы уже писали, как не дать соцсетям распознать своё лицо. А теперь вспомним про тех, кто пострадал от опасных ошибок таких технологий.

• Попасть в полицию на пять часов с перспективой сесть в тюрьму на восемь лет
• Неожиданно превратиться в серийного вора
• Найти повод для иска к Apple на миллиард долларов
• Лишиться работы из-за ошибки системы
• Не опознаваться как женщина из-за цвета кожи
• Почему системы ошибаются?

Из «Ашана» на нары

Россиянин Антон Леушин одним из первых испытал на себе «преимущества» новой системы распознавания лиц в московском «Ашане». В октябре 2020 года мужчина зашёл в гипермаркет за покупками, но так и не смог ничего купить — его остановили охранники. Оказалось, что система распознавания лиц определила в нём преступника, который за три недели до этого украл из «Ашана» элитный алкоголь на 78 тысяч рублей.

Охранники вызвали полицию, и Леушина доставили в участок. По словам потерпевшего, полицейские несколько часов угрожали ему обыском в квартире. Они также говорили, что Леушину грозит до восьми лет тюрьмы, и ослабили хватку только после того, как приехал адвокат. Тогда они отпустили мужчину без составления протокола — ограничились разговором с адвокатом.

В результате Леушину всё же пришлось оплатить услуги адвоката (15 тысяч рублей). Когда инцидент получил широкий резонанс после поста в Facebook*, представители магазина извинились перед Антоном в соцсети, но причину ошибки так никто и не объяснил.

Из кандидатов наук в воры

Спустя примерно год похожая история произошла в подмосковном Одинцово. Там кандидат философских наук Фёдор Ермошин получил не только неприятный опыт общения с полицией, но и побои. Трое неизвестных скрутили его на улице и затолкали в автомобиль.

Оказалось, что нападавшие работали в МВД. Система распознавания лиц в базе данных полиции определила 70-процентное сходство Ермошина с преступником, который тоже носил очки и похожую осеннюю одежду. Настоящий нарушитель закона торговал на рынке украденными ранее игровыми консолями.

Недоразумение разъяснилось, когда полицейские увидели паспорт Ермошина. Однако его всё равно повезли в местный отдел полиции, где продержали несколько часов.

«„Ну извини“ — это всё, что мне сказали, когда всё выяснилось. Вернули мне паспорт, предварительно сняв отпечатки пальцев и сфотографировав меня, и выпустили», — говорит Ермошин.

После выхода из участка мужчина на всякий случай зафиксировал телесные повреждения в травмпункте. Он также написал заявление в полицию и прокуратуру, чтобы установить личности нападавших.

Идти за айфоном — попасть в полицейский участок

От ошибок, связанных с биометрической идентификацией, страдают не только россияне. В 2019 году американский студент Усман Бах подал в суд на Apple. В иске он утверждал, что система распознавания лиц в магазинах компании ложно связала его с преступником.

Незадолго до инцидента студент потерял водительское удостоверение. Он предположил, что нашедший документ злоумышленник воспользовался им, чтобы подтвердить личность при покупке в магазине. В этот момент система видеонаблюдения связала имя Баха с лицом другого человека, который позже совершил ещё несколько краж в разных городах и штатах страны. С такой версией согласился даже следователь из Нью-Йорка. Однако в других юрисдикциях Баха до сих пор обвиняют в кражах — даже несмотря на то, что у него есть алиби.

В иске Бах потребовал от Apple и её подрядчика по обеспечению безопасности магазинов Security Industry Specialists миллиард долларов. Он написал, что был вынужден ответить на многочисленные ложные обвинения, которые привели к сильному стрессу и лишениям в его жизни, а также к значительному ущербу его положительной репутации, для поддержания которой он приложил много усилий.

Любопытно, что в Apple отказалась комментировать сам иск, но представители компании сказали прессе, что не используют подобных технологий в фирменных магазинах.

Остаться без работы из-за «расистского» ПО

В октябре 2021 года ошибка системы идентификации, которую использует компания Uber в Великобритании, оставила темнокожего водителя без средств к существованию. Проработав в компании пять лет, однажды он не смог войти в свой профиль, чтобы начать развозить людей, — система просто перестала распознавать его. Водитель посчитал, что всему виной «расистское» программное обеспечение, которое некорректно работает при идентификации цветных людей.

С помощью приложения Uber пытается исключить из рядов водителей нелегалов и водителей без лицензии. Отстаивать свои права оставшийся без работы мужчина пошёл в комиссию по трудовым спорам, а его позицию поддержал Независимый профсоюз работников Великобритании (IWGB). Там заявили, что с начала пандемии как минимум 35 других водителей попали в похожую ситуацию из-за ошибок в программном обеспечении Uber. Они призвали компанию отказаться от «расистского» алгоритма и восстановить уволенных водителей.

Впрочем, подобные иски в адрес Uber были делом времени — компания использует алгоритмы для распознавания лиц от Microsoft. Ещё в 2019 году Microsoft признала, что программное обеспечение для распознавания лиц цветных людей работает хуже, чем для лиц белых. Исследования нескольких пакетов программного обеспечения для распознавания лиц показали, что частота ошибок при идентификации людей с тёмной кожей выше, чем при идентификации светлокожих.

За мгновение сменить пол

В январе 2022 года разгорелся очередной скандал, связанный с проблемами распознавания лиц. Соцсеть Giggle, предназначенную исключительно для женщин, обвинили в дискриминации цветных женщин и в том, что оно ограничивает права транс-женщин.

Чтобы воспользоваться сервисом, нужно не только подтвердить свой номер телефона, но и сфотографироваться. ИИ анализирует лицо пользовательницы: если распознает в мужчину, зайти в приложение не получится. Проблема в том, что умные алгоритмы часто ошибались, распознавая мужчин в темнокожих женщинах и трансгендерных женщинах с мужественными чертами лица. Из-за этого разработчики приложения даже указали в описании, что у трансгендерных людей могут возникнуть проблемы при авторизации. Этими словами они лишь подлили масла в огонь.

Разработчики системы распознавания лиц из компании Kairos заявили, что идентифицируют женщину, только если уверены в результате минимум на 95%. Тем не менее даже такой точности оказалось недостаточно: незначительные ошибки привели к шквалу обвинений в адрес компании и волне негативных откликов о приложении.

Почему системы распознавания лиц так часто ошибаются?

Всё большее число исследований показывает, что точность алгоритмов падает, когда им приходится идентифицировать лица людей другой расы. Например, если сеть обучена на распознавание белых, количество ошибок для темнокожих будет выше.

Ещё одним вызовом для разработчиков нейросистем стало повсеместное ношение масок во время пандемии. Первыми с проблемой столкнулись владельцы iPhone, которые привыкли, что телефон разблокируется, распознавая владельца по лицу. В Сети тогда появились многочисленные инструкции, как взломать гаджет, научив его узнавать человека в маске. Это побудило Apple решать проблему масок кардинально — её исправили в анонсированном к марту 2022 года обновлении.

Сравнить человека, ровно стоящего перед камерой, с его фотографией в базе данных сегодня очень просто, поясняет руководитель отдела по машинному обучению NtechLab Андрей Беляев. Но найти человека по фотографии, на которой его плохо видно, в профиль, в маске в базе с более чем миллионом человек, — это уже вызов.

Ещё один аспект, который влияет на точность, — данные, на основе которых обучаются нейросети. Все компании пользуются практически одинаковым набором фреймворков и библиотек, на которых они разрабатывают свои системы и обучают нейросети. Однако различия всё-таки есть — в самих данных. Для обучения нейросети нужно много данных, а данные «локального» производства всегда ищутся лучше.

Тем не менее тренд по борьбе с дискриминацией укрепляется. Разработчики больше внимания уделяют тому, чтобы алгоритмы одинаково хорошо работали на представителях разных этнических групп и чтобы точность не зависела от страны, в которой находится производитель. Для этого перед выпуском алгоритма видеоаналитики на рынок разработчики проводят набор тестов для каждой отдельной этнической группы и проверяют, чтобы точность во всех случаях была одинаковой.

Затормозить этот процесс могут разве что финансовые возможности компаний, которые внедряют решения на основе Face ID. Операционный директор финтех-платформы «Фаст Ривер» Ксения Артемьева говорит, что высокоточные системы требуют и дорогостоящего оборудования. Например, распознавание 3D‑изображений более точное, чем распознавание 2D, но требует наличия мощного 3D-сканера.

Она также напоминает, что сегодня возможен анализ по структуре кожи и сетчатки глаз, но для этого необходимы высокоточные камеры с высоким разрешением. Существует даже анализ теплового слепка лица. Если комбинировать все доступные инструменты, это потребует больше вычислительных мощностей и сложного оборудования, но позволит снизить количество ошибок для минимума, говорит Артемьева.