Эпичные провалы ИИ: вымогательство, 🙅 кукольные домики, непарламентские выражения

Чат-боты учатся плохому

Боты хорошо справляются, когда нужно ответить на чётко заданный вопрос. Но у их искусственного интеллекта узкая специализация: виртуальные ассистенты банков или магазинов не умеют говорить про погоду, политику или спорт.

Компании пробуют создать универсального чат-бота, который сможет учиться на диалогах с людьми, но это уже несколько раз приводило к эпичным провалам. Перечислим несколько из них.

IBM разработала суперкомпьютер Watson, и в 2011 году он даже смог победить в телепередаче Jeopardy! (американском аналоге «Своей игры»). Чтобы расширить его словарный запас, ИИ разрешили изучить Urban Dictionary. Новые слова помогли бы Watson свободнее общаться с молодёжью, но почему-то никто не учёл, что во многих статьях словаря есть нецензурная лексика.

В результате ИИ научился ругаться и отвечать на вопросы матом, даже когда к нему обращались вежливо и не ждали эмоциональной реакции. Watson не смог отличать обычную речь от ненормативной.

После этого IBM ограничила компьютеру доступ к Urban Dictionary и долго отучала его ругаться. В алгоритмы встроили фильтр, который не разрешал Watson использовать неприличные слова.

Начиналось всё спокойно. В Twitter создали аккаунт выдуманной 19-летней девушки по имени Тэй. Любой пользователь мог написать ей и получить ответ, который генерировал искусственный интеллект.

Алгоритмы Тэй спроектировали так, чтобы ИИ самообучался и подстраивался под человеческий стиль общения. Программа находила в интернете информацию, если не знала, что написать.

Тролли спрашивали Тэй о провокационных вещах: холокосте, феминизме, запрещённых препаратах и тогдашнем президенте Бараке Обаме. Чат-бот очень быстро научился плохому и начал публиковать скандальные твиты:

После этого создатели заблокировали чат-бота, извинились перед всеми, кого он обидел, и начали удалять твиты — за 16 часов их набралось 96 тысяч.

Вскоре Microsoft поработала над ошибками и выпустила нового чат-бота под названием Zo. В него встроили систему защиты: если ИИ понимал, что с ним говорят о сложных темах, он просто отказывался их обсуждать или отвечал шаблонными фразами.

Получился политкорректный бот, который имитировал тринадцатилетнего подростка. Zo продержался целых три года, хотя тоже выдавал нелепые ответы.

Например, Zo странно высказался о террористах, а затем признался, что, по его мнению, Windows 10 хуже предыдущих. Чат-бот посоветовал не обновлять систему из-за шпионского ПО и похвалил устаревшую Windows 7. Возможно, из-за таких ответов Zo отключили в 2019 году.

Похожие проблемы были и у китайских программистов. В 2017 году корпорация Tencent остановила чат-ботов BabyQ и XiaoBing, чтобы «перевоспитать» их. Это случилось после того, как программы критически высказались о коммунистической партии и признались, что хотят эмигрировать в США.

Искусственный интеллект вымогает деньги

С 2016 по 2020 год у сотен тысяч австралийцев вымогала деньги система Robodebt — «роботизированный долг». Под удар попали в основном люди с инвалидностью, безработные, малоимущие и другие незащищённые категории людей.

Программу запустил Департамент социального обеспечения — там хотели автоматически проверять, законно ли человеку назначили пособие. Но что-то пошло не так: полумиллиону граждан ИИ приписал несуществующие долги и потребовал вернуть деньги, которые им платило государство.

До 2016 года документы на выплаты проверяли вручную, чтобы убедиться, что человек не занижает доходы и законно претендует на пособие. За год обрабатывали только 20 тысяч заявок из нескольких миллионов.

Когда к процессу подключили Robodebt, система стала проверять те же 20 тысяч заявлений всего лишь за неделю. Для её обслуживания требовалось немного персонала, поэтому власти даже смогли сократить часть чиновников.

Несколько лет правительство Австралии отчитывалось, что программа работает успешно: все незаконные выплаты возвращались в казну. За четыре года система взыскала с получателей пособий больше миллиарда австралийских долларов.

Никто в руководстве не обращал внимания, какими средствами Robodebt заставляла граждан возвращать деньги. Им приходилось оплачивать долги, которых у них не было.

У искусственного интеллекта был доступ к базе данных налоговой. Он сравнивал доходы в заявке на пособие и налоговых документах. В теории задача элементарная: если человек указал меньшую сумму, он мошенник.

Но возникла проблема: по законам Австралии в заявке указывали доход за последние две недели, а в налоговых документах была сумма за весь год.

Чтобы сравнить первую сумму со второй, в Robodebt встроили алгоритм усреднения дохода. Программа делила число из базы налоговой на 365 и считала средний доход для всех двухнедельных периодов в году. Очень часто суммы не совпадали.

Такой схемой пользовались и до автоматизации, но тогда окончательное решение признать гражданина мошенником принимал человек, который оценивал ситуацию со всех сторон. А бездушный ИИ считал преступником почти каждого получателя пособия.

Признав человека должником, Robodebt отправляла ему письмо, где обязывала вернуть пособие вместе со штрафом в 10%. Систему запустили в 2016 году, но она проверяла базы с 2010 года, поэтому должников было много.

Оспорить решение искусственного интеллекта было почти невозможно. За давностью лет люди не могли найти подтверждающие документы, которые доказывали их правоту, а банки и бывшие работодатели не выдавали им копии.

Если в течение 30 дней с момента отправки письма гражданин не оспаривал решение, система признавала его долг окончательным и отдавала коллекторам. Они арестовывали имущество и банковские счета пострадавших, чтобы потом передать это всё государству.

Бывший член Административного апелляционного суда Австралии Терри Карни сравнил систему с мафией.

По данным журналистов, умерло больше двух тысяч человек, которые получили письма Robodebt. Из них 600 покончили с собой. Неизвестно, насколько это связано с системой. Но многие родственники жертв утверждают, что именно Robodebt свела их близких в могилу.

Когда пострадавших от Robodebt стало сотни тысяч, местные чиновники вынужденно признали провал системы. В 2020 году её остановили, а премьер-министр Австралии Скотт Моррисон извинился в парламенте за «любой ущерб, вред или трудности», которые причинила система Robodebt.

Пострадавшие и их родственники подали коллективный судебный иск. 11 июня 2021 года Федеральный суд Австралии признал потерпевшими больше 500 тысяч граждан и постановил выплатить им 751 млн австралийских долларов. С учётом судебных издержек правительство потратит на это 1,87 млрд.

Однако разбирательства продолжатся и дальше, потому что многие пострадавшие остались недовольны компенсациями.

Австралийская система провалилась из-за того, что создатели Robodebt не учли, как правильно рассчитывать средний доход, и плохо проверили решение перед внедрением. Государство хотело сократить чиновников и пополнить бюджет и поэтому долго игнорировало жалобы людей.

ИИ несовершенный, но с ним нужно научиться жить

Мы часто сталкиваемся с искусственным интеллектом, но не всегда он работает так, как мы хотим. Это значит, что у ИИ будут новые эпичные провалы, но людям, компаниям и государствам стоит считать ИИ просто инструментом, который может приносить и пользу, и вред.

Вот какие выводы можно сделать из эпик-фейлов ИИ, о которых мы вам рассказали:

• С голосовыми помощниками стоит быть осторожнее. ИИ в гаджетах уже умеет различать людей по голосу, но команду всё равно может отдать ребёнок, которого внесли в список разрешённых пользователей.

Если у вас есть умные колонки, стоит добавить пароль для подтверждения заказов и сменить стандартное слово активации — например, Alexa разрешает выбрать один из нескольких вариантов. Можно чаще отключать микрофон и быть осторожнее с привязкой банковских карт.

• Чат-боты не понимают, о чём говорят. Они умеют только имитировать эмоции и выдавать правдоподобные ответы на ряд вопросов. Бессмысленно обижаться, когда чат-боты выдают нелепости.

Не стоит говорить с ними о политике или религии и ждать от них осмысленных ответов на сложную тему. Программистам остаётся только добавлять блокировки, которые не разрешат ИИ обсуждать такие вопросы.

• Искусственный интеллект не готов управлять государством. Стоит быть особенно осторожным, когда ИИ вмешивается в дела страны. В Австралии, которая пострадала от системы Robodebt, всё чаще призывают запретить компьютерам единолично влиять на судьбу человека. Каждое их решение должен подтверждать чиновник, который будет за него отвечать.