Скидка до 55% и 3 курса в подарок 2 дня 13 :30 :09 Выбрать курс
Бизнес
#статьи

Нейросети неидеальны. Разбираем 5 нюансов, которые точно нужно знать

Почему ИИ галлюцинирует, додумывает и игнорирует инструкции — и что с этим делать.

Иллюстрация: Оля Ежак для Skillbox Media

Нейросети для многих стали привычным инструментом — быстрым, удобным и действительно полезным. Но чем дольше специалисты работают с ИИ, тем чаще замечают, что нейросети далеки от идеала.

Во время подготовки этой статьи мы поговорили с экспертами из разных сфер. Многие из них говорят об одних и тех же проблемах ИИ, но каждый видит и формулирует их через свою профессиональную оптику: кто-то сталкивается с потерей контекста, кто-то — с выдуманными цифрами и источниками, а кто-то — с неожиданными интерпретациями в творческих задачах. Это не отменяет ценности нейросетей, но показывает, что они требуют осознанного подхода.

В этом материале редакции «Маркетинг» Skillbox Media мы собрали типичные ошибки нейросетей, с которыми сталкиваются практики, и сформулировали выводы, которые помогут использовать ИИ эффективнее и безопаснее.


Нейросети галлюцинируют — уверенно выдают выдумку за факт

Тимур Угулава


Совладелец digital-агентства «Медиасфера», эксперт «Яндекса» по обучению, нейроактивист и автор телеграм-канала «Тимур Угулава»

— В работе с нейросетями я постоянно сталкиваюсь с галлюцинациями, когда модель с уверенным видом сообщает ерунду как проверенный факт. Особенно часто это происходит на больших объёмах данных и длинных текстах.

Нейросеть не «знает» информацию в человеческом смысле — она предсказывает, какое слово должно быть следующим. Если в обучающих данных есть пробелы или противоречия, модель заполняет их вероятностной выдумкой — и делает это максимально убедительно.

Например, ИИ придумывает несуществующую статистику, ссылается на исследования, которых нет, смешивает реальные факты со своими догадками или создаёт «экспертные мнения» от вымышленных людей.

Я выделяю три причины, почему появляются подобные галлюцинации:

  • Пробелы в данных — если точного ответа нет, модель угадывает.
  • Конфликтующие источники — в интернете много противоречий, а модель не отличает правду от ошибки и усредняет версии.
  • Шаблоны — нейросеть запоминает структуры вроде «исследование показало…» и воспроизводит их даже без реального исследования.

Такие галлюцинации особенно опасны там, где высока цена ошибки. Например, в медицине и праве, в статистике и финансах. Осторожность также нужна в узкоспециализированных технических темах, где модели уверенно ошибаются из-за нехватки контекста.

Что с этим делать? Главный принцип работы с нейросетями — не доверяй, а проверяй. ИИ хорошо помогает с черновиками, структурой и скоростью, но ответственность за итог всегда на человеке. В работе с нейросетями я использую три «слоя защиты»:

  • Слой 1 — промпт: прошу нейросеть отвечать только на основе предоставленных данных и прямо писать, если информации нет.
  • Слой 2 — перекрёстная проверка: все факты, цифры и ссылки перепроверяю через независимые источники и собственный опыт, особенно перед публикацией.
  • Слой 3 — промпт для глубокого фактчекинга: я придумал отдельный запрос, который заставляет модель критически пройтись по тезисам и отметить сомнительные места.
Проверка данных статьи про историю Восточной Пруссии
Изображение: Тимур Угулава

Галлюцинации — скорее особенность нейросетей, чем случайный сбой. С ними можно работать эффективно, если держать в голове простую мысль: помимо электромозга нужен ещё и мозг пользователя.

Придумывают цифры и ссылки в исследованиях

Анна Булаева


Руководитель направления Kaiten AI

— Я чаще всего использую нейросети для поиска информации и исследовательских задач. И регулярно вижу одну проблему: LLM могут увлечься и начать приводить «факты» с цифрами и даже ссылками на исследования, которых на самом деле нет.

Например, ищешь, какой процент сотрудников крупных компаний применяли в работе AI-редакторы текста, и получаешь точные проценты — хотя никто такие данные не замерял. Начинаешь проверять и понимаешь: это не статистика из отчёта, а вывод самой нейросети, к которому она просто дорисовала цифры.

Что с этим делать. Ошибки проще не ловить вручную, а предотвращать настройками и тестами — так, чтобы нейросеть не могла уйти в общие формулировки.

Один из рабочих подходов — Structured Output. Это функция в работе с LLM, которая заставляет ИИ отвечать по заданной структуре: например, отдельно выдавать факты, цифры и источники. Но и это не гарантирует, что число или формулировка будут корректно перенесены из первоисточника. Поэтому в критичных задачах нужны ручные проверки, чтобы убедиться, что данные совпадают с документом-источником.

Если проект сложный и в нём много деталей, нейросеть может не уловить логику целиком. В таких задачах помогает такой подход: сначала просим модель расписать путь, функции и логику работы, а уже потом — делать выводы.

В итоге самый надёжный способ не пропустить ошибку — закладывать в процесс перепроверку результата: настраивать проверки на уровне структуры ответа и дополнительно просматривать результат вручную перед тем, как использовать данные в работе.

Додумывают смыслы в творчестве и могут увести результат в неожиданное русло

Максим Мельников


Нейрохудожник

— Генеративный ИИ в творчестве я активно использую с лета 2022 года. Только в Midjourney, которую считаю лучшей графической нейросетью, у меня больше 70 тысяч сгенерированных картинок. По моему опыту, графические, музыкальные и видеонейросети — это в какой-то степени лотерея: чем лучше вы понимаете сервис и чем точнее описываете то, что хотите увидеть, тем выше шанс получить нужный результат.

Это хорошо заметно на абстрактных словах. Если ввести в запрос просто love, нейросеть вероятнее всего покажет влюблённые пары: она выбирает самый распространённый и средний смысл. Но любовь может означать что угодно: любовь к родителям, профессии, стране, и у каждого человека за этим стоят разные образы.

В таких случаях без подробного запроса не обойтись, иначе модель подставит своё обобщённое представление. При этом перегружать запрос деталями тоже не стоит: даже продвинутые нейросети плохо справляются с большим количеством смыслов и объектов одновременно и начинают терять композицию.

Однажды такая особенность проявилась очень наглядно. Мы с командой делали карточную игру для медиков в духе «Имаджинариума», и мне нужно было сгенерировать гемартроз — это скопление крови в полости сустава. Я попробовал общий запрос, рассчитывая на медицинскую иллюстрацию, но вместо этого получил красивый дарк-арт.

Вот как ИИ показала медицинский термин
Изображение: Максим Мельников / Midjourney

У нейросети, судя по всему, не было чёткого «знания» редкого термина, но она уловила общие ассоциации — «медицина + кровь» — и начала додумывать, трактуя запрос скорее как художественный образ. В результате картинка получилась эффектной, но не соответствующей задаче.

Что с этим делать. В зависимости от ситуации можно пробовать простой или подробный подход к запросу — или оба сразу, если позволяет тарифный план.

Простой запрос подходит, если вам нужны идеи, вариативность и своего рода магия интерпретации. Такой запрос:

  • задаёт лишь общее направление;
  • даёт больше неожиданных деталей;
  • чаще уводит в сторону, если слово или выражение абстрактное или редкое.

Подробный запрос лучше использовать, если нужен предсказуемый результат и минимум додумываний. Он особенно полезен для сложных терминов и узких тем. В этом случае важно:

  • подробно уточнять, что именно вы имеете в виду;
  • задавать контекст и ограничения.

Если задача точная, как в кейсе с гемартрозом, лучше не оставлять нейросеть догадываться, а сразу объяснять контекст и желаемую визуальную трактовку — иначе модель легко превратит термин в художественную фантазию.

Игнорируют прямые инструкции

Паша Молянов


Фаундер агентства контент-маркетинга «Сделаем» и клуба по нейросетям «Нейроцех»

— Нейросети могут «не услышать» простое и понятное ТЗ. Вы просите выполнить пять пунктов, а модель делает четыре и как будто забывает про пятый. Чем больше информации попадает в контекстное окно, тем выше вероятность, что часть данных ИИ проигнорирует, потеряет или исказит.

Что с этим делать:

  • Создавать новый чат под каждую новую задачу, а не вести всё в одном бесконечном диалоге.
  • Не забивать контекст лишним — например, эмоциональными репликами вроде: «Я уже 500 раз это говорил!» Это не улучшает результат, но увеличивает вероятность ошибок.
  • Разбивать большие задачи на маленькие шаги, и для каждого шага давать отдельную инструкцию, в идеале — даже маленькие шаги обсуждать в отдельном диалоге.
  • Собирать ключевую информацию по проекту в отдельный документ и прикладывать его к каждому новому чату в качестве короткого онбординга с самым важным.

Вот как можно дробить задачи на примере запроса про SEO-текст. Вместо просьбы «Напиши весь SEO-текст целиком» лучше идти по этапам. Сначала попросите нейросеть собрать семантику, затем — собрать фактуру, далее — составить тезисный план, написать первый раздел, второй, третий и так далее.

Забывают заданные требования спустя время

Дарья Чепурнова


Шеф-редактор направлений «Маркетинг», «Управление», «Бизнес» и «Деньги» в Skillbox Media и автор телеграм-канала «Даша шеф-рыдачит»

— В работе я использую несколько агентов ChatGPT под разные задачи. И почти все они регулярно забывают требования, которые я задала в начале. Из-за этого результат оказывается не совсем тем, который нужен.

Например, один из агентов анализирует медиапространство и предлагает инфоповоды для редакции. У него есть чёткий запрет: не приносить новости о том, что очередной бренд запустил очередной продукт. Я прямо прописывала это ограничение в чате и отдельно напоминала о нём в обратной связи. Агент соглашался, но спустя несколько дней снова начинал предлагать такие инфоповоды.

На скрине пример того, как нейросеть в числе других инфоповодов приносит те, которые просили не брать
Изображение: Дарья Чепурнова

Часто проблема возникает из-за слишком сложных и перегруженных инструкций. Если попросить человека выполнить задачу по чек-листу из ста пунктов, он с высокой вероятностью пропустит часть требований. С нейросетями работает тот же принцип: чем больше условий, тем выше риск, что некоторые из них будут проигнорированы.

Что с этим делать? Если нейросеть регулярно нарушает правила, попробуйте сократить промпт или инструкцию. Оставьте только ключевые требования — так модель будет реже терять фокус и начнёт выдавать более точный результат.

Ещё 5 статей про нейросети от Skillbox Media






Научитесь: Нейросети для рабочих задач Узнать больше
Понравилась статья?
Да

Пользуясь нашим сайтом, вы соглашаетесь с тем, что мы используем cookies 🍪

Ссылка скопирована