5 нейросетей, которые умеют распознавать и описывать изображения⁠

Нейросети могут распознавать текст на изображениях, описывать фотографии и анализировать визуальный контент. В этой статье от редакции «Маркетинг» Skillbox Media мы расскажем:

• для чего нужна функция описания изображений;
• как составить промпт для описания картинки;
• какие нейросети смогут описать изображение;
• какие промпты для этого можно использовать;
• с какими проблемами можно столкнуться при работе с ИИ.

Для чего нужна функция описания изображения

Может показаться, что функция описания изображений не очень полезна: зачем просить нейросеть рассказать, что изображено на картинке, если это и так видно? На самом деле она может пригодиться и в профессиональной работе с визуальным контентом, и в повседневных задачах.

Например, дизайнеры могут с помощью этой функции подготовить описание товара для карточки на маркетплейсе. Студентам художественных вузов она поможет проанализировать картину или сравнить работы разных художников.

SEO-специалисты могут использовать нейросети для создания alt-текстов — кратких описаний изображений на сайте. Они помогают людям с нарушениями зрения понять, что изображено на странице, а в случае проблем с загрузкой картинки — понять её содержание по текстовому описанию.

В быту возможностей ещё больше. Например, нейросеть может определить по фотографии, что за цветок стоит у вас на подоконнике, и предположить, почему у него желтеют листья. А в путешествии можно сфотографировать незнакомое блюдо и узнать, что это такое, из чего примерно оно состоит и каким может быть на вкус.

Читайте также:

Нейросети — слоп или топ?

Как составить промпт для описания картинки

Чтобы получить полезный результат, недостаточно просто скинуть нейросети картинку и написать: «Опиши это изображение». В промпте стоит указать:

• задачу — например, нужно описать, что изображено на картинке, проанализировать композицию или извлечь текст;
• для чего нужен результат — например, для описания карточки товара или это alt-текст для сайта;
• объём текста — можно попросить ИИ уложиться в одно-два предложения или, наоборот, дать развёрнутое описание;
• ограничения — например, не использовать канцеляризмы и не додумывать то, чего нет на изображении;
• дополнительные детали — например, указать целевую аудиторию, желаемый стиль текста или культурные особенности, которые стоит учитывать;
• пример желаемого результата — если у вас есть подходящий референс, покажите его нейросети.

Необязательно указывать все эти пункты — адаптируйте промпт под свою задачу. Например, если объём ответа не важен, его можно не ограничивать.

Какие нейросети смогут описать изображение

В этом разделе мы собрали популярные российские и зарубежные нейросети, которые умеют работать с изображениями.

ChatGPT

ChatGPT — универсальная зарубежная нейросеть. Она умеет работать не только с изображениями, но и с текстами, а также писать код. В бесплатной версии за сутки можно загрузить до трёх файлов. Если нужно загрузить больше картинок, то понадобится платная подписка.

«ГигаЧат»

«ГигаЧат» — российская нейросеть от «Сбера». За один запрос можно загрузить до трёх изображений. С «ГигаЧатом» можно общаться не только текстом, но и голосом. Это удобно, если, например, не хочется долго печатать.

Gemini

Gemini — нейросеть от Google. Чаще всего она выдаёт развёрнутые ответы и может справляться с промптами, в которых есть несколько запросов. Изображения в Gemini можно загружать с «Google Диска».

«Алиса AI»

«Алиса AI» — универсальная нейросеть от «Яндекса». Если у вас есть умная колонка «Яндекса», с «Алисой AI» можно общаться через неё.

Claude

Claude — чат-бот из семейства больших языковых моделей, созданных американской компанией Anthropic. Его часто хвалят за естественные и подробные ответы. Claude подходит для работы не только с фотографиями, но и, например, с таблицами, чертежами и диаграммами.

Примеры промптов для анализа и описания изображений

Мы собрали промпты, которые можно использовать для анализа изображений, создания описаний товаров и alt-текстов, а также для распознавания объектов на фото. Здесь же покажем, как нейросети, о которых мы рассказали выше, справляются с задачами.

Анализ изображения. Такой промпт может пригодиться, например, студентам художественных вузов, а также специалистам, которые ищут вдохновение или новые визуальные решения. Можно анализировать картины, архитектуру, скульптуры, упаковку, плакаты, афиши и так далее.

Ниже — пример промпта для анализа картины Архипа Куинджи «Море. Крым». Его можно взять без изменений или же адаптировать под свою задачу.

Вот какие ответы мы получили от ChatGPT и «ГигаЧата».

Мнения нейросетей разошлись. ChatGPT назвал центром композиции пологий берег, а «ГигаЧат» — облако. По мнению зарубежного ИИ, на картине преобладают горизонтальные линии, а русская нейросеть говорит о диагональных.

Искусство — не математика, здесь не всегда можно дать один правильный ответ. Одно и то же произведение разные люди могут интерпретировать по-разному. Но при этом существуют художественные стили, направления и мнения экспертов, на которые можно опираться.

Чтобы получить более точный ответ, можно указать в промпте фамилию искусствоведа или культуролога и попросить нейросеть ссылаться на его работы. Другой вариант — сравнить ответы нескольких нейросетей и самостоятельно выбрать тот, который кажется наиболее убедительным.

Описание товара. Такой промпт пригодится специалистам, которые создают описания для карточек товаров на маркетплейсах. В него мы заложили рекомендации маркетплейса и экспертов по SEO. При желании можно добавить пример готового описания — например, текст из карточки похожего товара или свой удачный вариант.

Мы попросили нейросети «Алиса AI» и Gemini составить описание для чайника — вот какие ответы они дали.

Обе нейросети отмечают винтажный стиль чайника и его эргономичную форму. Но есть и различия в ответах. Например, «Алиса AI» разбила описание на абзацы — такой текст удобно сразу скопировать и вставить в карточку товара. Gemini подробнее описала ситуации, в которых можно использовать чайник. Это важная деталь для описания товара — подобные сценарии могут подтолкнуть человека к покупке.

Создание alt-текста. Такой промпт пригодится SEO-специалистам, которым нужно создавать короткие описания изображений для сайта. В alt-тексте важно передать содержание изображения и значимые для страницы детали, а не описывать всё, что попало в кадр, — это стоит учесть в промпте.

Мы попросили нейросети Claude и ChatGPT написать alt-текст для изображения из нашей статьи.

Нейросети примерно одинаково описали, что происходит на изображении. Но для alt-текста больше подходит ответ ChatGPT. Он смог дословно прописать текст, который есть на изображении. Возможно, для Claude стоит доработать промпт.

Распознавание объектов. Универсальный промпт для такой задачи составить сложно: его содержание будет зависеть от того, что именно вы хотите узнать. Ниже мы привели пример промпта для ситуации, когда вам подарили цветок и вы хотите узнать, безопасен ли он для домашнего питомца.

В нашем случае ответы нейросетей сильно различаются. «Алиса AI» определила цветок как безопасную для кошек калатею, а «ГигаЧат», наоборот, предупредил, что растение может вызвать отравление, приняв цветок за диффенбахию. Если запрос касается здоровья и безопасности, лучше не полагаться на ответ нейросети, а самостоятельно проверить информацию в надёжных источниках.

С какими проблемами можно столкнуться при работе с ИИ

Нейросети многому научились, но всё же до сих пор неидеальны. При работе с ними можно столкнуться со следующими проблемами:

• Галлюцинации — нейросеть может придумывать информацию, додумывать недостающие в промпте детали и уверенно рассказывать о вещах, которых на самом деле не существует.
• Ошибки при распознавании текста — ИИ может неправильно читать текст на изображениях, особенно если они плохого качества, текст написан от руки, мелким шрифтом или расположен под углом.
• Недостаток культурного контекста — нейросеть не всегда учитывает культурный или исторический контекст, хотя иногда он может сильно влиять на результат.
• Предвзятость — ИИ обучается на большом количестве данных, созданных людьми, поэтому может воспроизводить существующие стереотипы и предубеждения.
• Ошибки при распознавании лиц — нейросети способны перепутать известных людей или неправильно определить возраст, национальность и другие характеристики.
• Риски для персональных данных и конфиденциальной информации — не стоит загружать в нейросети секретные документы и изображения с конфиденциальной информацией: модели используют их для обучения, поэтому данные могут стать доступны третьим лицам.

Помните: даже подробный промпт не гарантирует правильного ответа. Нейросеть может ошибиться, неправильно распознать объект или придумать детали, которых нет на изображении. Поэтому перед публикацией или использованием результат стоит перепроверить.