«Яндекс» представил обновление языковой модели YandexGPT

Во время конференции Practical ML Conf «Яндекс» представил вторую версию нейросети YandexGPT — YandexGPT 2. Разработчики добавили новые этапы обучения языковой модели, что помогло повысить её эрудицию, улучшить знания о мире и языке, а также повысить качество решения практических задач.

Как изменилось обучение нейросети

Разработчики внесли изменения на первом уровне обучения нейросети — претрейне. На этом этапе она впитывает общие знания о мире перед тем, как научиться решать прикладные задачи.

Так, раньше отбирать информацию для претрейна и оценивать качество работы нейросети приходилось вручную. С увеличением датасета этот процесс усложнялся, в итоге находить ошибки становилось тяжелее. Теперь при изменениях набора данных разработчики обучают на нём маленькую быструю модель для оценки результата. Если всё хорошо, то этот датасет используют для YandexGPT.

Вместе с тем нейросеть обучили классифицировать некачественный текст, а также оценивать полезность сгенерированного ответа и фактологическую полноту. В итоге языковая модель реже выдаёт ошибочные результаты и создаёт тексты с высокой долей цитируемости.

Новые возможности YandexGPT

В «Яндексе» оценили результаты генерации ответов обновлённой модели YandexGPT 2. В отдельных сценариях нейросеть отвечает лучше предыдущей версии:

• генерация текста — 69%;
• пересказ и анализ текста — 68%;
• генерация идей — 66%;
• стилизация ответов под определённую аудиторию или персонажа — 62%;
• фактовые запросы — 62%.

YandexGPT 2 умеет адаптировать текст под определённых пользователей. К примеру, можно попросить объяснить сложный термин ребёнку или пересказать финансовый отчёт компании простыми словами. Вместе с этим нейросеть научили анализировать тексты длиной до тысячи символов.

Нейросеть может генерировать код, используя современные возможности языков программирования. Из минусов можно отметить, что нет поддержки нумерации строк и подсветки синтаксиса. Это усложняет восприятие сгенерированного ответа.

Модель YandexGPT 2 доступна на главной странице и в приложении «Яндекс», в умных колонках компании, телевизорах с Алисой, «Яндекс Браузере» и на странице результатов поиска.