OpenAI обновила нейросеть GPT‑3: теперь она умеет редактировать текст на лету

Разработчики научили её следить за контекстом и вносить правки в уже существующий текст, а не переписывать его заново.

Дмитрий Зверев

Любитель научной фантастики и технологического прогресса. Хорошо сочетает в себе заумного технаря и утончённого гуманитария. Пишет про IT и радуется этому.

Что случилось? Компания OpenAI добавила новые возможности для нейросетей, которые обрабатывают естественный язык, — GPT-3 и Codex. Они теперь умеют редактировать и вставлять информацию внутрь уже созданного текста, вместо того чтобы добавлять её в конец.

И что? Это позволит нейросетям запоминать контекст и переписывать только нужные абзацы или части кода. Ещё это обновление откроет новые практические кейсы по применению GPT-3 и Codex.

А как это работает? Нейросети теперь учитывают контекст и изменяют только те части текста, которые соответствуют новому контексту.

Нейросеть улучшает временную сложность функции Фибоначчи
*Изображение: OpenAI*

Новая функция вставки текста в примере ниже изменяет текст посередине на основе двух контекстов — заголовков сверху и снизу. Но если убрать второй заголовок, то итоговый текст будет относиться только к первому.

Нейросеть дописывает текст, учитывая контекст
*Изображение: OpenAI*

Или другой пример с кодом. Нейросеть самостоятельно дописывает функцию prune, чтобы код работал корректно. Ещё она вставляет строку с описанием функции и пропущенный import.

Нейросеть дописывает код
*Изображение: OpenAI*

Функция изменения текста позволяет нейросети изменять тон или структуру текста, а также, например, исправлять грамматические ошибки. В примере ниже алгоритм создаёт стих, переписывает его от первого лица и переделывает под формат письма.

Нейросеть пишет стих
*Изображение: OpenAI*

С кодом эта функция тоже умеет работать. Например, нейросеть может рефакторить код, писать документацию, переводить код на другие языки программирования и изменять стиль программирования.