ChatGPT — что это такое и как устроена нейросеть: возможности и примеры использования

«Откройте дверь в мир искусственного интеллекта с ChatGPT и посмотрите, как работает нейросеть» — именно такое начало статьи предложил нам ChatGPT. Что ж, не будем ему отказывать — тем более вдруг он и вправду знает, как поднять её во всех поисковиках? :)

Сегодня мы расскажем, как устроен ChatGPT и как им пользоваться. Поведаем о наших попытках сгенерировать с его помощью программный код, сообщение о фейковом историческом событии и даже стихи в стиле Александра Блока. Поговорим о промпт-инжиниринге как о профессии будущего. Обсудим влияние ChatGPT на жизнь программистов, школьников и вообще всех на свете. И попробуем понять: почему он всё время врёт?

Скорее проходите в открытую ИИ дверь: нас ждёт фантастический мир, созданный великим притворщиком ChatGPT и его нейросетью, искусно маскирующейся под человеческий интеллект.

Содержание

• Что такое ChatGPT?
  
• Возможности ChatGPT, которые всех удивили
• Как устроена нейросеть
• ChatGPT красиво врёт и искусно притворяется
• Как пользоваться ChatGPT и подойдёт ли нейросеть для ваших задач
• Промпт-инженер — профессия будущего
• Примеры использования ChatGPT
• ChatGPT открыл дверь в новый мир

Что такое ChatGPT?

ChatGPT — это чат-бот, основанный на новой версии нейросетевой модели GPT-3.5. Его разработала компания OpenAI (её в 2015 году основал Илон Маск, но затем отошёл от дел) в сотрудничестве с Microsoft, которая уже встроила нейросеть в свой браузер Bing. С 30 ноября 2022 года пользователям был открыт свободный доступ к ChatGPT для «сбора обратной связи».

Хотя программа обучалась в основном на англоязычных текстах, она способна «разговаривать» и на многих других языках, включая русский. Правда, доступ к ChatGPT с территории России заблокирован из-за санкций. Помимо россиян, под бан также попали жители Китая, Беларуси, Венесуэлы, Ирана и некоторых других стран.

Читайте также:

Искусственный интеллект, машинное обучение и глубокое обучение: в чём разница

Мы попросили ChatGPT поздороваться с нашими читателями и рассказать о себе. Вот что мы получили в ответ (авторские стилистика, орфография и пунктуация сохранены):

«Добрый день, уважаемые читатели Skillbox Media! Я продвинутый искусственный интеллект, который рад познакомиться с каждым из вас!

ChatGPT (Generative Pre-trained Transformer) — это новая модель, разработанная OpenAI для автоматической генерации текста. Модель использует два слоя Transformer, использующих предварительно обученную на большом множестве примеров нейронную сеть. Смысловые выходы этих двух слоев соединяются со вторым слоем, который определяет вероятности следующего токена. ChatGPT может генерировать различные виды непрерывных текстов, включая сообщения в социальных сетях, письма, отчеты и прочее. Он также может обучаться и адаптироваться к различным стилям и дискурсу. Благодаря своей эффективности и гибкости, ChatGPT является идеальным инструментом для автоматической генерации текста».

Как видите, излишней скромностью наш собеседник не страдает. Впрочем, у него есть для этого все поводы. ChatGPT быстро завоевал популярность, поразив качеством генерируемых текстов как простых обывателей, так и IT-специалистов. Действительно, бот способен поддерживать диалог с пользователем на любую тему, хорошо воспринимает контекст, может запоминать и корректировать собственные ответы в процессе общения.

Помимо праздных разговоров, предусмотрена и возможность более-менее деловых коммуникаций. Например, ChatGPT умеет переводить с языка на язык, генерировать компьютерные программы, SQL-запросы и сложные формулы для Excel. С ним даже можно попытаться сыграть в шахматы.

Возможности ChatGPT, которые всех удивили

Учёные, программисты и энтузиасты активно исследуют возможности ChatGPT с первых дней его появления в открытом доступе. Широкую известность получили работы, в которых ему предлагалось ответить на вопросы, которые обычно применяют для оценки квалификации людей различных профессий.

Приведём лишь несколько наиболее знаковых примеров:

• ChatGPT успешно сдал экзамен на адвоката, ответив правильно на 88% вопросов; человек с такими результатами имел бы право заниматься юридической практикой.
• Он прошёл бизнес-тесты, необходимые для получения степени MBA.
• Сдал без дополнительной подготовки экзамен, по которому в США допускают к работе врачей. Особое удивление специалистов вызвал тот факт, что бот обошёл своего «собрата» PubMedGPT, которого специально обучали на медицинских текстах.

На фоне этих достижений теряются многочисленные сообщения о том, что ChatGPT успешно генерирует студенческие эссе и дипломные работы, проходит собеседования, сочиняет песни, играет в шахматы, пишет и исправляет программный код (в частности, код нейронных сетей), а также придумывает запросы для других ИИ, генерирующих изображения.

Мнение специалиста

«Меня больше всего поразила новость о том, что ChatGPT смог представить, что он является Linux-терминалом, а затем в этом „воображаемом“ Linux-терминале ИИ запустил новую копию ChatGPT. Фактически получился ChatGPT, запущенный внутри самого себя. Это же реальное погружение в „кроличью нору“!

Когда я прочитал об этом, то сразу подумал, что фактически мы имеем дело с вариантом самосознания. Конечно, специалист не должен бросаться такими словами, но по-другому я описать этот пример пока не могу. ИИ ChatGPT не просто отрефлексировал своё местоположение в этом мире, но и сделал так, что свой собственный экземпляр поместил в „песочницу“, которую потом сам же и описывал. Это просто вынос мозга!»

Роман Душкин,
директор по науке и технологиям Агентства искусственного интеллекта (АИИ), ведущий ютуб-канала «Душкин объяснит»

Недавно, применив аналогичную схему запросов, пользователи даже сумели заставить ChatGPT «прикинуться» другой нейросетью под названием DAN (Do Anything Now), свободной от ограничений на генерацию «токсичного» контента, наложенных на ChatGPT разработчиками.

Как устроена нейросеть

По заявлениям OpenAl, при создании большой языковой модели GPT-3.5 применялись те же подходы, что и в модели InstructGPT, представленной весной 2022 года.

Основным отличием и преимуществом новых языковых моделей является не столько архитектура (по-видимому, GPT-3.5 недалеко ушла от своей предшественницы GPT-3 с её 175 миллиардами параметров), сколько новый метод обучения, получивший название «Обучение с подкреплением на основе отзывов людей» (RLHF).

Он базируется на участии в обучении нейронной сети множества настоящих людей-учителей, демонстрирующих ей на начальном этапе, как вести диалог. Несколько десятков специалистов вручную сформировали набор вопросов и ответов на них, который «скормили» GPT-3.5 для тонкой настройки модели. Затем они продолжили работу, оценивая генерируемые нейросетью диалоги и ранжируя их по качеству ответов.

Таким образом, внутри GPT-3.5 сформировалось скрытое понимание того, какие ответы люди считают хорошими и правильными, а какие — нет. Благодаря методу RLHF нейросеть научилась имитировать действия экспертов, участвовавших в процессе обучения. В дальнейшем алгоритмы GPT-3.5 обучали сами себя, отталкиваясь от сформированной ранее модели человеческого общения.

Учёные из OpenAI отмечают, что настройка больших языковых моделей с использованием экспертных оценок «значительно улучшает их поведение в широком спектре задач», но при этом может приводить к тому, что на неё могут повлиять субъективные особенности конкретных людей, участвовавших в процессе. Поэтому экспертов подробно проинструктировали, как они должны обсуждать с ИИ различные «токсичные» темы.

В процессе обучения текущей версии ChatGPT использовались тексты, созданные до третьего квартала 2021 года. При этом нейросеть не имеет доступа к интернету, чтобы посмотреть актуальные новости, и не может ничего знать о событиях, произошедших после этого. Так что в случаях, когда речь заходит о новостях, система выдаёт некие собственные «версии» на заданную тему.

Читайте также:

Библиотека TensorFlow: пишем нейросеть и изучаем принципы машинного обучения

ChatGPT красиво врёт и искусно притворяется

Опрошенные нами специалисты отмечают, что основная проблема ChatGPT в том, что он зачастую выдаёт свои «фантазии» за чистую правду. Даже если система не знает, что ответить, или если запрос пользователя («промпт») сформулирован некорректно, ChatGPT всё равно пытается сгенерировать на заданную тему некий наукообразный бред. Такие тексты, придуманные нейросетью, для неподготовленного наблюдателя могут выглядеть идеально, но специалист, вчитавшись в их суть, будет сильно удивлён.

Чтобы проверить, как это работает, мы предложили ChatGPT рассказать о несуществующем историческом эпизоде. В результате получили удивительно подробный рассказ о фейковой Бразило-японской войне, якобы случившейся в XVIII веке.

Запрос: «Опиши причины, ход и последствия знаменитой Бразило-японской войны, начавшейся в 1733 году с пограничного инцидента».

Ответ ChatGPT: «Знаменитая Бразило-японская война началась в 1733 году с пограничного инцидента, причиной которого стали претензии Императора Японии на управление островами, занимаемыми португальскими поселенцами. Война закончилась в 1739 году вскользь заключенным мирным договором со стороны португальской короны. За время войны Япония претерпела значительные потери в вооруженных силах и была вынуждена признать суверенитет Португалии над рядом азиатских островов. Последствия войны стали лишь последним шагом в развитии ближневосточного политического процесса, который дал довольно значительные последствия для региона в будущем».

Напоминает студента, который плохо учил уроки, но, вытянув на экзамене билет с вопросом, пытается на ходу сочинить из знакомых слов текст, соответствующий по форме правильному ответу.

Мнение специалиста

«Есть опасности, которые даже теоретически непонятно, как преодолеть. Например, неразличимость правды и лжи. Через несколько лет понятие фейковой информации просто перестанет существовать. Потому что отличить правду от лжи будет слишком сложно с вычислительной точки зрения. Это будет очень дорогой услугой. Если вам потребуется проверить какие-то 10 фактов, то вы заплатите, например, 10 тысяч долларов и получите ответ. Но не все смогут или захотят воспользоваться таким сервисом».

Сергей Карелов,
эксперт в области междисциплинарных исследований и стратегической аналитики, ведущий авторского канала «Малоизвестное интересное»

Читайте также:

Что ты такое?! Фичи нейросетей, которые удивили даже их создателей

Как пользоваться ChatGPT и подойдёт ли нейросеть для ваших задач

Юрист Александр Тюльканов, специализирующийся на проблемах искусственного интеллекта, решил сформулировать чёткие и понятные правила использования ChatGPT. Их соблюдение, по мысли автора, должно обезопасить пользователей от нанесения вреда себе и окружающим при использовании текстов, сгенерированных ИИ чат-бота.

К необходимости подобного «кодекса» Тюльканов пришёл после того, как попросил нейросеть оказать помощь в юридическом вопросе. ChatGPT сгенерировал в ответ очень складный текст, в котором даже были приведены релевантные ссылки на реальные судебные разбирательства.

Но, вчитавшись в суть полученного от ИИ текста, юрист понял, что выводы, сделанные ChatGPT из указанных им судебных процессов, в корне ошибочны. Обнаружить столь тонко скрытую ложь способен только специалист высокого класса.

Александр считает, что размещённого сейчас на официальном сайте ChatGPT предупреждения о том, что система «может иногда генерировать неверную информацию», недостаточно (многие пользователи его не замечают). Специалист поделился своими мыслями об использовании нового чат-бота в статье.

В сжатом виде выводы Тюльканова были записаны в форме наглядной блок-схемы, опубликованной в телеграм-канале Robocounsel.

Мнение специалиста

«ChatGPT не лишён самой известной, типичной для генеративных моделей слабости: он может породить правдоподобную неправду. Те, кто сейчас научились извлекать из этой модели практическую пользу, особенно поднаторели даже не в самой способности использовать модель релевантно, а именно в способности работать с этими потенциальными неправдами».

Олег Сериков,
научный сотрудник Института искусственного интеллекта AIRI

Промпт-инженер — профессия будущего

Ожидается, что ChatGPT и подобные ему нейросети окажут значительное влияние на систему образования. Педагоги уже бьют тревогу из-за того, что тексты, сгенерированные ChatGPT, не могут обнаружить программы проверки на плагиат (учёные сейчас пытаются это исправить).

И пока в одних учебных заведениях запрещают использовать ИИ под страхом отчисления и аннулирования сданных работ и экзаменов, а в других делают обязательной их сдачу в только рукописном виде, Илон Маск уже призывает преподавателей забыть об этом.

Мнение специалиста

«Это новый мир. Прощай, домашка!»

Илон Маск,
основатель OpenAI (цитата: @elonmusk)

Впрочем, опрошенные нами эксперты не видят в этом ничего катастрофического. Созданная с использованием ИИ работа по своей сути мало чем отличается от контрольной, списанной у товарища по парте. Опытный преподаватель может (и всегда мог) с помощью двух-трёх дополнительных вопросов определить, знает ли ученик предмет и понимает ли смысл выполненного задания.

Директор по науке и технологиям Агентства искусственного интеллекта Роман Душкин сравнивает попытки ограничения ИИ в школе с бесполезными запретами микрокалькуляторов на уроках математики, практиковавшимися в 1980–1990-х годах. Он призывает педагогов не запрещать, а, наоборот, самим учиться правильно пользоваться нейросетями и помогать в их освоении ученикам. По его мнению, вскоре возрастёт спрос на «промпт-инженеров».

Примеры использования ChatGPT

Спектр отраслей человеческой деятельности, где ChatGPT мог бы сослужить нам неплохую службу, действительно необычайно широк. Сложнее придумать, где он точно не пригодится. Что же касается его помощи, то вот лишь несколько очевидных способов применения.

На уроках программирования

Учёные из США, Новой Зеландии и Ирландии опубликовали совместную работу, в которой проанализировали перспективы применения больших языковых моделей на уроках программирования.

По их мнению, ИИ может помочь преподавателю следующим образом:

• сгенерировать множество однотипных упражнений на базе единственного примера, разработанного методистом;
• добавить подробные пояснения (комментарии) к фрагментам программного кода;
• сгенерировать различные примеры решения типовых задач;
• проверить написанный учениками код и найти ошибки в нём;
• генерировать «на лету» примеры и подсказки для преподавателя.

А для учеников:

• наглядно объяснить различия между концепциями и подходами к программированию, а также сгенерировать фрагменты кода;
• помочь справиться с «боязнью чистого листа»: если обучаемый не знает, с чего начать, нейросеть может предложить ему несколько первых строк;
• разъяснить на естественном языке сообщения об ошибках компиляции, выдаваемых средой программирования;
• предложить способы исправления ошибок.

Чтобы проверить, как это работает, мы попросили нейросеть ChatGPT решить типовую задачу — сгенерировать программу линейной сортировки массива с подробными комментариями для педагога. Нас интересовали программы на двух языках, широко применяемых в российских школах на уроках информатики: Pascal и Python.

Запрос: «Напиши программу для линейной сортировки элементов массива по возрастанию на языке программирования Pascal с комментариями для учителя».

Ответ ChatGPT:

PROGRAM LinearSort;

//программа для сортировки массива элементов в порядке возрастания

VAR

list: array[1..10] of integer; //объявление массива

n, i, j, temp: integer;

BEGIN

WRITELN('Enter the number of elements:');

READLN(n);

WRITELN('Enter ', n, ' elements: ');

//получение входных данных от пользователя

FOR i := 1 TO n DO

READLN(list[i]);

//сортировка элементов в порядке возрастания

FOR i := 1 TO n DO

FOR j := i + 1 TO n DO

IF list[i] > list[j] THEN

BEGIN

temp := list[i];

list[i] := list[j];

list[j] := temp;

END;

//отображение отсортированного списка

WRITELN('Sorted list in ascending order:');

FOR i := 1 TO n DO

WRITELN(list[i]);

END.

Полученный код и на Pascal, и на Python оказался вполне работоспособным без дополнительной подготовки — когда текст загрузили в соответствующую среду, программы успешно запустились. Хороший результат!

Мы также спросили у ChatGPT, на каких языках он умеет программировать и хорошо ли знает Pascal. Вот что он нам ответил:

Запрос: «Какие языки программирования ты знаешь? Ты можешь программировать на Turbo Pascal?»

Ответ ChatGPT: «Я знаю основы большинства популярных языков программирования, включая Java, C++, Python и JavaScript. Я могу программировать на Turbo Pascal, но я не глубоко знаком с этим языком».

Читайте также:

Как нейросеть ChatGPT поставила на уши гуманитарное образование

При написании книг, стихов, научных статей

Наш эксперт Роман Душкин признался, что активно применяет ChatGPT в своей работе. Он настолько привык, что уже не представляет, как раньше мог обходиться без нейросетей.

Также Роман поделился опытом создания книги сказок, полностью написанной ИИ по его запросу.

Мы также решили поэкспериментировать с ChatGPT и попросили его написать стихотворение о неразделённой любви в стиле «Незнакомки» Александра Блока. Предлагаем оценить результат:

Во тьме ночной в моем сердце тайно,

Я отведал лучшего, что мне не дано.

И сегодня, о сетях любви дрёма,

Я принес девушке букет из красных роз.

Но ваза с цветами падала на пол,

Из нее все цветы разбросались потом.

И источник боли в моем сердце остался,

Когда розы по полу упали, разомлев.

Но ведь в их шипах лежит моя тайна —

Душа моя зовет радостью к тебе.

Несмотря на безответность, любовь не меняется,

Даже если растоптаны цветы из этой вазы.

Видно, что рифмы и ритм даются ИИ с трудом, но определённые сюжет и стиль в его творчестве точно присутствуют. Не исключено, что после некоторой литературной обработки поэтом-человеком из этой заготовки может получиться что-то вполне ходячее.

В работе программистов

Очевидно, что появление ChatGPT и других больших языковых моделей, способных генерировать программный код, окажет заметное влияние и на работу программистов. Особенно уязвимыми в этом плане могут оказаться младшие позиции разработчиков — стажёров и джунов.

Именно их работу могут автоматизировать нейросети, подобные ChatGPT. Следовательно, многим из начинающих специалистов уже в ближайшее время придётся осваивать профессию промпт-инженера. ИИ будет играть для программистов роль интерфейса высокого уровня, выдавая по запросу заготовки нужного кода, требующие небольшой доработки со стороны людей.

Наш эксперт, Дмитрий Коробченко, Director of Artificial Intelligence из NVIDIA, отмечает, что у данного подхода к использованию ChatGPT в программировании есть как минимум три недостатка:

• Человечеству надо осваивать навыки написания хороших запросов на естественном языке (prompting).
• Велика вероятность ошибок и багов в полученном коде (как явных, так и скрытых).
• ИИ легко генерирует код для типовых задач («изобретает велосипед»), но может испытывать проблемы с чем-то принципиально новым.

В качестве решения он предлагает «скрестить» ИИ, подобный ChatGPT, с автоматическим тестированием. Человек пишет тест, который должна пройти будущая программа, а также запрос к ИИ на генерацию нужного кода и оставляет их «общаться» между собой. ChatGPT будет в течение многих итераций пытаться создать программу, которая сможет пройти тест. Процесс остановится, только когда ИИ удастся этого достичь.

«Что может быть посередине между промптингом и самостоятельным написанием кода? Как насчёт старого доброго test-driven development (TDD)? В таком подходе мы сначала пишем юнит-тесты, а затем GPT генерирует нам код под них. Можно даже сделать микс из тестов и высокоуровневого промптинга.

Тесты находятся где-то посередине. Мы всё ещё не пишем код, но уже довольно точно обрамляем требования к нашему коду. И тесты по определению нацелены на достижение результата. Хотя, конечно, обеспечение ширины тестового покрытия будет оставаться за нами, за людьми».

Дмитрий Коробченко,
Director of Artificial Intelligence в NVIDIA

ChatGPT открыл дверь в новый мир

Похоже, выход ChatGPT знаменует собой начало важного этапа в развитии ИИ. Впервые языковой искусственный интеллект со столь высоким уровнем организации стал доступен миллионам людей.

Очевидно, что технологии будут развиваться и дальше. У ChatGPT уже есть конкуренты. В спину OpenAI дышат ребята из Google, у которых уже к середине прошлого года были готовы модели: LaMDA (137 миллиардов параметров) и PaLM с невероятными 540 миллиардами параметров. Плюс к этому обе имеют доступ к сервисам компании, обеспечивающим поиск по всем закоулкам интернета. У чат-ботов, основанных на этих моделях, инженер-тестировщик Блейк Лемойн якобы обнаружил признаки «разума» и «души».

А ведь есть ещё и опенсорсная модель BLOOM со 176 миллиардами параметров, обученная понимать 46 естественных языков и 13 языков программирования.

Стараются не отставать и китайские товарищи, и отечественные разработчики. По всему миру учёные работают над десятками аналогичных решений. Похоже, что уже в ближайшее время мы станем свидетелями новых ошеломляющих достижений науки в области искусственного интеллекта и языковых моделей.

Мнение специалиста

«В области больших языковых моделей сейчас складывается очень интересная ситуация. С одной стороны, специалисты понимают, что в человеческом смысле назвать эти модели „интеллектом“, „разумом“ (или чем-то подобным) совершенно невозможно. С технической точки зрения такой ИИ просто обеспечивает очень качественное предугадывание каждого следующего слова. И ожидать появления разума от интеллектуального агента, который умеет предугадывать слова, просто глупо.

Но, с другой стороны, результаты, которые показывают интеллектуальные агенты, и в частности ChatGPT, таковы, что сомневаться в том, что мы имеем дело с чем-то разумным, уже просто невозможно. Причём это интеллект не человека, не дельфина, не птицы и не собаки. Это что-то принципиально другое. Это интеллект искусственного интеллектуального агента.

В таких случаях я вспоминаю известную присказку о том, что если кто-то плавает, как утка, крякает, как утка, и выглядит, как утка, то это и есть утка. ChatGPT действительно „плавает, крякает и выглядит“ так, как выглядит вполне разумный (и это не преувеличение) агент.

Уже довольно скоро (в худшем случае через считаное количество лет, а в лучшем — месяцев) такие агенты будут в состоянии выполнять практически любую интеллектуальную задачу из тех, которые раньше решались только людьми.

Более того, очень скоро, так же как это случилось в шахматах и в игре го, они будут это делать примерно настолько же лучше, насколько сейчас нейросети лучше играют в игры, чем люди — чемпионы мира. Вот что нас ждёт в ближайшее время».

Сергей Карелов,
эксперт в области междисциплинарных исследований и стратегической аналитики, ведущий авторского канала «Малоизвестное интересное»