Преподаватель рассказал, как сам создал бота-репетитора в конструкторе от OpenAI

Своим опытом поделился автор британского издания Tech&Learning Эрик Офганг, который также преподаёт журналистику в Западном университете штата Коннектикут.

О чём идёт речь

Эрик Офганг решил опробовать новинку от OpenAI — конструктор чат-ботов GPTs, представленный в ноябре прошлого года. Этот инструмент помогает создавать для конкретных задач пользователей новые версии ChatGPT. Кроме того, компания запустила GPT Store — площадку, где разработчики таких кастомных решений могут размещать и продавать их.

Эрик Офганг хотел создать чат-бота — репетитора по журналистике. Он отметил, что даже опытные авторы не всегда сразу могут написать текст, подходящий под стилистические требования определённого медиа. Поэтому Эрик попросил GPT Builder создать репетитора по журналистике, который помогал бы писать новости, придерживаясь рекомендаций Associated Press (автор объяснил, что им следуют многие издания в США). Спустя несколько минут появился новый чат-бот, для которого программа даже сама придумала название.

Как проходил эксперимент

Сначала автор был очень доволен результатами бота. Нейросеть правильно указала, что стоит поменять в текстах загруженных для эксперимента новостей, — например, добавить цитаты и скорректировать стиль. Кроме того, бот хвалил «студента» за его попытки.

Однако, экспериментируя дальше, Эрик начал замечать, что инструмент раз за разом даёт похожие и довольно общие советы. А ещё чат-бот порой навязывал как обязательные те подходы, которые хороши, но при этом не обязательны для использования в вообще всех текстах.

Наконец, в ответ на один из тестовых текстов бот предложил написать более сильный финал, и преподаватель обнаружил, что если попросить об этом, то нейросеть сгенерирует текст самостоятельно. У Эрика Офганга не было претензий к предложенной концовке, но получалось, что созданный им чат-бот можно легко использовать для академического мошенничества. Стало ясно, что нужно прямо попросить программу не создавать контент за студентов.

Затем автор решил расширить функционал бота и попросил дать совет по написанию журнальных статей. Нейросеть начала выдавать рекомендации и даже смогла объяснить, как превратить журнальную статью в новость. Но, попросив переписать предложенный текст в другом стиле, Эрик вновь обнаружил, что бот соглашается выполнить это задание (несмотря на предыдущую установку не писать текст вместо студента). Более того, текст был полон «галлюцинаций» и выдуманных цитат.

Чтобы обновить бота, понадобилось ещё две попытки. Причём в итоге автору пришлось спросить саму нейросеть, как запретить ей переписывать или полностью генерировать тексты. Автор написал боту, что это важно, поскольку он не хочет, чтобы инструмент использовали для нечестного выполнения учебных заданий. Нейросеть ответила, что она обновилась и теперь будет предоставлять рекомендации, отзывы и советы, которые помогут пользователям развивать собственные навыки письма. После этого бот действительно отказывался переписывать статьи самостоятельно и вместо этого всего лишь выдавал планы для исправления работы.

В итоге журналист отметил, что в целом доволен результатом. Но его разочаровало то, сколько попыток ему потребовалось, чтобы инструмент работал так, как было задумано. Очевидно, чтобы создать своего бота-репетитора с нужным функционалом, необходимо владеть навыками промптинга.

Кстати, ранее стало известно, что OpenAI начала напрямую сотрудничать с вузами.