Исследование показало, с какими рабочими задачами GPT-4 справляется лучше людей

Исследование провёл Франсуа Канделон, управляющий директор и старший партнёр консалтинговой компании Boston Consulting Group. Его результаты приводит Business Insider.

При проведении эксперимента Канделон сотрудничал со специалистами из ведущих университетов, включая Массачусетский технологический институт и Гарвардскую школу бизнеса. Они попытались выяснить, в каких случаях использование искусственного интеллекта помогает эффективнее решать рабочие задачи.

Испытуемыми стали более 750 сотрудников Boston Consulting Group. В рамках исследования часть из них работала в обычном формате, а остальные выполняли свои функции, используя при этом GPT-4 от OpenAI, который помогал им справляться с задачами разных типов ― конкретными проблемами бизнеса и творческими заданиями. Так, в креативном задании от сотрудников требовалось предложить идею новой модели обуви и разработать материалы для её рекламной кампании. А в качестве бизнес-проблемы участникам исследования предложили проанализировать финансовую отчётность вымышленной компании и интервью с её сотрудниками, чтобы выработать и обосновать для неё дальнейшую стратегию.

Выяснилось, что когда речь шла о креативных решениях, то люди, воспользовавшиеся помощью нейросети, справились намного лучше: 90% сотрудников показали более высокие результаты при генерации идей или создании контента по сравнению с теми, кто не обращался за подсказками к GPT-4. У тех, кто пользовался подсказками GPT-4, вырос и уровень производительности ― на 40%. Причём наилучшие показатели продемонстрировали те, кто использовал предложения ИИ, не внося в них исправлений.

А вот с заданием по решению бизнес-проблемы сотрудники, использовавшие GPT-4, наоборот, справились хуже, чем те, кто не прибегал к помощи нейросети, ― в среднем на 23%. Более того, нейросеть фактически убедила нескольких участников принять неверные решения, хотя те были проинформированы о том, что она может выдавать некорректные ответы.

Таким образом, нейросети могут заметно повысить качество выполнения творческих заданий. Однако на них не стоит полагаться в случаях, когда нужно выработать решения для конкретных проблем. Или как минимум нужно тщательно проверять сгенерированные рекомендации.

Кстати, ранее были представлены другие выводы этого же исследования. Сотрудников разделили на две категории ― более и менее опытных. Несмотря на то что GPT-4 порой выдавал некорректные ответы и ухудшал результаты, его использование повысило качество работы в среднем на 30%, а также увеличило скорость выполнения задач на 25%. Однако для сотрудников с более высокой квалификацией эти инструменты оказались не так полезны, как менее опытным: у первых производительность повысилась в среднем лишь на 17%, а у вторых ― на 43%. Таким образом, учить работе с нейросетями в первую очередь стоит именно тех, у кого меньше опыта работы, потому что качество их труда они могут повысить наиболее заметно.