AI-тренер: большой гайд по новой профессии

Если бы не AI-тренеры, языковые модели, возможно, так и не превратились бы из забавных ИИ-мальчиков прошлого в легендарных нейромужей настоящего. Именно благодаря труду AI-тренеров, ежедневно обучающих нейросети уму-разуму, мы можем вести осмысленную беседу с ИИ и получить от него ответ на любой вопрос.

Из этой статьи вы узнаете:

• как появилась профессия AI-тренера;
• зачем она нужна;
• какие задачи решают специалисты;
• сколько они зарабатывают;
• какие компании хантят AI-тренеров;
• что сами AI-тренеры говорят о своей профессии.

Когда появилась профессия AI-тренера

О AI-тренерах начали говорить в начале 2022 года, когда учёные OpenAI выпустили языковую модель InstructGPT. Её главной фишкой стал выбор метода обучения ИИ под названием RLHF, или «обучение с подкреплением на основе отзывов людей».

Метод RLHF, основанный на участии в обучении нейросети множества людей (то есть AI-тренеров), произвёл настоящую революцию в мире языковых моделей. К слову, именно RLHF использовали при обучении ChatGPT, благодаря чему знаменитому чат-боту так естественно удаётся общаться с людьми.

Профессия считается новой, но многие её функции схожи с работой, которую выполняют специалисты по разметке данных, асессоры и копирайтеры. Главное отличие AI-тренеров от этих специалистов — сосредоточенность на задачах, связанных с обучением современных моделей ИИ.

Сразу после появления ChatGPT в OpenAI и других компаниях, создающих аналогичных чат-ботов, обнаружили, что для их обучения по методу RLHF требуется большое количество человеческого труда. Это способствовало развитию новой профессии AI-тренера.

Зачем нужны AI-тренеры

Чтобы ответить на этот вопрос, разберём этапы обучения современных языковых моделей:

• Предварительное обучение (pre-training). Вначале нейросеть тренируют на огромном количестве текстов, скачанных из интернета. Этот процесс требует множества вычислительных затрат и происходит автоматически, без непосредственного участия людей. В результате получается так называемая базовая модель (foundation model), или претрейн.
  
  Такая нейросеть при общении напоминает персонажа фильма «Человек дождя». Она обладает огромным количеством знаний и общим пониманием языка, но при этом не может по-человечески сформулировать ответ на вопрос пользователя (даже на самый элементарный).
• Тонкая настройка (fine-tuning). На втором этапе в процесс включаются AI-тренеры, проводящие для нейросетей что-то вроде курсов ораторского мастерства. В процессе файн-тюнинга люди показывают ИИ примеры различных запросов пользователей (так называемых инстрактов) и созданные вручную лучшие (по форме и содержанию) ответы на них.
  
  Тексты, которые «скармливают» ИИ на этом этапе, составляют около 1% от общего числа обучающих данных. Однако именно они дают ИИ представление о том, как следует общаться с людьми и позволяют чат-ботам поддерживать диалог с пользователями на невероятно высоком уровне.
• Построение reward-модели. Следующий этап можно сравнить с воспитанием ребёнка. Он предполагает обучение вспомогательной нейросети — так называемой reward-модели, которая умеет оценивать тексты в соответствии с человеческим пониманием того, «что такое хорошо и что такое плохо».
  
  Чтобы нейросеть могла это делать, AI-тренеры ранжируют сгенерированные ИИ ответы от лучшего к худшему в соответствии с разными критериями. Видя результаты их работы, нейронка со временем сама учится отсеивать плохие ответы и выдавать пользователю только самые релевантные.

После этого получается языковая модель, которую можно демонстрировать пользователям. Она уже способна самостоятельно генерировать ответы, оценивать их и исправлять собственные ошибки. Процесс называется reinforcement learning. Он, впрочем, не исключает участия AI-тренеров в дальнейшем улучшении работы нейросети, поскольку этапы обучения многократно повторяются.

Что требуется от AI-тренера

Самым важными для ИИ-тренера считаются навыки работы с текстом. Поэтому с этой профессией лучше всего справляются люди языковых профессий: филологи, журналисты, редакторы и копирайтеры. Помимо этого, AI-коучам не лишним будет хотя бы на базовом уровне разбираться в IT и устройстве современных нейросетей.

Никто не ждёт от AI-тренера навыков программирования или знания высшей математики. Однако он должен быть готов быстро разобраться во всех областях знаний, находить достоверные источники в интернете и работать с ними.

Читайте также:

5 профессий, которые появились в 2023 году благодаря искусственному интеллекту

Какие задачи решает AI-тренер

AI-тренеры в основном выполняют три вида задач:

• Пишут образцовые примеры ответов на запросы пользователей, которые затем демонстрируются ИИ. Такие образцы называются инстрактами.
• Общаются с нейросетями и ранжируют их ответы от лучшего к худшему.
• Ищут и исправляют в сгенерированных текстах галлюцинации, ошибки, токсичный контент и нарушения этики.

Перечисленные выше задачи выполняют рядовые AI-тренеры. Обычно они работают в небольших группах из 7–12 человек и могут трудиться из дома. Над ними находятся старшие тренеры (или тимлиды), которые координируют усилия своих коллег и проверяют качество их работы.

Есть вероятность, что в будущем у AI-тренеров появятся специализации. То есть одни сотрудники будут заняты решением только математических задач, другие — написанием стихов, третьи будут работать с историческими текстами и так далее. Таким образом, в дополнение к прекрасному владению словом от специалистов в этой сфере будет требоваться или «боевой опыт» в одной из сфер, или способность глубоко в неё погружаться.

Сколько зарабатывают AI-тренеры

В США зарплата таких специалистов стартует от 13 долларов в час (что соответствует примерно 2400 долларам в месяц при полном рабочем дне). В среднем же AI-тренеры в Америке могут рассчитывать на внушительные 5400 долларов в месяц.

Если говорить о России, то в «Яндексе» AI-тренерам сегодня предлагают от 75 000 рублей в месяц при восьмичасовом рабочем дне. А руководители групп могут рассчитывать уже на 130 000 рублей.

Какие компании в России сейчас набирают AI-тренеров

Востребованность профессии напрямую зависит от количества компаний, разрабатывающих собственных чат-ботов нового поколения, сравнимых по качеству работы с ChatGPT. Из известных отечественных разработок такого уровня можно вспомнить сберовский GigaChat и YandexGPT от «Яндекса».

Именно «Яндекс» стал первым работодателем в России, который начал массово набирать AI-тренеров. Такие специалисты нужны компании для обучения фирменной нейросети YandexGPT 2, которая с 2023 года работает внутри голосового помощника «Алиса» в качестве фичи «Давай придумаем».

Помимо этого, «жёлтые» первыми выкатили общедоступный гайд по профессии, состоящий из пяти коротких онлайн-уроков. А ещё уже два раза провели набор в свою Школу AI-тренеров, лучших выпускников которой набирали в штат.

Анализ агрегаторов вакансий показывает, что, помимо «Яндекса», в поисках AI-тренеров находятся многие отечественные компании. Среди них — IT-подразделения «Сбера», «Тинькофф» и МТС.

Что AI-тренеры рассказывают о своей профессии

Чтобы получить информацию из первых рук, мы обратились к ведущим специалистам отечественных компаний, которые непосредственно занимаются обучением языковых моделей. Вот что они рассказали нам о новой профессии.

Анна Алипова

руководитель группы тренеров по искусственному интеллекту компании MTS AI

— Будет ли профессия AI-тренера востребованной в течение ближайших лет? Может ли сам ИИ взять на себя обязанности людей-тренеров и оставить их без работы?

— Прямо сейчас наш ИИ-проект только набирает обороты, но можно точно сказать, что для развития нейросетей MTS AI понадобятся AI-тренеры — специалисты с интересом к технике. Чтобы «воспитать» одну нейросеть, нужна команда самых разных специалистов, и тренерам здесь отводится одна из главных ролей.

Машина может проанализировать всё, что есть в интернете, собрать огромный багаж информации. Но этого мало. Представьте себе человека, который знает всё на свете, но совершенно не понимает, кто он и где находится, как общаться с другими людьми. И, что хуже всего, нормы морали ему неведомы. Не обладая человеческим сознанием, опытом и пониманием этических норм, машина никогда не сможет обучить всему этому другую модель. AI-тренеры, обучая модель, передают ей частичку человеческого опыта.

Будет ли эта профессия востребована? Ответа никто не знает, потому что он напрямую зависит от того, в каком направлении будет развиваться искусственный интеллект. Сегодня ситуация складывается так, что нейронные сети не только не отбирают у людей работу, но обеспечивают для них новые рабочие места.

— Как построен рабочий день AI-тренера в MTS AI, какие он решает задачи?

— Для работы AI-тренеру достаточно компьютера и стабильного подключения к интернету. Основная часть рабочего дня занята разметкой и текстами — тренеры много пишут, проверяют и редактируют. Всё это можно делать удалённо. Во время работы нужно задавать вопросы руководителю или другим тренерам. Общение внутри команды только приветствуется. Эта работа предоставляет прекрасную возможность освоить работу в IT и при этом жить в любом регионе нашей страны.

— Есть ли у AI-тренеров какая-то специализация (например, математика, физика) или каждый из них готов разбираться в любых темах?

— AI-тренер должен быть готов разобраться в любом вопросе. Не обязательно знать ответы на всё, но важно понимать, где их посмотреть. Мы ищем тех, кто умеет писать грамотные и содержательные тексты, а также владеет английским языком. Не уверена, что разделение на гуманитариев и технарей актуально в отношении AI-тренеров, потому что в эту профессию приходят люди с самым разным бэкграундом.

— Приходится ли тренерам MTS AI заниматься творческими текстами — стихами, рассказами, сказками? Возникают ли с этим сложности?

— Возможно, наши тренеры сейчас сочиняют новую версию «Колобка» или поэму про общественный транспорт, но это не точно :) Всё зависит от целей разработчиков. Если нужно подтянуть у ИИ навык творческого письма, то тренеры пишут сказки и стихи, а если ставят цель научить модель решать математические задачи за пятый класс, то тренеры превращаются в учителей математики.

В отношении творческих текстов нужно понимать одно: сегодня ни одна нейросеть не сможет написать художественный текст лучше, чем признанные литературные мастера. Она может проанализировать поэзию, скажем, Бродского, скопировать основные приёмы, размеры и метафоры. Она даже может написать стихотворение по мотивам его лирики, но, в отличие от стихов живого поэта, её произведения всегда будут вторичны.

— Есть ли необходимость в появлении постоянных курсов подготовки AI-тренеров в России или специализаций в рамках высшего образования?

— Мне кажется, что сегодня будет очень сложно составить учебный план для такого курса. Разработчики дают тренерам задания с учётом потребностей обучения конкретной модели в определённый момент. Как только перед разработчиками встают новые исследовательские и бизнес-задачи, появляются и новые задания для тренеров. Ситуация меняется стремительно.

Да, есть общие представления о том, как можно обучать LLM-модели, но это задача разработчиков, а не тренеров.

Я пока не представляю, как опыт разных компаний можно обобщить до какого-то единого учебного плана для AI-тренеров. Было бы здорово увидеть курсы по работе с нейросетями, в рамках которых рассказывали бы про принципы, на которых обучаются модели. Но в целом любой человек, владеющий русским и английским языками, который умеет и хочет учиться новому, может освоить профессию AI-тренера.

Артём Бондарь

руководитель направления NLP в Центре технологий искусственного интеллекта «Тинькофф»

— Для каких целей AI-тренеры обучают языковой ИИ в «Тинькофф»: будет ли это чат-бот, подобный ChatGPT, или что-то другое?

— В первую очередь в LLM мы видим возможность сделать наши продукты более умными, чуткими, отзывчивыми и понятными для клиентов. Поэтому мы создаём собственные языковые модели для внедрения ИИ в экосистему «Тинькофф». Нам интересно не столько сделать клон ChatGPT, сколько масштабировать инновации для наших пользователей через крутые продукты и новые фичи.

— Каковы карьерные перспективы AI-тренера в «Тинькофф»?

— Команда AI-тренеров в «Тинькофф» образует целую AI-редакцию, поэтому руководителя AI-тренеров мы называем шеф-редактором. У него должен быть опыт работы с авторами и редакторами, а главное — он должен обладать навыками ментора: помогать AI-тренерам разбираться с теорией, объяснять, направлять в нужное русло и бережно рекомендовать, что и как следует улучшить.

Мы планируем расширить AI-редакцию «Тинькофф» до сотен AI-тренеров, у каждой группы будет свой шеф-редактор. Учитывая бурный рост команды, очевидно, что со временем шеф-редакторов и возможностей для карьерного роста в этом направлении будет становиться только больше.

— Будет ли профессия AI-тренера оставаться востребованной в течение ближайших лет?

— Спрос на профессию будет только расти, потому что продуктов на основе больших языковых моделей становится всё больше: внутренние инструменты работы с большими массивами данных, помощники в программировании, аналитике и так далее.

— Может ли сам ИИ вскоре взять на себя обязанности людей-тренеров и оставить их без работы?

— Заменить людей в сложной и креативной работе сможет только полноценный AGI (artificial general intelligence) — сильный ИИ, который может выполнять любые человеческие задачи. И хотя мы значительно продвинулись в области ИИ, такого уровня развития мы пока не достигли и не сможем достичь в обозримом будущем.

Читайте также:

Новый уровень искусственного интеллекта: что такое AGI, когда он появится и каким будет

Даже самая сильная модель GPT-4, которая на несколько шагов обгоняет конкурентов, на практических бизнес-задачах отстаёт от человека по качеству ответов без дообучения. Это значит, что мы не можем взять её за эталон: нейросеть, которая будет учиться на данных от другой нейросети, по определению будет работать хуже, чем референсная нейросеть, на примере которой она обучалась.

Так что обучать нейросети ещё долгое время смогут только люди. И даже если предположить, что мы создадим нейросеть, которая будет способна писать тексты не хуже AI-тренеров, то останется большой аналитический блок работы, который можно доверять только людям: понять, где нейросеть ошибается, где нужно доработать tone of voice, а где — повысить уровень эмпатии.

— Как построен рабочий день AI-тренера в «Тинькофф», какие он решает задачи?

— AI-тренер может работать в любое свободное время от 20 часов в неделю. Можно спокойно совмещать с учёбой или работать фултайм.

Задачи меняются в зависимости от проекта: иногда тренеры пишут текст с нуля, иногда только редактируют или оценивают его. Формат работы полностью удалённый, поэтому для её выполнения AI-тренеру понадобятся только ноутбук и интернет.

У нас есть чаты, где тренеры обсуждают задания, помогают друг другу с их выполнением, обмениваются опытом. Можно работать самостоятельно, но в любом случае финально текст проверяет шеф-редактор.

— Верно ли, что эта специальность рассчитана в первую очередь на гуманитариев, хорошо владеющих русским языком?

— Цель AI-тренера в «Тинькофф» — обучать специализированные LLM «говорить» с клиентом на определённом языке. Чтобы это сделать, тренеру необходимо не только хорошо писать, но и глубоко погружаться в продукт, определённую тему, не теряться в больших объёмах информации.

Каждый AI-тренер работает на пересечении журналистики, редактуры и продакт-менеджмента. Написание диалогов требует огромного количества профессиональных навыков: умения писать грамотные тексты, согласующиеся с редакционной политикой, навыков фактчекинга, базового понимания психологии, а также глубокого понимания темы, в которой работает модель.

Это могут быть совершенно разные области: финансы, медиа, бизнес, медицина, культура, программирование. Иногда нужны тренеры-универсалы, иногда — специалисты в конкретной теме, поэтому только на гуманитариях мы не фокусируемся.

— Приходится ли тренерам «Тинькофф» заниматься творческими текстами — стихами, рассказами, сказками? Возникают ли с этим сложности?

— Иногда задания могут быть довольно креативными и творческими. Например, AI-тренеру может потребоваться придумать сказку или анекдот. Также тренеры могут побыть в разных ролях: представить себя пользователями и придумывать каверзные вопросы для модели или же выступить в роли машины, которой надо уметь давать хороший ответ на любой запрос пользователя, часто очень необычный. Например, расписать план работы над сочинением или придумать рассказ.

— Есть ли необходимость в появлении постоянных курсов подготовки AI-тренеров в России или специализаций в рамках высшего образования?

— Как минимум образовательный курс точно был бы кстати. AI-тренер — сложная и комплексная работа на стыке редактуры и технологий. Для полного погружения в процесс мы регулярно общаемся с тренерами, что позволяет им лучше понять проект. Отдельный курс в этом кейсе помог бы как улучшить скиллы потенциальных кандидатов, так и сформировать представление о работе.

Елена Лукашина

тимлид AI-тренеров «Алисы» в «Яндексе»

— Как построен рабочий день AI-тренера в «Яндексе», какие он решает задачи?

— Тренерам для работы требуется только компьютер с доступом в интернет. Тем, кто обучает «Алису», иногда нужен смартфон — для того чтобы понять, как ассистент работает в разных приложениях и на разных устройствах. Ну и, конечно, нужна «Яндекс Станция». Её тренеры «Алисы» получают от компании как рабочий инструмент.

Работа полностью удалённая — можно работать из любого места в России и даже из-за границы. При этом AI-тренеры обязательно общаются между собой, у них есть чаты для обсуждения сложных заданий, «болталки» и встречи в офлайне. Тренеры постоянно обсуждают друг с другом и со своими руководителями, как лучше сформулировать тот или иной эталонный ответ, на котором будет обучаться модель. Так нейросеть будет всегда отвечать похожим образом — именно этого ожидают пользователи от взаимодействия с ней.

— Верно ли, что эта специальность рассчитана в первую очередь на гуманитариев, хорошо владеющих русским языком?

— Тренеру совершенно не обязательно быть гуманитарием или обладать профессиональными навыками работы с текстом. Важнее здесь навыки работы с информацией, умение быстро разбираться, критически мыслить, выбирать подходящие источники и тщательно проверять факты.

AI-тренер должен быть готов к тому, что ему будут попадаться задания на темы, о которых он слышит впервые в жизни. Ведь модель должна уметь решать самые разные задачи: написать код на Python, решить задачу по физике, сочинить стишок про котика или написать эссе о философии Шопенгауэра.

При этом чем больше у тренера специальных знаний в самых разных областях, тем лучше он будет справляться с задачами. У нас есть специализации — например, разные люди решают математические задачи или пишут стихи. Очень здорово, если у тренера есть знания в каких-то технических областях.

— Приходится ли тренерам «Яндекса» заниматься творческими текстами — стихами, рассказами, сказками? Возникают ли с этим сложности?

— У AI-тренеров во многом очень творческая работа. Нет ни одной другой профессии, связанной с текстами, где людям приходится писать тексты в таком количестве жанров и на такие разнообразные темы. Если вы работали тренером ИИ, то потом вы сможете очень качественно написать действительно что угодно. Даже то, что невозможно представить.

Иногда пользователи развлекаются и просят написать стих об МФЦ в стиле Маяковского или объявление о продаже недвижимости в стиле Лермонтова — это всё должна уметь генерировать модель.

Конечно же, тренеры пишут и полноценные творческие тексты: стихи, сказки, рассказы, песни и много что ещё. Среди их работ встречаются настоящие шедевры. Эти тексты помогают нашей модели лучше справляться с самыми разными задачами.

— Будет ли профессия AI-тренера оставаться востребованной в течение ближайших лет?

— Обучение модели ИИ не может остановиться, точно не в ближайшие десятилетия. Нейросетям необходимы люди, которые будут присматривать за процессом обучения и помогать им развиваться. Только профессия будет становиться всё более сложной и всё более специализированной.

Скорее всего, в будущем у тренеров нейросетей появится специализация и за обучение различных моделей будут отвечать профессионалы в отдельных областях. Например, появятся среди AI-тренеров врачи, инженеры, юристы.

И когда специалист будет достигать высокой квалификации, он будет обучать нейросети тому, что умеет сам. В первую очередь это коснётся людей, которые решают самые сложные и нетипичные задачи в своих областях.

— Отбор на позицию AI-тренера в «Яндекс» продолжается уже в течение длительного времени. В чём причина?

— За последний год мы наняли несколько сотен человек. У нас сложное тестовое задание и высокие требования, быстро набрать такое количество крутых профессионалов непросто. Тем более что это новая профессия и многим она непонятна. Кроме того, объём и сложность задач для тренеров постоянно увеличиваются, обучение моделей не останавливается, поэтому новые кандидаты на эту должность всегда востребованы в «Яндексе».

— Планируется ли проведение новых мероприятий для обучения и поиска кандидатов, подобных Школе AI-тренера?

— Да, мы периодически проводим такие наборы новых тренеров в команду. Как показывает практика, выпускники нашей школы AI-тренеров, более уверенно показывают себя на собеседованиях, лучше понимают специфику задач.

В ходе занятий ученики знакомятся с базовыми принципами работы, учатся ранжировать ответы нейросети и проверять их на достоверность. Они решают реальные задачи, с которыми AI-тренеры сталкиваются в работе каждый день: пишут ответы на запросы от лица нейросети, оценивают тексты друг друга и проверяют факты. Такие кандидаты быстрее вливаются в работу.

Мнение учёного: «AI-тренеры превратятся в высококлассных экспертов»

Подвести итог вышеизложенных рассуждений в нашей статье мы доверили известному учёному и эксперту в области ИИ Роману Душкину. Он считает, что AI-тренерам, чтобы конкурировать с методами обучения нейросетей на базе ИИ, с каждым годом будет требоваться всё более и более высокий уровень знаний. Эта работа со временем станет поистине элитарной, а её представителям придётся постоянно учиться, чтобы оставаться востребованными на рынке труда.

Роман Душкин

главный архитектор систем искусственного интеллекта исследовательского центра в сфере ИИ по направлению «Транспорт и логистика» НИЯУ МИФИ.

— Стоит учесть неудачный опыт некоторых западных компаний, которые привлекали для обучения ИИ подрядчиков из бедных африканских стран за мизерную оплату. Такие сотрудники могут проводить обучение моделей на очень низком профессиональном уровне. И потом разработчикам приходится вставлять в чат-ботов кучу «костылей», чтобы хоть как-то исправить эти проблемы.

Поэтому для обучения продвинутого современного ИИ у AI-тренеров должны быть востребованы экспертные знания. Именно знания высококлассных, хорошо оплачиваемых экспертов, а не каких-то абстрактных «людей».

Я даже предлагаю заменить в названии метода обучения нейросетей RLHF букву H, означающую человека (human) на букву E, означающую эксперта (expert). Только эксперт или группа экспертов могут эффективно обучать когнитивных агентов, чтобы они становились всё лучше и лучше.

Насколько я вижу, российские разработчики уже сейчас следуют по этому пути. Я из любопытства пробовал пройти входной тест «Яндекса» на должность AI-тренера. Он оказался довольно сложным и без специальной подготовки его успешно не пройдёшь. И это очень хорошо.

Видно, что компании нужны квалифицированные сотрудники. Они должны обладать познаниями в области филологии, журналистики, навыками фактчекинга, редактуры и многими другими.

И я думаю, что этот подход, который я называю RLEF, совместно с обучением на основе ИИ (RLAIF), за счёт их конвергенции способен вызвать существенный прорыв в области искусственного интеллекта.

Я могу предположить, что на горизонте пяти лет AI-тренеры будут востребованы. Но цениться будет не столько количество обучающих ИИ людей, сколько качество их знаний. При этом некоторую (но не всю) часть рутинной работы сможет взять на себя ИИ в рамках RLAIF.