Нейросеть ChatGPT успешно справилась со сложным экзаменом по медицине

Испытание провели специалисты из стартапа в сфере высокотехнологичных медицинских услуг AnsibleHealth. Результаты исследования опубликованы в издании PLOS Digital Health.

В чём была суть исследования

В рамках эксперимента ChatGPT предложили пройти экзамен для получения медицинской лицензии в США (USMLE), необходимый для ведения врачебной практики. В ходе испытания оценивают знания, охватывающие большинство медицинских дисциплин — от биохимии до биоэтики. Авторы задали нейросети 350 из 376 вопросов, которые находятся в открытом доступе и использовались на реальном экзамене в июне 2022 года.

Экзамен состоит из трёх частей, с каждой из которых нейросеть справилась на 52,4–75%. Уточняется, что проходной порог для получения лицензии составляет около 60% и его бот успешно преодолел. Более того, искусственный интеллект (ИИ) представил как минимум по одному клинически обоснованному комментарию для 88,9% своих ответов.

Подчёркивается, что нейросеть предварительно не обучали. Ей также не давали подсказок в ходе эксперимента. Если бы такую подготовку провели, то, вероятно, её результаты оказались бы ещё выше. Кроме того, ChatGPT превзошла показатели PubMedGPT — аналогичной нейросети, обученной исключительно на биомедицинской литературе, которая набрала 50,3% баллов по более старому набору вопросов в формате USMLE.

Что это значит

Авторы исследования считают, что у нейросетей есть обучающий потенциал — они способны помочь студентам-медикам в усвоении знаний и быть одной из первых ступеней в понимании того, как принимать врачебные решения. Суть в том, чтобы ИИ, отвечая на запросы студентов, подробно объяснял взаимосвязь клинических показателей, симптомов и рисков.

Они добавили, что в AnsibleHealth уже используют ChatGPT для интерпретации сложных отчётов, чтобы пациентам было проще понимать их суть.

Напомним, недавно стала известна история выпускника РГГУ, который написал диплом при помощи ChatGPT. Из-за этого началась широкая дискуссия о том, стоит ли аннулировать результаты его защиты и как ограничить академическое мошенничество, инструментом для которого может послужить ИИ. Однако Национальная комиссия по этике в сфере искусственного интеллекта, а затем и глава Минобрнауки Валерий Фальков заявили, что необходимо адаптировать систему образования к использованию таких решений.