Все
Истории
Дизайн
Код
Геймдев
Бизнес
Маркетинг
Управление
Кино
Музыка
Проектная фотография
Развитие
Здоровье
Деньги
Образование
EdTech
Корп. обучение
Блог Skillbox
Глоссарий
Спецпроекты
Профориентация
Нейросеть ChatGPT успешно справилась со сложным экзаменом по медицине
А авторы эксперимента вообще говорят, что у неё есть преподавательский потенциал 😳
Испытание провели специалисты из стартапа в сфере высокотехнологичных медицинских услуг AnsibleHealth. Результаты исследования опубликованы в издании PLOS Digital Health.
В чём была суть исследования
В рамках эксперимента ChatGPT предложили пройти экзамен для получения медицинской лицензии в США (USMLE), необходимый для ведения врачебной практики. В ходе испытания оценивают знания, охватывающие большинство медицинских дисциплин — от биохимии до биоэтики. Авторы задали нейросети 350 из 376 вопросов, которые находятся в открытом доступе и использовались на реальном экзамене в июне 2022 года.
Экзамен состоит из трёх частей, с каждой из которых нейросеть справилась на 52,4–75%. Уточняется, что проходной порог для получения лицензии составляет около 60% и его бот успешно преодолел. Более того, искусственный интеллект (ИИ) представил как минимум по одному клинически обоснованному комментарию для 88,9% своих ответов.
Подчёркивается, что нейросеть предварительно не обучали. Ей также не давали подсказок в ходе эксперимента. Если бы такую подготовку провели, то, вероятно, её результаты оказались бы ещё выше. Кроме того, ChatGPT превзошла показатели PubMedGPT — аналогичной нейросети, обученной исключительно на биомедицинской литературе, которая набрала 50,3% баллов по более старому набору вопросов в формате USMLE.
Что это значит
Авторы исследования считают, что у нейросетей есть обучающий потенциал — они способны помочь студентам-медикам в усвоении знаний и быть одной из первых ступеней в понимании того, как принимать врачебные решения. Суть в том, чтобы ИИ, отвечая на запросы студентов, подробно объяснял взаимосвязь клинических показателей, симптомов и рисков.
«ChatGPT обладает частичной способностью преподавать медицину, раскрывая новые и неочевидные концепции, которые могут отсутствовать в сфере осведомлённости учащихся», — резюмировали специалисты.
Они добавили, что в AnsibleHealth уже используют ChatGPT для интерпретации сложных отчётов, чтобы пациентам было проще понимать их суть.
Напомним, недавно стала известна история выпускника РГГУ, который написал диплом при помощи ChatGPT. Из-за этого началась широкая дискуссия о том, стоит ли аннулировать результаты его защиты и как ограничить академическое мошенничество, инструментом для которого может послужить ИИ. Однако Национальная комиссия по этике в сфере искусственного интеллекта, а затем и глава Минобрнауки Валерий Фальков заявили, что необходимо адаптировать систему образования к использованию таких решений.
