Все
Дизайн
Код
Геймдев
Бизнес
Маркетинг
Управление
Кино и музыка
Фотография
Развитие
Здоровье
Деньги
Образование
EdTech
Корп. обучение
Блог Skillbox
Спецпроекты
Профориентация
Нейросеть ChatGPT успешно справилась со сложным экзаменом по медицине
А авторы эксперимента вообще говорят, что у неё есть преподавательский потенциал 😳
Испытание провели специалисты из стартапа в сфере высокотехнологичных медицинских услуг AnsibleHealth. Результаты исследования опубликованы в издании PLOS Digital Health.
В чём была суть исследования
В рамках эксперимента ChatGPT предложили пройти экзамен для получения медицинской лицензии в США (USMLE), необходимый для ведения врачебной практики. В ходе испытания оценивают знания, охватывающие большинство медицинских дисциплин — от биохимии до биоэтики. Авторы задали нейросети 350 из 376 вопросов, которые находятся в открытом доступе и использовались на реальном экзамене в июне 2022 года.
Экзамен состоит из трёх частей, с каждой из которых нейросеть справилась на 52,4–75%. Уточняется, что проходной порог для получения лицензии составляет около 60% и его бот успешно преодолел. Более того, искусственный интеллект (ИИ) представил как минимум по одному клинически обоснованному комментарию для 88,9% своих ответов.
Подчёркивается, что нейросеть предварительно не обучали. Ей также не давали подсказок в ходе эксперимента. Если бы такую подготовку провели, то, вероятно, её результаты оказались бы ещё выше. Кроме того, ChatGPT превзошла показатели PubMedGPT — аналогичной нейросети, обученной исключительно на биомедицинской литературе, которая набрала 50,3% баллов по более старому набору вопросов в формате USMLE.
Что это значит
Авторы исследования считают, что у нейросетей есть обучающий потенциал — они способны помочь студентам-медикам в усвоении знаний и быть одной из первых ступеней в понимании того, как принимать врачебные решения. Суть в том, чтобы ИИ, отвечая на запросы студентов, подробно объяснял взаимосвязь клинических показателей, симптомов и рисков.
«ChatGPT обладает частичной способностью преподавать медицину, раскрывая новые и неочевидные концепции, которые могут отсутствовать в сфере осведомлённости учащихся», — резюмировали специалисты.
Они добавили, что в AnsibleHealth уже используют ChatGPT для интерпретации сложных отчётов, чтобы пациентам было проще понимать их суть.
Напомним, недавно стала известна история выпускника РГГУ, который написал диплом при помощи ChatGPT. Из-за этого началась широкая дискуссия о том, стоит ли аннулировать результаты его защиты и как ограничить академическое мошенничество, инструментом для которого может послужить ИИ. Однако Национальная комиссия по этике в сфере искусственного интеллекта, а затем и глава Минобрнауки Валерий Фальков заявили, что необходимо адаптировать систему образования к использованию таких решений.
