ChatGPT сдал самый сложный в мире экзамен на получение медицинской лицензии в США

Нейросеть ChatGPT сдала экзамен United States Medical Licensing Examination (USMLE) на получение медицинской лицензии, которая даёт право работать врачом в США и ряде других стран. Бот набрал от 52,4% до 75% правильных ответов в каждом из трёх разделов, тем самым преодолел пороговый уровень в 60%, результаты исследования опубликованы в издании PLOS Digital Health.

Как проходил эксперимент

Экзамен USMLE необходимо сдать, чтобы получить право работать врачом в США, Израиле, Катаре и Новой Зеландии. Он считается одним из самых сложных медицинских испытаний в мире. Тест оценивает знания большинства медицинских дисциплин – от биохимии до биоэтики.

Авторы исследования предложили ChatGPT ответить на 350 из 376 вопросов, которые находятся в открытом доступе и использовались при сдаче экзамена в июне 2022 года.

USMLE состоит из трёх частей. В каждой из них нейросеть набрала от 52,4% до 75% правильных ответов, в то время как проходной порог составляет около 60%. Также бот сгенерировал как минимум по одному клинически обоснованному комментарию для 88,9% своих ответов.

Какие выводы сделали авторы

Авторы отметили, что нейросеть до этого не обучали.

«Достижение проходного балла за этот общеизвестно сложный экспертный экзамен без какой-либо помощи со стороны человека знаменует собой заметную веху в развитии медицинского ИИ», — пишут исследователи.

Кроме того, учёные считают, что ChatGPT имеет способность преподавать. В будущем он может стать полезным инструментом при обучении студентов-медиков.

История студента, который написал диплом с помощью нейросети. Реакция общества

Читать подробнее