ChatGPT может почти сдать экзамен на получение медицинской лицензии в США
Разговорный AI-бот ChatGPT переживает момент, обещая изменить способы создания письменного текста, поиска в Интернете и самообучения.
Последнее достижение ChatGPT? Почти сдан экзамен на получение медицинской лицензии в США (USMLE).
Мы говорим об экзамене, известном своей сложностью, который обычно требует от 300 до 400 часов подготовки и охватывает все, от базовых от научных концепций до биоэтики.
USMLE — это на самом деле три экзамена в одном, и компетентность, с которой ChatGPT может ответить на его вопросы, показывает, что эти боты с искусственным интеллектом однажды могут быть полезны для медицинского обучения и даже для создания определенные типы диагнозов.
«ChatGPT выполнил на пороге прохождения или около него для всех трех экзаменов без какой-либо специальной подготовки или подкрепления», пишут исследователи в своей опубликованной статье. «Кроме того, ChatGPT продемонстрировал высокий уровень согласованности и понимания своих объяснений».
ChatGPT — это тип искусственного интеллекта, известный как большая языковая модель или LLM. Эти LLM специально предназначены для письменных ответов, и с помощью огромного количества образцов текста и некоторых умных алгоритмов они могут делать прогнозы о том, какие слова должны сочетаться в предложении, во многом подобно старшему брату функции прогнозирования текста вашего телефона.
Это некоторое упрощение, но вы поняли: ChatGPT на самом деле ничего не «знает», но анализируя огромное количество онлайн-материалов, он может строить правдоподобно звучащие предложения практически по любому поводу. Тема.
Тем не менее, ключевое значение имеет «правдоподобное звучание». В зависимости от вероятности различных формулировок ИИ может казаться сверхъестественно умным или приходить к самым нелепым выводам.
Исследователи из стартапа Ansible Health проверили его на примерных вопросах из USMLE, проверив, что ответы неверны. недоступен в Google, поэтому они знали, что ChatGPT будет генерировать новые ответы на основе данных, на которых он был обучен.
В ходе тестирования ChatGPT набрал от 52,4 до 75 процентов по трем экзаменам ( проходной балл обычно составляет около 60 процентов). В 88,9 процентах своих ответов он привел по крайней мере к одному важному выводу, описанному исследователями как нечто «новое, неочевидное и клинически обоснованное».
«Достижение проходного балла за этот общеизвестный сложный экспертный экзамен и проведение его без какого-либо подкрепления со стороны человека знаменует собой заметную веху в развитии клинического ИИ», — говорится в заявлении авторов исследования для прессы.
ChatGPT также оказался впечатляюще последовательным в своих ответах и был даже в состоянии предоставить обоснование каждого ответа. Он также превзошел 50,3-процентную точность PubMedGPT, бота, обученного специально для медицинской литературы.
Стоит помнить, что информация, на которой был обучен ChatGPT, будет содержать неточности: если вы спросите самого бота, он признать, что требуется дополнительная работа для повышения надежности LLM. В обозримом будущем он не заменит медицинских работников.
Однако потенциал анализа онлайн-знаний явно огромен, особенно с учетом того, что в ближайшие годы эти боты с искусственным интеллектом будут совершенствоваться. Вместо того, чтобы заменить людей в медицинской профессии, они могли бы стать их жизненно важными помощниками.
«Эти результаты показывают, что большие языковые модели могут иметь потенциал для помощи в медицинском образовании и, возможно, в принятии клинических решений, «, — пишут исследователи.
Исследование опубликовано в PLOS Digital Health.
