RW Space

Медицинский чат-бот Google на базе искусственного интеллекта получил проходной балл на жестком экзамене на получение медицинской лицензии в США, но его ответы по-прежнему уступают ответам врачей-людей, говорится в рецензируемом исследовании, проведенном в среду.

В прошлом году выпуск ChatGPT, чей разработчик OpenAI поддерживается конкурентом Google, Microsoft, положил начало гонке между технологическими гигантами в растущей области ИИ.

Хотя о будущих возможностях было сказано много, и опасностей — ИИ, здоровье — это одна из областей, в которой технология уже продемонстрировала ощутимый прогресс: алгоритмы могут считывать определенные медицинские снимки так же, как и людей.

Google впервые представила свой инструмент ИИ для ответов на медицинские вопросы под названием Med-PaLM в предварительном исследовании в декабре. В отличие от ChatGPT, он не был выпущен для широкой публики.

Американский технический гигант заявляет, что Med-PaLM — это первая крупная языковая модель, метод искусственного интеллекта, обученный на огромном количестве текста, созданного человеком, который прошел тест. Медицинский лицензионный экзамен США (USMLE).

Проходной балл на экзамене, который сдают студенты-медики и врачи-стажеры в США, составляет около 60 %.

​В феврале исследование показало, что ChatGPT добился удовлетворительных или почти удовлетворительных результатов.

В рецензируемом исследовании, опубликованном в журнале Nature в среду, исследователи Google заявили, что Med-PaLM набрал 67,6% ответов на вопросы с множественным выбором в стиле USMLE.

«Med-PaLM работает обнадеживающе, но по-прежнему уступает клиницистам», — говорится в исследовании.

Для выявления и сократить «галлюцинации» — название, когда модели ИИ предлагают ложную информацию — Google заявил, что разработал новый критерий оценки.

Каран Сингхал, исследователь Google и ведущий автор нового исследования, сказал AFP, что команда использовала эталонный тест для тестирования новой версии своей модели с «супер захватывающими» результатами.

Med-PaLM 2 набрал 86,5% на экзамене USMLE, превысив предыдущую версию почти на 20%. процентов, согласно предварительному исследованию, опубликованному в мае и не прошедшему рецензирование.

Слон в комнате

Джеймс Дэвенпорт, ученый-компьютерщик из британского Университета Бата, не участвовал в исследовании, сказал, что для этих медицинских чат-ботов с искусственным интеллектом «есть слон в комнате».

Существует большая разница между ответами на «медицинские вопросы и реальной медициной», которая включает в себя диагностику и лечение настоящих проблемы со здоровьем», — сказал он.

Энтони Кон, эксперт по искусственному интеллекту из британского Университета Лидса, сказал, что галлюцинации, скорее всего, всегда будут проблемой для таких больших языковых моделей из-за их статистической природы.

Поэтому эти модели «всегда следует рассматривать как помощников, а не как лиц, принимающих окончательные решения», — сказал Кон.

​Сингхал сказал, что в будущем Med-PaLM можно будет использовать, чтобы помочь врачам предлагать альтернативы, которые, возможно, не были бы рассмотрены в противном случае.

The Wall Street Journal сообщил ранее на этой неделе, что Med-PaLM 2 проходит испытания в престижной американской исследовательской больнице Mayo Clinic с апреля.

Сингхал сказал, что не может говорить о конкретных партнерских отношениях.

Но он подчеркнул, что любые испытания не будут «клиническими, столкновением с пациентами или могут причинить пациентам вред».

>Вместо этого он будет предназначен для «большего количества административных задач, которые можно относительно легко автоматизировать с низкими ставками», — добавил он.

© Agence France-Presse