Канадские ученые провели исследование, которое поставило под сомнение способность ChatGPT ставить медицинские диагнозы.
Известно, что многие люди предпочитают искать информацию о здоровье в интернете, вместо того чтобы обращаться к врачу. Однако точность таких онлайн-диагнозов оставляет желать лучшего. Ученые из Западного университета Канады решили выяснить, как с такой задачей справится искусственный интеллект. И, несмотря на все последние достижения в области ИИ, чат-бот ChatGPT оказался не слишком хорош в постановке диагнозов.
В ходе исследования ученые использовали ChatGPT 3.5. Искусственному интеллекту предложили решить 150 сложных медицинских кейсов из базы Medscape.
Результаты оказались неоднозначными. С одной стороны, ChatGPT смог правильно определить диагноз в 49% случаев. С другой стороны, он часто ошибался, предлагая неправильные или неполные варианты. Кроме того, чат-бот не всегда мог отличить похожие заболевания друг от друга и иногда выдавал совершенно неправдоподобную информацию.
Так, ChatGPT предоставлял ложноположительные (13%) и ложноотрицательные (13%). Чуть более половины (52%) предоставленных ответов были полными и актуальными, а 43% неполными, но все еще актуальными. ChatGPT, как правило, дает ответы с низкой (51%) или умеренной (41%) когнитивной нагрузкой, что облегчает их понимание пользователями. Тем не менее, исследователи отмечают, что эта легкость понимания в сочетании с возможностью получения неверной или несоответствующей информации может привести к «неправильным представлениям и ложному чувству понимания», особенно если ChatGPT используется в качестве инструмента медицинского образования.
Авторы исследования подчеркивают, что ChatGPT может быть полезен для исключения некоторых диагнозов, но не стоит полностью полагаться на него при принятии медицинских решений.
В конечном счете, человеческий фактор остается незаменимым в медицине. И хотя технологии развиваются стремительно, врач-специалист по-прежнему является наиболее надежным источником информации и помощи при заболеваниях.
Исследование опубликовано в журнале PLOS One.
