Перед специалистами стояла задача проверить, можно ли использовать современные чат-боты в медицинскиж целях — в частности, при постановке диагноза. Ученые загрузили в систему симптомы пяти популярных ортопедических заболеваний и попросили ChatGPT на основе этих данных поставить диагноз и дать рекомендации.
В течение пяти дней каждый из ученых задавал ChatGPT повторяющиеся вопросы. Специалисты отметили, что чат-бот был довольно точен в определении диагноза, но не для всех заболеваний. В целом авторы отметили, что искусственный интеллект (ИИ) оказался плохим инструментом для этих целей.
Так, ChatGPT ставил диагноз синдрома запястного канала с точностью 100 процентов. Однако в случае шейной миелопатии точность чат-бота составила лишь 4 процента. Также ИИ был непоследователен в ответах и давал неточные рекомендации относительно госпитализации пациентов. При этом почти в 80 процентах случаев ChatGPT рекомендовал пациентам обратиться к врачу.
«Учитывая риск ошибки и потенциальный вред от неправильного диагноза, важно, чтобы любой диагностический инструмент четко предупреждал пациентов о необходимости обратиться за экспертным медицинским заключением для подтверждения заболевания», — отметил старший автор исследования Кодзи Фудзита.