Исследование, опубликованное в Офтальмология JAMA исследование, проведенное под руководством больницы Святого Михаила, сайта Unity Health в Торонто, показало, что ChatGPT правильно ответил на 46 процентов вопросов при первоначальном опросе в январе 2023 года. Когда исследователи провели тот же тест месяц спустя, результаты ChatGPT были более чем на 10 процентов выше.

Потенциал искусственного интеллекта в медицине и подготовке к экзаменам вызвал ажиотаж с тех пор, как ChatGPT стал общедоступным в ноябре 2022 года. Это также вызывает обеспокоенность по поводу возможности распространения неверной информации и мошенничества в академических кругах. ChatGPT бесплатен, доступен любому, у кого есть подключение к Интернету, и работает в режиме разговора.

"Со временем ChatGPT может играть все возрастающую роль в медицинском образовании и клинической практике, однако важно подчеркнуть ответственное использование таких систем искусственного интеллекта", - сказал доктор Раджив Х. Муни, главный исследователь исследования и научный сотрудник Института знаний Ли Ка Шинга при университете Святого Михаила. "ChatGPT, использованный в этом расследовании, не ответил правильно на достаточное количество вопросов с множественным выбором, чтобы оказать существенную помощь в подготовке к сертификации совета директоров на данный момент".

Исследователи использовали набор практических вопросов с множественным выбором из бесплатной пробной версии OphthoQuestions, распространенного ресурса для подготовки к сертификационному экзамену. Чтобы гарантировать, что на ответы ChatGPT не повлияли параллельные разговоры, записи или беседы с ChatGPT удалялись перед вводом каждого вопроса и использовалась новая учетная запись ChatGPT. Вопросы, в которых использовались изображения и видео, не были включены, поскольку ChatGPT принимает только текстовый ввод.

Из 125 текстовых вопросов с множественным выбором ChatGPT правильно ответила на 58 (46%) вопросов, когда исследование было впервые проведено в январе 2023 года. Исследователи повторили анализ на ChatGPT в феврале 2023 года, и производительность улучшилась до 58 процентов.

"ChatGPT - это система искусственного интеллекта, которая имеет огромные перспективы в медицинском образовании. Хотя примерно в половине случаев он давал неправильные ответы на сертификационные вопросы совета директоров по офтальмологии, мы ожидаем, что знания ChatGPT будут быстро развиваться", - сказал доктор Марко Попович, соавтор исследования и врач-ординатор кафедры офтальмологии и наук о зрении Университета Торонто.

ChatGPT точно соответствовал тому, как слушатели отвечали на вопросы, и выбирал тот же вариант ответа с несколькими вариантами ответов, что и наиболее распространенный ответ, предоставляемый слушателями-офтальмологами в 44 процентах случаев. ChatGPT выбрала вариант ответа с множественным выбором, который был наименее популярен среди слушателей офтальмологии в 11 процентах случаев, вторым по популярности в 18 процентах случаев и вторым по популярности в 22 процентах случаев.

"ChatGPT наиболее точно ответила на вопросы по общей медицине, правильно ответив на 79 процентов из них. С другой стороны, его точность была значительно ниже в вопросах для офтальмологических специальностей. Например, чат-бот правильно ответил на 20 процентов вопросов по окулопластике и на ноль процентов по специальности "сетчатка". Точность ChatGPT, вероятно, в будущем больше всего повысится в узкоспециализированных областях", - сказал Эндрю Михалаче, ведущий автор исследования и студент бакалавриата Западного университета.