Пытливые умы из BYU и 186 других университетов хотели знать, как технология OpenAI отразится на экзаменах по бухгалтерскому учету. Итак, они подвергли тестированию оригинальную версию, ChatGPT. Исследователи говорят, что, хотя в сфере бухгалтерского учета еще предстоит проделать большую работу, это меняет правила игры, которые изменят то, как каждый преподает и учится сам - к лучшему.

"Когда эта технология впервые появилась, все были обеспокоены тем, что теперь студенты могут использовать ее для мошенничества", - сказал ведущий автор исследования Дэвид Вуд, профессор бухгалтерского учета УБЯ. "Но возможности для мошенничества существовали всегда. Поэтому мы пытаемся сосредоточиться на том, что мы можем сделать с помощью этой технологии сейчас, чего не могли сделать раньше, чтобы улучшить процесс преподавания для преподавателей и процесс обучения для студентов. Опробование этого метода открыло мне глаза".

С момента своего дебюта в ноябре 2022 года ChatGPT стала самой быстрорастущей технологической платформой в истории, охватив 100 миллионов пользователей менее чем за два месяца. В ответ на бурные дебаты о том, как такие модели, как ChatGPT, должны учитываться в образовании, Вуд решил нанять как можно больше профессоров, чтобы посмотреть, как искусственный интеллект справляется с реальными студентами-бухгалтерами университетов.

Его кампания по подбору соавторов в социальных сетях произвела настоящий фурор: 327 соавторов из 186 учебных заведений в 14 странах приняли участие в исследовании, предоставив 25 181 экзаменационный вопрос по бухгалтерскому учету в классе. Они также наняли студентов-старшекурсников УБЯ (включая дочь Вуда, Джессику), чтобы они отправили в ChatGPT еще 2268 вопросов из банка тестов по учебникам. Вопросы касались информационных систем бухгалтерского учета (АИС), аудита, финансового учета, управленческого учета и налогообложения и различались по сложности и типу (правда/ложь, множественный выбор, короткий ответ и т.д.).

Хотя выступление ChatGPT было впечатляющим, студенты выступили лучше. Студенты набрали в среднем 76,7% баллов по сравнению с показателем ChatGPT в 47,4%. По 11,3% вопросов ChatGPT набрал больше баллов, чем в среднем по студенту, особенно хорошо справившись с АИС и аудитом. Но искусственный интеллект хуже справлялся с налоговыми, финансовыми и управленческими оценками, возможно, потому, что ChatGPT испытывал трудности с математическими процессами, необходимыми для последнего типа.

Что касается типа вопросов, ChatGPT лучше справился с вопросами "правда / ложь" (68,7% правильных ответов) и вопросами с множественным выбором (59,5%), но испытывал трудности с вопросами с короткими ответами (от 28,7% до 39,1%). В целом, ChatGPT было сложнее ответить на вопросы более высокого порядка. На самом деле, иногда ChatGPT предоставлял авторитетные письменные описания неправильных ответов или отвечал на один и тот же вопрос по-разному.

"Это не идеально; вы не собираетесь использовать это для всего", - сказала Джессика Вуд, в настоящее время первокурсница УБЯ. "Пытаться учиться исключительно с помощью ChatGPT - глупая затея".

Исследователи также выявили некоторые другие интересные тенденции в ходе исследования, в том числе:

• ChatGPT не всегда распознает, когда он занимается математикой, и допускает бессмысленные ошибки, такие как сложение двух чисел в задаче на вычитание или неправильное деление чисел.
• ChatGPT часто предоставляет пояснения к своим ответам, даже если они неверны. В других случаях описания ChatGPT точны, но затем он переходит к выбору неправильного ответа с множественным выбором.
• ChatGPT иногда выдумывает факты. Например, при предоставлении ссылки он генерирует реально выглядящую ссылку, которая полностью сфабрикована. Произведение, а иногда и авторы, даже не существуют.

Тем не менее, авторы полностью ожидают, что GPT-4 значительно улучшит вопросы бухгалтерского учета, поставленные в их исследовании, и проблемы, упомянутые выше. Что они считают наиболее многообещающим, так это то, как чат-бот может помочь улучшить преподавание и усвоение знаний, включая возможность разрабатывать и тестировать задания или, возможно, использоваться для составления отдельных частей проекта.

"Это возможность поразмыслить о том, преподаем ли мы полезную информацию или нет", - сказала соавтор исследования и сотрудник BYU, профессор бухгалтерского учета Мелисса Ларсон. "Это нарушение, и нам нужно оценить, куда мы пойдем дальше. Конечно, у меня по-прежнему будут TAS, но это вынудит нас использовать их по-разному".