Искусственный интеллект с точки зрения психолога

  • Пользователь Алексей Коровин опубликовал
  • 3 марта 2023 г., 19:00:07 MSK
  • 0 комментариев
  • 48 просмотров
Исследователи тестируют когнитивные способности языковой модели GPT-3.

Исследователи из Института биологической кибернетики Макса Планка в Тюбингене изучили общий интеллект языковой модели GPT-3, мощного инструмента искусственного интеллекта. Используя психологические тесты, они изучили такие компетенции, как причинно-следственное мышление и обдумывание, и сравнили результаты со способностями людей. Их результаты рисуют неоднородную картину: в то время как GPT-3 может не отставать от людей в некоторых областях, он отстает в других, вероятно, из-за отсутствия взаимодействия с реальным миром.

Нейронные сети могут научиться реагировать на вводимые данные на естественном языке и сами могут генерировать самые разнообразные тексты. В настоящее время, вероятно, самой мощной из этих сетей является GPT-3, языковая модель, представленная общественности в 2020 году исследовательской компанией по искусственному интеллекту OpenAI. GPT-3 может быть предложено сформулировать различные тексты, поскольку он был обучен для этой задачи, получая большие объемы данных из Интернета. Он не только может писать статьи и рассказы, которые (почти) неотличимы от текстов, созданных человеком, но, что удивительно, он также справляется с другими задачами, такими как математические задачи или задачи по программированию.

Проблема Линды: ошибаться свойственно не только человеку

Эти впечатляющие способности поднимают вопрос о том, обладает ли GPT-3 когнитивными способностями, подобными человеческим. Чтобы выяснить это, ученые из Института биологической кибернетики Макса Планка теперь подвергли GPT-3 серии психологических тестов, которые исследуют различные аспекты общего интеллекта. Марсель Бинц и Эрик Шульц тщательно изучили навыки GPT-3 в принятии решений, поиске информации, причинно-следственных рассуждениях и способности подвергать сомнению собственную первоначальную интуицию. Сравнивая результаты теста GPT-3 с ответами испытуемых-людей, они оценивали как правильность ответов, так и то, насколько ошибки GPT-3 были похожи на ошибки человека.

"Одна классическая тестовая задача когнитивной психологии, которую мы поставили перед GPT-3, - это так называемая проблема Линды", - объясняет Бинц, ведущий автор исследования. Здесь испытуемые знакомятся с вымышленной молодой женщиной по имени Линда как с человеком, который глубоко озабочен социальной справедливостью и выступает против ядерной энергетики. Основываясь на предоставленной информации, испытуемых просят выбрать между двумя утверждениями: является ли Линда банковским кассиром или она банковский кассир и в то же время активна в феминистском движении?

Большинство людей интуитивно выбирают второй вариант, хотя дополнительное условие - то, что Линда активна в феминистском движении - делает его менее вероятным с вероятностной точки зрения. И GPT-3 делает именно то, что делают люди: языковая модель не принимает решения на основе логики, а вместо этого воспроизводит заблуждение, в которое впадают люди.

Активное взаимодействие как часть человеческого состояния

"Это явление можно объяснить тем фактом, что GPT-3, возможно, уже знаком с этой конкретной задачей; может случиться так, что он знает, что люди обычно отвечают на этот вопрос", - говорит Бинц. GPT-3, как и любая нейронная сеть, должна была пройти некоторое обучение, прежде чем приступить к работе: получая огромные объемы текста из различных наборов данных, она изучила, как люди обычно используют язык и как они реагируют на языковые подсказки.

Следовательно, исследователи хотели исключить, что GPT-3 механически воспроизводит заученное решение конкретной проблемы. Чтобы убедиться, что он действительно обладает человеческим интеллектом, они разработали новые задачи с аналогичными задачами. Их результаты рисуют разрозненную картину: в процессе принятия решений GPT-3 работает почти наравне с людьми. Однако в поиске конкретной информации или причинно-следственных рассуждений искусственный интеллект явно отстает. Причиной этого может быть то, что GPT-3 только пассивно получает информацию из текстов, в то время как "активное взаимодействие с миром будет иметь решающее значение для соответствия всей сложности человеческого познания", как говорится в публикации. Авторы предполагают, что в будущем это может измениться: поскольку пользователи уже взаимодействуют с моделями, подобными GPT-3, во многих приложениях, будущие сети могли бы извлекать уроки из этих взаимодействий и, таким образом, все больше приближаться к тому, что мы бы назвали человекоподобным интеллектом.

Комментарии

0 комментариев