Декодер мозговой активности может выявлять истории в сознании людей

  • Пользователь Алексей Коровин опубликовал
  • 2 мая 2023 г., 15:19:10 MSK
  • 0 комментариев
  • 37 просмотров
Новая система на основе искусственного интеллекта, называемая семантическим декодером, может переводить мозговую активность человека - во время прослушивания истории или мысленного представления того, как он рассказывает историю, - в непрерывный поток текста. В отличие от других разрабатываемых систем декодирования мыслей, эта система не требует от испытуемых наличия хирургических имплантатов, что делает процесс неинвазивным.

Новая система искусственного интеллекта, называемая семантическим декодером, может переводить мозговую активность человека - когда он слушает историю или мысленно представляет, как рассказывает ее, - в непрерывный поток текста. Система, разработанная исследователями из Техасского университета в Остине, может помочь людям, которые находятся в сознании, но физически не могут говорить, например, тем, кто пострадал от инсульта, снова общаться внятно.

Исследование, опубликованное в журнале Нейробиология природы, возглавляли Джерри Тан, докторант в области компьютерных наук, и Алекс Хут, доцент кафедры неврологии и информатики Калифорнийского университета в Остине. Работа частично основана на модели transformer, аналогичной тем, которые используются в ChatGPT от Open AI и Bard от Google.

В отличие от других разрабатываемых систем декодирования языка, эта система не требует от испытуемых наличия хирургических имплантатов, что делает процесс неинвазивным. Участникам также не нужно использовать только слова из предписанного списка. Мозговая активность измеряется с помощью МРТ-сканера после тщательной тренировки декодера, в ходе которой человек часами прослушивает подкасты в сканере. Позже, при условии, что участник готов к расшифровке своих мыслей, его прослушивание новой истории или представление того, как он рассказывает историю, позволяет машине генерировать соответствующий текст только на основе мозговой активности.

"Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, что обычно представляло собой отдельные слова или короткие предложения", - сказал Хут. "Мы получаем модель для декодирования непрерывного языка в течение длительных периодов времени со сложными идеями".

Результатом является не дословная расшифровка. Вместо этого исследователи разработали его таким образом, чтобы уловить суть того, что говорится или о чем думают, хотя и несовершенно. Примерно в половине случаев, когда декодер обучен отслеживать мозговую активность участника, машина выдает текст, который близко (а иногда и точно) соответствует предполагаемому значению исходных слов.

Например, в экспериментах участники, слушавшие, как оратор говорит: "У меня еще нет водительских прав", переводили свои мысли следующим образом: "Она еще даже не начала учиться водить". Прислушиваясь к словам: "Я не знала, кричать мне, плакать или убегать. Вместо этого я сказал: "Оставь меня в покое!"" было расшифровано как "Начала кричать и плакать, а потом она просто сказала: "Я же сказал тебе оставить меня в покое"."

Начиная с более ранней версии статьи, которая появилась в виде препринта в Интернете, исследователи рассмотрели вопросы о потенциальном неправильном использовании технологии. В статье описывается, как декодирование работало только с участниками сотрудничества, которые добровольно участвовали в обучении декодера. Результаты для людей, на которых декодер не был обучен, были непонятны, и если участники, на которых декодер был обучен, позже оказывали сопротивление - например, думая о других мыслях, - результаты были аналогично непригодны для использования.

"Мы очень серьезно относимся к опасениям, что это может быть использовано в дурных целях, и работали над тем, чтобы избежать этого", - сказал Тан. "Мы хотим быть уверены, что люди используют подобные технологии только тогда, когда они этого хотят, и что это им помогает".

В дополнение к тому, что участники слушали или обдумывали истории, исследователи попросили испытуемых посмотреть четыре коротких видеоролика без звука, находясь в сканере. Семантический декодер смог использовать активность их мозга для точного описания определенных событий из видеороликов.

В настоящее время система непрактична для использования за пределами лаборатории из-за ее зависимости от времени, необходимого для работы с аппаратом ФМРТ. Но исследователи полагают, что эта работа могла бы быть перенесена на другие, более портативные системы визуализации мозга, такие как функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS).

"fNIRS измеряет, где в мозге больше или меньше кровотока в разные моменты времени, что, как оказалось, является точно таким же сигналом, который измеряет ФМРТ", - сказал Хут. "Таким образом, наш точный подход должен быть применен к fNIRS", хотя, отметил он, разрешение с помощью fNIRS было бы ниже.

Эта работа была поддержана Фондом Уайтхолла, Фондом Альфреда П. Слоана и Фондом Берроуза Уэллкома.

Другими соавторами исследования являются Аманда Лебель, бывший научный сотрудник лаборатории Хута, и Шейли Джейн, аспирантка по информатике Калифорнийского университета в Остине.

Александр Хут и Джерри Тан подали заявку на патент PCT, связанную с этой работой.

Комментарии

0 комментариев