"Черный ящик" научного искусственного интеллекта не идет ни в какое сравнение с методом 200-летней давности

  • Пользователь Алексей Коровин опубликовал
  • 14 февраля 2023 г., 14:40:42 MSK
  • 0 комментариев
  • 107 просмотров
Новое исследование показало, что 200-летний метод, называемый анализом Фурье, может выявить важную информацию о том, как форма искусственного интеллекта, называемая глубокими нейронными сетями (DNN), учится выполнять задачи, связанные со сложной физикой. Исследователи обнаружили, что этот метод может напрямую связать то, чему научился DNN, с физикой сложной системы, которую DNN моделирует.

Согласно новому исследованию, один из старейших инструментов вычислительной физики - математический метод, известный как анализ Фурье, которому 200 лет, - может раскрыть важную информацию о том, как форма искусственного интеллекта, называемая глубокой нейронной сетью, учится выполнять задачи, связанные со сложной физикой, такие как моделирование климата и турбулентности.

Открытие исследователей в области машиностроения из Университета Райса описано в исследовании открытого доступа, опубликованном в Связь PNAS, аналогичное издание "Трудов Национальной академии наук".

"Это первая строгая структура, объясняющая и направляющая использование глубоких нейронных сетей для сложных динамических систем, таких как климат", - сказал автор исследования Педрам Хассанзаде. "Это могло бы существенно ускорить использование научного глубокого обучения в климатологии и привести к гораздо более надежным прогнозам изменения климата".

В статье Хассанзаде, Адам Субель и Ашеш Чаттопадхьяй, оба бывшие студенты, и Ифэй Гуан, научный сотрудник постдокторской степени, подробно описали использование ими анализа Фурье для изучения нейронной сети глубокого обучения, которая была обучена распознавать сложные потоки воздуха в атмосфере или воды в океане и предсказывать, как эти потоки будут взаимодействовать. потоки будут меняться с течением времени. Их анализ показал "не только то, чему научилась нейронная сеть, это также позволило нам напрямую связать то, чему научилась сеть, с физикой сложной системы, которую она моделировала", - сказал Хассанзаде.

"Глубокие нейронные сети, как известно, чрезвычайно сложны для понимания и часто считаются "черными ящиками", - сказал он. "Это одна из главных проблем, связанных с использованием глубоких нейронных сетей в научных приложениях. Другой - это обобщаемость: эти сети не могут работать в системе, отличной от той, для которой они были обучены".

Хассанзаде сказал, что аналитическая структура, представленная его командой в статье, "открывает черный ящик, позволяет нам заглянуть внутрь, чтобы понять, чему научились сети и почему, а также позволяет нам связать это с физикой системы, которая была изучена".

Субел, ведущий автор исследования, начал исследование в качестве студента Rice, а сейчас является аспирантом Нью-Йоркского университета. Он сказал, что фреймворк может быть использован в сочетании с методами трансфертного обучения, чтобы "обеспечить обобщение и, в конечном счете, повысить надежность научного глубокого обучения".

В то время как во многих предыдущих исследованиях предпринимались попытки выявить, как сети глубокого обучения учатся делать прогнозы, Хассанзаде сказал, что он, Субел, Гуан и Чаттопадхьяй решили подойти к проблеме с другой точки зрения.

"Обычные инструменты машинного обучения для понимания нейронных сетей не показали большого успеха в естественных и инженерных системных приложениях, по крайней мере, таких, чтобы результаты могли быть связаны с физикой", - сказал Хассанзаде. "Наша мысль была такой: "Давайте сделаем что-нибудь другое. Давайте воспользуемся инструментом, который является общим для изучения физики, и применим его к изучению нейронной сети, которая научилась заниматься физикой".

Он сказал, что анализ Фурье, который был впервые предложен в 1820-х годах, является излюбленным методом физиков и математиков для выявления частотных паттернов в пространстве и времени.

"Люди, которые занимаются физикой, почти всегда рассматривают данные в пространстве Фурье", - сказал он. "Это облегчает физику и математику".

Например, если бы у кого-то была поминутная запись показаний температуры наружного воздуха за годичный период, информация представляла бы собой строку из 525 600 чисел, тип набора данных, который физики называют временным рядом. Чтобы проанализировать временной ряд в пространстве Фурье, исследователь использовал бы тригонометрию для преобразования каждого числа в ряду, создавая другой набор из 525 600 чисел, который содержал бы информацию из исходного набора, но выглядел бы совершенно иначе.

"Вместо того, чтобы видеть температуру ежеминутно, вы бы увидели всего несколько скачков", - сказал Субель. "Одним из них был бы косинус 24 часов, который представлял бы собой дневной и ночной цикл максимумов и минимумов. Этот сигнал присутствовал во временном ряду все это время, но анализ Фурье позволяет вам легко увидеть эти типы сигналов как во времени, так и в пространстве".

Основываясь на этом методе, ученые разработали другие инструменты для частотно-временного анализа. Например, преобразования нижних частот отфильтровывают фоновый шум, а фильтры верхних частот делают обратное, позволяя сосредоточиться на фоне.

Команда Хассанзаде сначала выполнила преобразование Фурье для уравнения своей полностью обученной модели глубокого обучения. Каждый из примерно 1 миллиона параметров модели действует как множители, придавая больший или меньший вес конкретным операциям в уравнении во время расчетов модели. В неподготовленной модели параметры имеют случайные значения. Они корректируются и оттачиваются во время обучения по мере того, как алгоритм постепенно учится получать прогнозы, которые все ближе и ближе к известным результатам в обучающих примерах. Структурно параметры модели сгруппированы примерно в 40 000 матриц размером пять на пять, или ядер.

"Когда мы взяли преобразование Фурье уравнения, это подсказало нам, что мы должны посмотреть на преобразование Фурье этих матриц", - сказал Хассанзаде. "Мы этого не знали. Никто никогда раньше не выполнял эту часть, не смотрел на преобразования Фурье этих матриц и не пытался связать их с физикой.

"И когда мы это сделали, выяснилось, что то, чему обучается нейронная сеть, представляет собой комбинацию фильтров нижних частот, фильтров верхних частот и фильтров Габора", - сказал он.

"Самое прекрасное в этом то, что нейронная сеть не творит никакого волшебства", - сказал Хассанзаде. "Он не делает ничего сумасшедшего. На самом деле он делает то, что мог бы попытаться сделать физик или математик. Конечно, без мощи нейронных сетей мы не знали бы, как правильно комбинировать эти фильтры. Но когда мы говорим с физиками об этой работе, им это нравится. Потому что они такие: "О! Я знаю, что это такое. Это то, чему научилась нейронная сеть. Я понимаю"."

Субель сказал, что полученные результаты имеют важные последствия для научного глубокого обучения и даже предполагают, что некоторые вещи, которые ученые узнали из изучения машинного обучения в других контекстах, например классификация статических изображений, могут неприменимы к научному машинному обучению.

"Мы обнаружили, что некоторые знания и выводы в литературе по машинному обучению, которые были получены, например, в результате работы над коммерческими и медицинскими приложениями, неприменимы ко многим критически важным приложениям в науке и технике, таким как моделирование изменения климата", - сказал Субель. "Это само по себе является важным следствием".

Чаттопадхьяй получил степень доктора философии в 2022 году и сейчас является научным сотрудником в Исследовательском центре Пало-Альто.

Исследование было поддержано Управлением военно-морских исследований (N00014- 20-1-2722), Национальным научным фондом (2005123, 1748958) и программой Schmidt Futures. Вычислительные ресурсы были предоставлены Национальным научным фондом (170020) и Национальным центром атмосферных исследований (URIC0004).

Комментарии

0 комментариев