Возьмем системы предотвращения столкновений в самоуправляемых автомобилях. Если бы визуальному вводу данных с бортовых камер можно было полностью доверять, система искусственного интеллекта могла бы напрямую сопоставить этот ввод с соответствующим действием - повернуть направо, налево или продолжать движение прямо - чтобы избежать наезда на пешехода, которого ее камеры видят на дороге.

Но что, если в камерах произошел сбой, который слегка сместил изображение на несколько пикселей? Если бы машина слепо доверяла так называемым "входным сигналам противника", она могла бы предпринять ненужные и потенциально опасные действия.

Новый алгоритм глубокого обучения, разработанный исследователями Массачусетского технологического института, призван помочь машинам ориентироваться в реальном, несовершенном мире, развивая здоровый "скептицизм" в отношении измерений и входных данных, которые они получают.

Команда объединила алгоритм обучения с подкреплением с глубокой нейронной сетью, которые используются отдельно для обучения компьютеров игре в видеоигры, такие как Go и шахматы, чтобы создать подход, который они называют CARRL, для обеспечения сертифицированной состязательной надежности для глубокого обучения с подкреплением.

Исследователи протестировали подход в нескольких сценариях, включая имитационный тест на предотвращение столкновений и видеоигру Pong, и обнаружили, что CARRL показал лучшие результаты - избегая столкновений и выигрывая больше игр в Pong - по сравнению со стандартными методами машинного обучения, даже перед лицом неопределенных, состязательных входных данных.

"Вы часто думаете, что противник - это тот, кто взламывает ваш компьютер, но также может быть, что ваши датчики не очень хороши или ваши измерения не идеальны, что часто бывает", - говорит Майкл Эверетт, постдок кафедры аэронавтики и астронавтики Массачусетского технологического института (AeroAstro). "Наш подход помогает учесть это несовершенство и принять безопасное решение. В любой области, критически важной для безопасности, это важный подход, о котором стоит подумать".

Эверетт является ведущим автором исследования с изложением нового подхода, которое появилось в IEEE's Транзакции в нейронных сетях и системах обучения. Исследование было подготовлено на основе магистерской диссертации аспиранта Массачусетского технологического института Бьорна Лютьенса и было рекомендовано профессором АэроАстро Массачусетского технологического института Джонатаном Хау.

Возможные реальности

Чтобы сделать системы искусственного интеллекта устойчивыми к противоборствующим воздействиям, исследователи попытались внедрить средства защиты для контролируемого обучения. Традиционно нейронная сеть обучается связывать определенные метки или действия с заданными входными данными. Например, нейронная сеть, которой передаются тысячи изображений, помеченных как кошки, наряду с изображениями, помеченными как дома и хот-доги, должна правильно обозначить новое изображение как кошку.

В надежных системах искусственного интеллекта те же самые методы контролируемого обучения могут быть протестированы со многими слегка измененными версиями изображения. Если сеть получает один и тот же ярлык - кошка - для каждого изображения, есть большая вероятность, что, измененное или нет, изображение действительно кошки, и сеть устойчива к любому враждебному влиянию.

Но выполнение всех возможных изменений изображения требует больших вычислительных затрат, и его трудно успешно применить к задачам, зависящим от времени, таким как предотвращение столкновений. Кроме того, существующие методы также не определяют, какой ярлык использовать или какие действия предпринять, если сеть менее надежна и помечает некоторые измененные изображения кошек как дом или хот-дог.

"Чтобы использовать нейронные сети в сценариях, критичных для безопасности, нам нужно было выяснить, как принимать решения в режиме реального времени, основываясь на наихудших предположениях об этих возможных реалиях", - говорит Лютьенс.

Лучшая награда

Вместо этого команда решила использовать обучение с подкреплением, еще одну форму машинного обучения, которая не требует сопоставления помеченных входных данных с выходными, а скорее направлена на усиление определенных действий в ответ на определенные входные данные, основываясь на результирующем вознаграждении. Этот подход обычно используется для обучения компьютеров играть и выигрывать в такие игры, как шахматы и Го.

Обучение с подкреплением в основном применялось к ситуациям, когда исходные данные предполагались верными. Эверетт и его коллеги говорят, что они первые, кто привнес "подтверждаемую надежность" в неопределенные, состязательные входные данные при обучении с подкреплением.

Их подход, CARRL, использует существующий алгоритм глубокого обучения с подкреплением для обучения глубокой Q-сети, или DQN - нейронной сети с несколькими уровнями, которая в конечном итоге связывает входные данные со значением Q или уровнем вознаграждения.

Этот подход принимает входные данные, такие как изображение с одной точкой, и учитывает враждебное влияние или область вокруг точки, где она на самом деле может быть вместо этого. Каждое возможное положение точки в этой области передается через DQN, чтобы найти соответствующее действие, которое привело бы к наиболее оптимальному вознаграждению в наихудшем случае, основанному на методике, разработанной недавним аспирантом Массачусетского технологического института Цуй-Вей "Лили" Венг PhD '20.

Враждебный мир

В тестах с видеоигрой Pong, в которой два игрока управляют веслами по обе стороны экрана, чтобы передавать мяч взад и вперед, исследователи представили "противника", который опускал мяч немного ниже, чем это было на самом деле. Они обнаружили, что КАРРЛ выиграл больше партий, чем стандартными техниками, по мере того как влияние противника росло.

"Если мы знаем, что измерению нельзя доверять точно, и мяч может находиться где угодно в пределах определенной области, то наш подход подсказывает компьютеру, что он должен поместить весло в середину этой области, чтобы убедиться, что мы попали по мячу даже при наихудшем отклонении", - говорит Эверетт. говорит.

Метод был аналогичным образом надежен в тестах по предотвращению столкновений, где команда имитировала синего и оранжевого агентов, пытающихся поменяться позициями без столкновения. Поскольку команда нарушила наблюдение оранжевого агента за позицией синего агента, КАРРЛ направил оранжевого агента в обход другого агента, занимая более широкую позицию по мере того, как противник становился сильнее, а позиция синего агента становилась все более неопределенной.

Действительно, наступил момент, когда КАРРЛ стал слишком консервативен, заставив оранжевого агента предположить, что другой агент может находиться где угодно поблизости от него, и в ответ полностью избегать места назначения. По словам Эверетта, этот крайний консерватизм полезен, потому что исследователи могут затем использовать его в качестве ограничения для настройки надежности алгоритма. Например, алгоритм мог бы учитывать меньшее отклонение или область неопределенности, которая все равно позволила бы агенту получить высокое вознаграждение и добраться до места назначения.

По словам Эверетта, в дополнение к преодолению несовершенных датчиков CARRL может стать началом того, чтобы помочь роботам безопасно справляться с непредсказуемыми взаимодействиями в реальном мире.

"Люди могут быть враждебными, например, вставать перед роботом, чтобы заблокировать его датчики, или взаимодействовать с ним, не обязательно с лучшими намерениями", - говорит Эверетт. "Как может робот думать обо всех вещах, которые люди могут попытаться сделать, и пытаться избежать их? От каких моделей противостояния мы хотим защититься? Это то, о чем мы думаем, как это сделать".

Это исследование было частично поддержано Ford Motor Company в рамках альянса Ford-MIT.