Этот недостаток "надежности" является серьезным препятствием для исследователей, надеющихся создать более совершенные ИИ. Однако, почему именно происходит это явление и лежащие в его основе механизмы остаются в значительной степени неизвестными.

Стремясь однажды преодолеть эти недостатки, исследователи с факультета информатики и электротехники Университета Кюсю опубликовали в ПЛОС ОДИН метод, называемый "Необработанный нулевой снимок", который оценивает, как нейронные сети обрабатывают неизвестные им элементы. Полученные результаты могут помочь исследователям выявить общие черты, которые делают ИИ "ненадежными", и разработать методы устранения их проблем.

"Существует целый ряд реальных приложений для нейронных сетей распознавания изображений, включая самоуправляемые автомобили и диагностические инструменты в здравоохранении", - объясняет Данило Васконселлос Варгас, который руководил исследованием. "Однако, независимо от того, насколько хорошо обучен искусственный интеллект, он может выйти из строя даже при незначительном изменении изображения".

На практике ИИ распознавания изображений "обучаются" на многих образцах изображений, прежде чем их попросят идентифицировать одно из них. Например, если вы хотите, чтобы искусственный интеллект распознавал уток, вы должны сначала обучить его на множестве изображений уток.

Тем не менее, даже наиболее подготовленные ИИ могут быть введены в заблуждение. Фактически, исследователи обнаружили, что изображением можно манипулировать таким образом, что, хотя человеческому глазу оно может казаться неизменным, искусственный интеллект не может точно идентифицировать его. Даже однопиксельное изменение изображения может вызвать путаницу.

Чтобы лучше понять, почему это происходит, команда начала исследовать различные ИИ распознавания изображений в надежде выявить закономерности в том, как они ведут себя, сталкиваясь с образцами, с которыми они не были обучены, то есть с элементами, неизвестными ИИ.

"Если вы дадите изображение ИИ, он попытается сказать вам, что это такое, независимо от того, правильный этот ответ или нет. Итак, мы взяли двенадцать наиболее распространенных на сегодняшний день ИИ и применили новый метод, называемый "Необработанное обучение с нулевого выстрела", - продолжает Варгас. "По сути, мы предоставили ИИ серию изображений без каких-либо подсказок или обучения. Наша гипотеза заключалась в том, что в том, как они отвечали, должна была быть корреляция. Они были бы неправы, но неправы в том же смысле".

То, что они нашли, было именно этим. Во всех случаях искусственный интеллект распознавания изображений выдал бы ответ, и ответы, хотя и неправильные, были бы последовательными, то есть они группировались бы вместе. Плотность каждого кластера будет указывать на то, как искусственный интеллект обрабатывал неизвестные изображения, основываясь на своих фундаментальных знаниях о различных изображениях.

"Если мы поймем, что делал ИИ и чему он научился при обработке неизвестных изображений, мы сможем использовать это же понимание для анализа того, почему ИИ ломаются, когда сталкиваются с изображениями с изменениями в один пиксель или незначительными модификациями", - утверждает Варгас. "Использование знаний, которые мы получили, пытаясь решить одну проблему, применив их к другой, но связанной с ней проблеме, известно как переносимость".

Команда заметила, что капсульные сети, также известные как CapsNet, создают самые плотные кластеры, что обеспечивает им наилучшую переносимость среди нейронных сетей. Они полагают, что это может быть связано с динамичной природой CapsNet.

"Хотя сегодняшние ИИ точны, им не хватает надежности для дальнейшего использования. Нам нужно понять, в чем проблема и почему это происходит. В этой работе мы показали возможную стратегию изучения этих вопросов", - заключает Варгас. "Вместо того, чтобы сосредотачиваться исключительно на точности, мы должны исследовать способы повышения надежности и гибкости. Тогда мы, возможно, сможем разработать настоящий искусственный интеллект".