Автомобили, использующие искусственные нейронные сети, не помнят прошлого и постоянно находятся в состоянии, когда видят мир впервые - независимо от того, сколько раз они проезжали по определенной дороге раньше.

Исследователи подготовили три параллельные статьи с целью преодоления этого ограничения. Два из них будут представлены на конференции IEEE по компьютерному зрению и распознаванию образов (CVPR 2022), которая состоится 19-24 июня в Новом Орлеане.

"Фундаментальный вопрос заключается в том, можем ли мы извлечь уроки из повторяющихся обходов?" - сказал старший автор Килиан Вайнбергер, профессор компьютерных наук. "Например, автомобиль может принять дерево странной формы за пешехода в первый раз, когда его лазерный сканер распознает его издалека, но как только оно окажется достаточно близко, категория объекта станет ясной. Итак, во второй раз, когда вы проезжаете мимо того же самого дерева, даже в тумане или снегопаде, вы можете надеяться, что автомобиль теперь научился правильно его распознавать".

Возглавляемая докторантом Карлосом Диас-Руисом, группа собрала набор данных, проехав на автомобиле, оснащенном датчиками LiDAR (обнаружения света и определения дальности), по 15-километровой петле в Итаке и вокруг нее 40 раз за 18-месячный период. Маршруты охватывают различные условия (шоссе, город, кампус), погодные условия (солнечно, дождливо, снежно) и время суток. Этот результирующий набор данных содержит более 600 000 сцен.

"Это намеренно обнажает одну из ключевых проблем самоуправляемых автомобилей: плохие погодные условия", - сказал Диас-Руис. "Если улица покрыта снегом, люди могут полагаться на воспоминания, но без воспоминаний нейронная сеть находится в крайне неблагоприятном положении".

РЕТРОСПЕКТИВНЫЙ АНАЛИЗ - это подход, который использует нейронные сети для вычисления дескрипторов объектов по мере того, как автомобиль проезжает мимо них. Затем он сжимает эти описания, которые группа окрестила SQuaSH?(Пространственно-квантованная разреженная история) объектов и сохраняет их на виртуальной карте, подобно "памяти", хранящейся в человеческом мозге.

В следующий раз, когда беспилотный автомобиль пересекает то же место, он может запросить локальную базу данных GPS для каждой точки лидара вдоль маршрута и "вспомнить", что он узнал в прошлый раз. База данных постоянно обновляется и совместно используется всеми транспортными средствами, тем самым обогащая информацию, доступную для выполнения распознавания.

"Эта информация может быть добавлена в качестве функций к любому 3D-детектору объектов на основе лидара", - сказал докторант Юронг Ю. "Как детектор, так и представление сквоша могут быть обучены совместно без какого-либо дополнительного контроля или аннотации со стороны человека, что требует много времени и труда".

РЕТРОСПЕКТИВНЫЙ АНАЛИЗ является предшественником дополнительных исследований, которые проводит команда, СКРОМНЫХ (обнаружение мобильных объектов с эфемерностью и самообучением), которые пойдут еще дальше, позволяя автомобилю изучить весь конвейер восприятия с нуля.

В то время как РЕТРОСПЕКТИВА по-прежнему предполагает, что искусственная нейронная сеть уже обучена обнаруживать объекты и дополняет ее способностью создавать воспоминания, МОДЕСТ предполагает, что искусственная нейронная сеть в автомобиле вообще никогда не подвергалась воздействию каких-либо объектов или улиц. Многократно проходя по одному и тому же маршруту, он может узнать, какие части окружающей среды неподвижны, а какие являются движущимися объектами. Постепенно он учит себя тому, что представляют собой другие участники дорожного движения, а что безопасно игнорировать.

Затем алгоритм может надежно обнаруживать эти объекты - даже на дорогах, которые не были частью первоначальных повторных обходов.

Исследователи надеются, что эти подходы могут резко снизить стоимость разработки автономных транспортных средств (которые в настоящее время все еще в значительной степени зависят от дорогостоящих аннотированных человеком данных) и сделать такие транспортные средства более эффективными, научившись ориентироваться в местах, в которых они используются чаще всего.