Рекомендательные системы DLRM - это популярная форма искусственного интеллекта, который учится делать предложения, которые пользователи сочтут релевантными. Но поскольку первоклассные обучающие модели требуют более ста терабайт памяти и обработки в масштабе суперкомпьютера, они были доступны только небольшому списку технологических гигантов с большими карманами.

"Массив встраивания блоков случайного смещения" Райса, или массив ROBE, мог бы изменить это. Это алгоритмический подход к сокращению размера структур памяти DLRM, называемых таблицами встраивания, и он будет представлен на этой неделе на конференции по машинному обучению и системам (MLSys 2022) в Санта-Кларе, Калифорния, где он получил выдающиеся награды за работу.

"Используя всего 100 мегабайт памяти и один графический процессор, мы показали, что можем сократить время обучения и удвоить эффективность вывода по сравнению с современными методами обучения DLRM, которые требуют 100 гигабайт памяти и нескольких процессоров", - сказал Аншумали Шривастава, адъюнкт-профессор компьютерных наук в Rice, которыйпредставляет исследование на MLSys 2022 с соавторами ROBE Array Адитьей Десаи, аспирантом Rice в исследовательской группе Шриваставы, и Ли Чоу, бывшим постдокторантом Rice, который сейчас работает в Университете Западного Техаса A & M.

"ROBE Array задает новую базовую линию для сжатия DLRM", - сказал Шривастава. "И это делает DLRM доступным для обычных пользователей, у которых нет доступа к высококлассному оборудованию или инженерным знаниям, необходимым для обучения моделей размером в сотни терабайт".

Системы DLRM - это алгоритмы машинного обучения, которые извлекают уроки из данных. Например, система рекомендаций, предлагающая товары покупателям, будет обучена на основе данных прошлых транзакций, включая поисковые запросы, предоставленные пользователями, какие товары им предлагались и какие, если таковые имеются, они приобрели. Одним из способов повысить точность рекомендаций является сортировка данных обучения по большему количеству категорий. Например, вместо того, чтобы помещать все шампуни в одну категорию, компания могла бы создать категории для мужских, женских и детских шампуней.

Для обучения эти категориальные представления организованы в структурах памяти, называемых таблицами встраивания, и Десаи сказал, что размер этих таблиц "взорвался" из-за увеличения категоризации.

"На таблицы встраивания теперь приходится более 99,9% общего объема памяти моделей DLRM", - сказал Десаи. "Это приводит к множеству проблем. Например, они не могут быть обучены чисто параллельным способом, потому что модель должна быть разбита на части и распределена по нескольким обучающим узлам и графическим процессорам. И после того, как они обучены и запущены в производство, поиск информации во встроенных таблицах занимает около 80% времени, необходимого для возврата предложения пользователю ".

Шривастава сказал, что ROBE Array устраняет необходимость хранения таблиц встраивания, используя метод индексации данных, называемый хэшированием, для создания "единого массива изученных параметров, который является сжатым представлением таблицы встраивания". Доступ к информации о внедрении из массива затем может быть выполнен "с использованием универсального хэширования, удобного для графического процессора", - сказал он.

Шривастава, Десаи и Чоу протестировали ROBE Array с использованием популярного теста DLRM MLPerf, который измеряет, насколько быстро система может обучать модели целевому показателю качества. Используя ряд наборов эталонных данных, они обнаружили, что ROBE Array может соответствовать или превосходить ранее опубликованные методы DLRM с точки зрения точности обучения даже после сжатия модели на три порядка.

"Наши результаты ясно показывают, что большинство тестов глубокого обучения могут быть полностью отменены фундаментальными алгоритмами", - сказал Шривастава. "Учитывая глобальную нехватку чипов, это приятная новость для будущего искусственного интеллекта".

ROBE Array - не первый большой успех Шриваставы в MLSys. На выставке MLSys 2020 его группа представила SLIDE, "сублинейный движок глубокого обучения", который работал на обычных процессорах и мог превзойти тренажеры на базе GPU. Они продолжили работу на MLSys 2021, показав, что ускорители векторизации и оптимизации памяти могут повысить производительность SLIDE, позволяя ему обучать глубокие нейронные сети в 15 раз быстрее, чем лучшие системы с графическим процессором.

Исследование ROBE Array было поддержано Национальным научным фондом (1652131, 1838177), Управлением научных исследований ВВС (YIP-FA9550-18-1-0152 ), Управление военно-морских исследований, Intel и VMware.