Нейроморфный чип NeuRRAM на шаг приближает ИИ к работе на широком спектре периферийных устройств, отключенных от облака, где они могут выполнять сложные когнитивные задачи в любом месте и в любое время, не полагаясь на сетевое подключение к централизованному серверу. Приложений предостаточно в каждом уголке мира и во всех аспектах нашей жизни, и они варьируются от умных часов до гарнитур виртуальной реальности, умных наушников, умных датчиков на заводах и марсоходов для исследования космоса.

Чип NeuRRAM не только в два раза энергоэффективнее современных чипов "вычисления в памяти", инновационного класса гибридных чипов, которые выполняют вычисления в памяти, но и обеспечивает результаты, столь же точные, как и обычные цифровые чипы. Обычные платформы искусственного интеллекта намного громоздче и, как правило, ограничены использованием больших серверов данных, работающих в облаке.

Кроме того, чип NeuRRAM отличается высокой универсальностью и поддерживает множество различных моделей и архитектур нейронных сетей. В результате чип может использоваться для множества различных приложений, включая распознавание изображений и реконструкцию, а также распознавание голоса.

"Общепринятое мнение заключается в том, что более высокая эффективность вычислений в памяти достигается за счет универсальности, но наш чип NeuRRAM обеспечивает эффективность, не жертвуя универсальностью", - сказал Вейер Ван, первый автор статьи и недавний доктор философии. Выпускник Стэнфордского университета, который работал над чипом, находясь в Калифорнийский университет в Сан-Диего, где его консультировал Герт Кавенберг на кафедре биоинженерии.

Исследовательская группа, совместно возглавляемая биоинженерами из Калифорнийского университета в Сан-Диего, представляет свои результаты в выпуске от 17 августа Природа.

В настоящее время вычисления с искусственным интеллектом требуют как много энергии, так и больших вычислительных затрат. Большинство приложений искусственного интеллекта на периферийных устройствах предполагают перемещение данных с устройств в облако, где искусственный интеллект обрабатывает и анализирует их. Затем результаты перемещаются обратно на устройство. Это связано с тем, что большинство периферийных устройств работают от батарей и в результате имеют лишь ограниченное количество энергии, которое может быть выделено для вычислений.

За счет снижения энергопотребления, необходимого для вывода ИИ на границе, этот чип NeuRRAM может привести к созданию более надежных, умных и доступных периферийных устройств и более разумного производства. Это также может привести к повышению конфиденциальности данных, поскольку передача данных с устройств в облако сопряжена с повышенными рисками безопасности.

В чипах искусственного интеллекта перемещение данных из памяти в вычислительные блоки является одним из основных узких мест.

"Это эквивалентно восьмичасовой поездке на работу в течение двухчасового рабочего дня", - сказал Ван.

Чтобы решить эту проблему с передачей данных, исследователи использовали так называемую резистивную память с произвольным доступом, тип энергонезависимой памяти, который позволяет выполнять вычисления непосредственно в памяти, а не в отдельных вычислительных блоках. RRAM и другие новые технологии памяти, используемые в качестве синапсных массивов для нейроморфных вычислений, были впервые разработаны в лаборатории Филиппа Вонга, советника Вана в Стэнфорде и основного участника этой работы. Вычисления с использованием чипов RRAM не обязательно являются чем-то новым, но, как правило, это приводит к снижению точности вычислений, выполняемых на чипе, и отсутствию гибкости в архитектуре чипа.

"Вычисления в памяти были обычной практикой в нейроморфной инженерии с тех пор, как она была введена более 30 лет назад", - сказал Кавенбергс. "Что нового в NeuRRAM, так это то, что чрезвычайная эффективность теперь сочетается с большой гибкостью для различных приложений искусственного интеллекта практически без потери точности по сравнению со стандартными цифровыми вычислительными платформами общего назначения".

Тщательно разработанная методология была ключом к работе с несколькими уровнями "совместной оптимизации" на всех уровнях абстракции аппаратного и программного обеспечения, от дизайна чипа до его конфигурации для выполнения различных задач искусственного интеллекта. Кроме того, команда позаботилась о том, чтобы учесть различные ограничения, которые охватывают от физики устройства памяти до схем и сетевой архитектуры.

"Этот чип теперь предоставляет нам платформу для решения этих проблем по всему стеку, от устройств и схем до алгоритмов", - сказал Сиддхарт Джоши, доцент кафедры компьютерных наук и инженерии Университета Нотр-Дам, который начал работать над проектом в качестве аспиранта и постдокторанта в лаборатории Кавенберга. в Калифорнийском университете в Сан-Диего.

Производительность чипа

Исследователи измерили энергоэффективность чипа с помощью показателя, известного как продукт задержки энергии, или EDP. EDP объединяет как количество энергии, потребляемой для каждой операции, так и количество времени, необходимое для завершения операции. Благодаря этому показателю чип NeuRRAM обеспечивает в 1,6-2,3 раза меньший EDP (чем ниже, тем лучше) и в 7-13 раз более высокую вычислительную плотность, чем современные чипы.

Исследователи выполняли различные задачи искусственного интеллекта на чипе. Он достиг 99% точности в задаче распознавания рукописных цифр; 85,7% в задаче классификации изображений; и 84,7% в задаче распознавания речевых команд Google. Кроме того, чип также добился снижения ошибки восстановления изображения на 70% при выполнении задачи восстановления изображения. Эти результаты сопоставимы с существующими цифровыми чипами, которые выполняют вычисления с той же битовой точностью, но с существенной экономией энергии.

Исследователи отмечают, что одним из ключевых достижений статьи является то, что все представленные результаты получены непосредственно на аппаратном обеспечении. Во многих предыдущих работах, посвященных чипам "вычисления в памяти", результаты тестов искусственного интеллекта часто частично получались с помощью программного моделирования.

Следующие шаги включают улучшение архитектуры и схем и масштабирование проекта до более продвинутых технологических узлов. Исследователи также планируют заняться другими приложениями, такими как нейронные сети spiking.

"Мы можем добиться большего на уровне устройств, улучшить дизайн схем для реализации дополнительных функций и решения разнообразных приложений с помощью нашей платформы dynamic NeuRRAM", - сказал Раджкумар Кубендран, доцент Питтсбургского университета, который начал работу над проектом, будучи аспирантом в исследовательской группе Каувенбергов в Калифорнийском университете в Сан-Франциско. Диего.

Кроме того, Wan является одним из основателей стартапа, который работает над внедрением технологии вычислений в памяти. "Как исследователь и инженер, я стремлюсь внедрить исследовательские инновации из лабораторий в практическое применение", - сказал Ван.

Новая архитектура

Ключом к энергоэффективности NeuRRAM является инновационный метод считывания выходных данных в памяти. Обычные подходы используют напряжение в качестве входного сигнала и измеряют ток в качестве результата. Но это приводит к необходимости в более сложных и энергозатратных схемах. В NeuRRAM команда разработала нейронную схему, которая воспринимает напряжение и выполняет аналого-цифровое преобразование энергоэффективным способом. Это определение режима напряжения может активировать все строки и все столбцы массива RRAM за один вычислительный цикл, обеспечивая более высокий параллелизм.

В архитектуре NeuRRAM нейронные схемы CMOS физически чередуются с весами RRAM. Это отличается от обычных конструкций, где КМОП-схемы обычно находятся на периферии весов RRAM.Соединения нейрона с массивом RRAM могут быть сконфигурированы так, чтобы они служили либо входом, либо выходом нейрона. Это позволяет нейронной сети выводить данные в различных направлениях потока данных без увеличения площади или энергопотребления. Это, в свою очередь, облегчает перенастройку архитектуры.

Чтобы убедиться, что точность вычислений искусственного интеллекта может быть сохранена в различных архитектурах нейронных сетей, исследователи разработали набор методов совместной оптимизации аппаратных алгоритмов. Методы были проверены на различных нейронных сетях, включая сверточные нейронные сети, долговременную кратковременную память и ограниченные машины Больцмана.

Являясь нейроморфным чипом искусственного интеллекта, NeuroRRAM выполняет параллельную распределенную обработку через 48 нейросинаптических ядер. Чтобы одновременно достичь высокой универсальности и эффективности, NeuRRAM поддерживает параллелизм данных, отображая слой в модели нейронной сети на несколько ядер для параллельного вывода на нескольких данных. Кроме того, NeuRRAM предлагает параллелизм моделей, отображая разные слои модели на разные ядра и выполняя вывод конвейерным способом.

Международная исследовательская группа

Эта работа является результатом работы международной команды исследователей.

Команда Калифорнийского университета в Сан-Диего разработала схемы CMOS, которые реализуют нейронные функции, взаимодействующие с массивами RRAM, для поддержки синаптических функций в архитектуре чипа, обеспечивая высокую эффективность и универсальность. Ван, тесно сотрудничая со всей командой, внедрил дизайн; охарактеризовал чип; обучил модели искусственного интеллекта; и выполнил эксперименты. Wan также разработала набор программных инструментов, который отображает приложения искусственного интеллекта на чип.

Матрица RRAM synapse и условия ее работы были тщательно охарактеризованы и оптимизированы в Стэнфордском университете.

Матрица RRAM была изготовлена и интегрирована в CMOS в Университете Цинхуа.

Команда Нотр-Дам внесла свой вклад как в дизайн и архитектуру чипа, так и в последующую разработку модели машинного обучения и ее обучение.

Исследование началось в рамках финансируемого Национальным научным фондом проекта Expeditions in Computing по визуальной коре головного мозга на кремнии в Университете штата Пенсильвания при постоянной финансовой поддержке Управления военно-морских исследований программы Science of AI, корпорации Semiconductor Research Corporation и программы DARPA JUMP, а также корпорации Western Digital.