Огромные вычислительные ресурсы, необходимые для обучения нейронных сетей искусственному интеллекту (ИИ), приводят к огромному энергопотреблению. Исследователи из Мюнхенского технического университета (TUM) разработали метод, который в 100 раз быстрее и, следовательно, намного энергоэффективнее. Вместо использования итеративного подхода параметры вычисляются непосредственно на основе вероятностей. Полученные на данный момент результаты сопоставимы по качеству с существующими итерационными методами.
Приложения искусственного интеллекта, такие как большие языковые модели (LLM), стали неотъемлемой частью нашей повседневной жизни. Необходимые вычислительные мощности, возможности хранения и передачи данных предоставляются центрами обработки данных, которые потребляют огромное количество энергии. Только в Германии в 2020 году это составило около 16 млрд кВт*ч, или около 1% от общего потребления энергии в стране. Ожидается, что к 2025 году этот показатель увеличится до 22 млрд кВт*ч.
Новый метод работает в 100 раз быстрее при сопоставимой точности
Появление в ближайшие годы более сложных приложений для искусственного интеллекта существенно повысит требования к пропускной способности центров обработки данных. Эти приложения будут расходовать огромное количество энергии на обучение нейронных сетей. Чтобы противодействовать этой тенденции, исследователи разработали метод обучения, который в 100 раз быстрее при достижении точности, сравнимой с существующими процедурами. Это значительно снизит энергозатраты на тренировку.
Функционирование нейронных сетей, которые используются в искусственном интеллекте для таких задач, как распознавание изображений или обработка языка, вдохновлено тем, как работает человеческий мозг. Эти сети состоят из взаимосвязанных узлов, называемых искусственными нейронами. Входные сигналы взвешиваются с учетом определенных параметров и затем суммируются. Если определенный порог превышен, сигнал передается на следующий узел. Для обучения сети первоначальный выбор значений параметров обычно рандомизируется, например, с использованием нормального распределения. Затем значения постепенно корректируются для постепенного улучшения прогнозов сети. Из-за большого количества требуемых итераций это обучение чрезвычайно требовательно и потребляет много электроэнергии.
Параметры, выбранные в соответствии с вероятностями
Феликс Дитрих, профессор машинного обучения, основанного на физике, и его команда разработали новый метод. Вместо итеративного определения параметров между узлами их подход использует вероятности. Их вероятностный метод основан на целенаправленном использовании значений в критических точках обучающих данных, где происходят большие и быстрые изменения значений. Цель текущего исследования состоит в том, чтобы использовать этот подход для получения энергосберегающих динамических систем на основе полученных данных. Такие системы меняются с течением времени в соответствии с определенными правилами и встречаются, например, в климатических моделях и на финансовых рынках.
"Наш метод позволяет определить требуемые параметры с минимальными вычислительными мощностями. Это может значительно ускорить обучение нейронных сетей и, как следствие, повысить энергоэффективность", - говорит Феликс Дитрих. "Кроме того, мы увидели, что точность нового метода сравнима с точностью итеративно обученных сетей".
Комментарии