Этот футуристический сценарий теперь намного ближе к реальности благодаря системе искусственного интеллекта, разработанной исследователями инженерной школы Тандон Нью-Йоркского университета, которая обещает новый инструмент для миллионов людей, желающих контролировать свой вес, диабет и другие состояния здоровья, связанные с питанием.

Технология, подробно описанная в документе, представленном на 6-й международной конференции IEEE по мобильным вычислениям и устойчивой информатике, использует передовые алгоритмы глубокого обучения для распознавания продуктов питания на изображениях и расчета их питательной ценности, включая калории, белки, углеводы и жиры.

Более десяти лет исследовательская группа пожарных Нью-Йоркского университета, в которую входят ведущий автор статьи Прабод Паниндре и соавтор Сунил Кумар, изучала критические проблемы со здоровьем пожарных и их работу. Несколько научных исследований показывают, что 73-88% профессиональных и 76-87% добровольных пожарных имеют избыточный вес или страдают ожирением, сталкиваясь с повышенными сердечно-сосудистыми и другими рисками для здоровья, которые угрожают оперативной готовности. Эти результаты непосредственно послужили толчком к разработке их системы отслеживания продуктов питания на базе искусственного интеллекта.

"Традиционные методы отслеживания потребления пищи в значительной степени основаны на самоотчетах, которые, как известно, ненадежны", - сказал Паниндре, доцент кафедры машиностроения инженерной школы Тандон Нью-Йоркского университета. "Наша система исключает человеческую ошибку из уравнения".

Несмотря на кажущуюся простоту концепции, разработка надежного искусственного интеллекта для распознавания пищевых продуктов на протяжении многих лет ставила исследователей в тупик. Предыдущие попытки были сопряжены с тремя фундаментальными трудностями, которые команда Нью-Йоркского университета Тандон, похоже, преодолела.

"Само визуальное разнообразие блюд ошеломляет", - сказал Кумар, профессор машиностроения в Нью-Йоркском университете Абу-Даби и профессор глобальной сети машиностроения в Нью-Йоркском университете Тандон. "В отличие от готовых блюд со стандартизированным внешним видом, одно и то же блюдо может выглядеть совершенно по-разному в зависимости от того, кто его приготовил. Бургер из одного ресторана мало похож на бургер из другого заведения, а домашние варианты добавляют еще один уровень сложности."

Более ранние системы также давали сбои при оценке размеров порций - важнейшего фактора в расчетах питательности. Достижением команды Нью-Йоркского университета является их функция объемных вычислений, которая использует передовую обработку изображений для точного измерения площади, занимаемой каждым блюдом на тарелке.

Система сопоставляет площадь, занимаемую каждым продуктом питания, с данными о плотности и макроэлементах, чтобы преобразовать 2D-изображения в оценку питательности. Такая интеграция объемных вычислений с моделью искусственного интеллекта позволяет проводить точный анализ без ручного ввода данных, решая давнюю проблему автоматизированного отслеживания рациона питания.

Третьим серьезным препятствием была вычислительная эффективность. Предыдущие модели требовали слишком большой вычислительной мощности, чтобы быть практичными для использования в режиме реального времени, часто требуя облачной обработки, что приводило к задержкам и проблемам конфиденциальности.

Исследователи использовали мощную технологию распознавания изображений под названием YOLOv8 с ONNX Runtime (инструмент, который помогает программам искусственного интеллекта работать более эффективно) для создания программы идентификации продуктов питания, которая запускается на веб-сайте, а не в виде загружаемого приложения, позволяя людям просто заходить на нее с помощью веб-браузера своего телефона для анализа блюд и следите за их рационом питания.

При тестировании на ломтике пиццы система подсчитала 317 калорий, 10 граммов белка, 40 граммов углеводов и 13 граммов жира - питательная ценность, которая полностью соответствовала эталонным стандартам. Столь же хорошо он показал себя при анализе более сложных блюд, таких как идли самбхар, фирменное блюдо Южной Индии, состоящее из рисовых лепешек на пару с тушеной чечевицей, для которого было подсчитано 221 калория, 7 граммов белка, 46 граммов углеводов и всего 1 грамм жира.

"Одной из наших целей было обеспечить работу системы в различных кухнях и презентациях блюд", - сказал Паниндре. "Мы хотели, чтобы в хот-доге было так же точно - 280 калорий по нашей системе, - как и в пахлаве, ближневосточном кондитерском изделии, в котором, по нашей системе, содержится 310 калорий и 18 граммов жира".

Исследователи решили проблемы с данными, объединив похожие категории продуктов питания, удалив типы продуктов со слишком малым количеством примеров и уделив особое внимание определенным продуктам во время тренировки. Эти методы помогли усовершенствовать их набор обучающих данных от бесчисленных исходных изображений до более сбалансированного набора из 95 000 экземпляров по 214 категориям продуктов питания.

Технические показатели производительности впечатляют: система достигла среднего показателя точности (mAP) 0,7941 при пересечении с пороговым значением Union (IoU), равным 0,5. Для неспециалистов это означает, что искусственный интеллект может точно находить и идентифицировать продукты питания примерно в 80% случаев, даже когда они перекрываются или частично затемнены.

Система была развернута в виде веб-приложения, которое работает на мобильных устройствах, что делает ее потенциально доступной для любого, у кого есть смартфон. Исследователи описывают свою нынешнюю систему как "доказательство концепции", которая очень скоро может быть усовершенствована и расширена для более широкого применения в здравоохранении.

Помимо Паниндре и Кумара, авторами статьи являются Пранитх Кумар Туммалапалли и Танмай Мандал, оба магистранты факультета компьютерных наук и инженерии Нью-Йоркского университета Тандон.