Это первый случай, когда искусственный интеллект был использован для автоматического обнаружения уязвимостей в системах такого типа, примерами которых являются Google Maps и Facebook.

Эксперты из группы компьютерной конфиденциальности Imperial рассмотрели атаки на системы на основе запросов (QBS) - управляемые интерфейсы, с помощью которых аналитики могут запрашивать данные для извлечения полезной совокупной информации о мире. Затем они разработали новый метод с поддержкой искусственного интеллекта под названием QuerySnout для обнаружения атак на QBS.

QBS предоставляют аналитикам доступ к коллекциям статистических данных, собранных на основе данных индивидуального уровня, таких как местоположение и демография. В настоящее время они используются в картах Google для отображения оперативной информации о том, насколько оживлен район, или в функции измерения аудитории Facebook для оценки размера аудитории в определенном месте или демографической группе, чтобы помочь в рекламных акциях.

В своем новом исследовании, опубликованном в рамках 29-й конференции ACM по компьютерной и коммуникационной безопасности, команда, включающая Ану Марию Крету из Института науки о данных, доктора Флоримона Хауссио, доктора Антуана Калли и доктора Ива-Александра де Монжоя, обнаружила, что мощные и точные атаки на QBS могут быть легко автоматически обнаружены на нажатие кнопки.

По словам старшего автора д-ра Ива-Александра де Монжоя: "До сих пор атаки разрабатывались вручную с использованием высококвалифицированных специалистов. Это означает, что для обнаружения уязвимостей требовалось много времени, что подвергает системы риску.

"OuerySnout уже превосходит людей в обнаружении уязвимостей в системах реального мира".

Потребность в системах, основанных на запросах

За последнее десятилетие наши возможности по сбору и хранению данных резко возросли. Хотя эти данные могут способствовать научному прогрессу, большая их часть является личной, и, следовательно, их использование вызывает серьезные опасения по поводу конфиденциальности, защищенной такими законами, как Общее положение ЕС о защите данных.

Поэтому предоставление возможности использовать данные во благо при сохранении нашего основополагающего права на неприкосновенность частной жизни является своевременным и важным вопросом для специалистов по обработке данных и экспертов по вопросам конфиденциальности.

QBS обладают потенциалом для обеспечения масштабного анонимного анализа данных с сохранением конфиденциальности. В QBS кураторы сохраняют контроль над данными и, следовательно, могут проверять и изучать запросы, отправленные аналитиками, чтобы убедиться, что возвращенные ответы не раскрывают личную информацию о физических лиц.

Однако злоумышленники-нелегалы могут обходить такие системы, разрабатывая запросы для получения личной информации о конкретных людях, используя уязвимости или ошибки реализации системы.

Тестирование системы

Риски неизвестных сильных атак "нулевого дня", когда злоумышленники извлекают выгоду из уязвимостей в системах, застопорили разработку и развертывание QBS.

Чтобы проверить надежность этих систем, аналогично тестированию на проникновение в области кибербезопасности, атаки с нарушением данных могут быть смоделированы для обнаружения утечек информации и выявления потенциальных уязвимостей.

Однако ручная разработка и реализация этих атак против сложных QBS является сложным и длительным процессом.

Таким образом, по словам исследователей, ограничение потенциала для сильных и безудержных атак имеет важное значение для того, чтобы QBS можно было эффективно и безопасно внедрять, сохраняя при этом индивидуальные права на неприкосновенность частной жизни.

Запрос без ответа

Команда Imperial разработала новый метод с поддержкой искусственного интеллекта под названием QuerySnout, который работает путем изучения того, какие вопросы задавать системе, чтобы получить ответы. Затем он учится автоматически комбинировать ответы для обнаружения потенциальных уязвимостей конфиденциальности.

Используя машинное обучение, модель может создать атаку, состоящую из набора запросов, которые объединяют ответы, чтобы раскрыть определенную часть частной информации. Этот процесс полностью автоматизирован и использует технику, называемую "эволюционный поиск", которая позволяет модели QuerySnout находить правильные наборы вопросов для задания.

Это происходит в режиме "черного ящика", что означает, что ИИ нужен только доступ к системе, но ему не нужно знать, как работает система, чтобы обнаружить уязвимости.

Соавтор исследования Ана-Мария Крету сказала: "Мы демонстрируем, что QuerySnout обнаруживает более мощные атаки, чем те, которые в настоящее время известны в реальных системах. Это означает, что наша модель искусственного интеллекта лучше, чем у людей, обнаруживает эти атаки ".

Следующие шаги

В настоящее время QuerySnout тестирует лишь небольшое количество функциональных возможностей. По словам доктора де Монжоя: "Главная задача в дальнейшем будет заключаться в расширении поиска до гораздо большего числа функциональных возможностей, чтобы убедиться, что он обнаруживает даже самые продвинутые атаки".

Несмотря на это, модель может позволить аналитикам протестировать надежность QBS против различных типов злоумышленников. Разработка QuerySnout представляет собой ключевой шаг вперед в обеспечении личной конфиденциальности по отношению к системам, основанным на запросах.

"QuerySnout: автоматизация обнаружения атак с атрибутивными помехами против систем, основанных на запросах" А. М. Крету, Ф. Хауссио, А. Калли и Ю. А. де Монжойе, опубликованных 7 ноября 2022 года в материалах конференции ACM SIGSAC по компьютерной и коммуникационной безопасности 2022 года.