Безопасность искусственного интеллекта (AI Security)

Стремительное внедрение технологий искусственного интеллекта (ИИ) в бизнес-процессы, критическую инфраструктуру и повседневные сервисы создает не только новые возможности, но и принципиально новые вызовы для информационной безопасности. Традиционные подходы к защите, основанные на контроле периметра и сигнатурном анализе, оказываются недостаточными для противодействия угрозам, специфичным для ИИ-систем:

• внедрение промптов (Prompt Injection) ‒ атака, при которой злоумышленник внедряет скрытые инструкции в пользовательский запрос, заставляя модель выполнить нежелательные действия или раскрыть конфиденциальную информацию;
• отравление данных (Data and Model Poisoning) ‒ внедрение вредоносных данных в обучающую выборку для искажения поведения модели;
• утечка системного промпта (System Prompt Leakage) ‒ получение доступа к скрытым инструкциям, определяющим поведение модели.

Выявление данных угроз, в свою очередь, выполняется путем регулярных тестирований на проникновение (AI Red Teaming) и опирается на глобальные таксономии: MITRE ATLAS и OWASP LLM Top-10.

Для комплексного управления этими рисками разработана концепция AI TRiSM (Trust, Risk and Security Management) ‒ доверие, управление рисками и безопасность ИИ. Эта концепция объединяет весь спектр решений, необходимых для обеспечения надежности, безопасности и соответствия регуляторным требованиям ИИ-систем на протяжении всего их жизненного цикла. Концепция охватывает четыре ключевые области:

• объяснимость и мониторинг (Explainability & Model Monitoring);
• управление жизненным циклом (ModelOps);
• безопасность ИИ-приложений (AI Application Security);
• конфиденциальность и защита данных (Privacy & Data Protection).

Особое значение в условиях появления автономных ИИ-агентов приобретает расширенный уровень контроля ‒ безопасность ИИ-агентов (Agentic AI Security). Автономные агенты способны вызывать инструменты, принимать решения и делегировать задачи, что требует нового класса мер безопасности: контроля вызовов инструментов (tool call governance), валидации цепочек делегирования (delegation chain enforcement) и управления идентичностью агентов (agent identity). Эти меры выходят за рамки четырех классических столпов AI TRiSM и формируют самостоятельное направление.

Ключевыми преимуществами внедрения специализированных решений AI TRiSM являются: предотвращение атак на ИИ-модели и приложения, обеспечение прозрачности и подотчетности решений ИИ, соблюдение требований регуляторов и отраслевых стандартов, включая ФСТЭК (в т. ч. уровни доверия и УЗ-1), а также укрепление доверия к системам на основе ИИ. В условиях активного импортозамещения и перехода на отечественные ИИ-решения российские организации нуждаются в локализованных подходах к безопасности ИИ, учитывающих национальные особенности регулирования и ландшафта угроз.