EU AI Act и сертификация ИИ-систем: требования для производителей и IT-компаний

EU AI Act и сертификация ИИ-систем: требования для производителей и IT-компаний

Regulation (EU) 2024/1689 on Artificial Intelligence — EU AI Act — первый в мире комплексный закон об искусственном интеллекте, вступивший в силу 1 августа 2024 года и вводящий обязательную оценку соответствия для систем ИИ, поставляемых на рынок Европейского союза или используемых в ЕС. AI Act применяется экстерриториально: он охватывает любого поставщика систем ИИ, размещающего продукт на рынке ЕС или вводящего его в эксплуатацию в ЕС, — вне зависимости от места регистрации поставщика. Это означает, что российские IT-компании, разработчики программного обеспечения с AI-компонентами, производители промышленного оборудования со встроенными AI-системами, разработчики медицинских ИИ-решений и другие поставщики AI-технологий, ориентированные на европейский рынок, подпадают под требования AI Act в полном объёме. Регламент выстроен на логике пропорционального регулирования: чем выше риск AI-системы для здоровья, безопасности и фундаментальных прав человека — тем строже требования к оценке соответствия. Для AI-систем высокого риска предусмотрена обязательная оценка соответствия с CE маркировкой — по процедуре, аналогичной существующим CE директивам, но с принципиально новыми требованиями к прозрачности алгоритмов, управлению данными и надзору со стороны человека. ISO/IEC 42001:2023 — стандарт систем менеджмента ИИ — является ключевым инструментом доказательства соответствия требованиям AI Act и практически обязательным для производителей AI-систем высокого риска.

Классификация AI-систем по уровням риска — как определить категорию своего продукта

Правильная классификация AI-системы по AI Act является первым и наиболее критичным шагом для поставщика. От категории риска полностью зависит объём обязательств: неприемлемый риск означает запрет на размещение, высокий риск — обязательную оценку соответствия с CE маркировкой, ограниченный риск — требования к прозрачности, минимальный риск — отсутствие обязательных требований.

Неприемлемый риск — запрещённые AI-практики (статья 5, обязательно с 2 февраля 2025 года). AI Act запрещает: системы скрытого манипулятивного воздействия на поведение людей, эксплуатирующие подсознательные механизмы или уязвимости; системы социального скоринга граждан государственными органами с дифференциацией прав и услуг; биометрическую категоризацию людей по защищённым признакам (политические взгляды, религия, сексуальная ориентация) в общедоступных пространствах; системы реального времени дистанционной биометрической идентификации в общедоступных пространствах правоохранительными органами (с узкими исключениями); AI-системы оценки рисков совершения преступлений на основе профилирования; системы распознавания эмоций на рабочих местах и в учебных заведениях (кроме медицинских или безопасностных применений).

Высокий риск (Приложение III, обязательно с 2 августа 2026 года). AI-системы высокого риска делятся на две группы. Первая группа — AI-системы, являющиеся компонентами безопасности продуктов, охваченных отраслевым законодательством ЕС: машинное оборудование (Machinery Regulation 2023/1230), медицинские изделия (MDR 2017/745, IVDR 2017/746), авиация, автомобили, морской транспорт, гражданская авиация, лифты. Оценка соответствия таких AI-систем интегрируется в процедуру CE маркировки по соответствующей отраслевой директиве. Вторая группа — AI-системы высокого риска по Приложению III, перечисленные напрямую в AI Act.

Ограниченный риск (статьи 50–52). AI-системы, взаимодействующие с людьми, обязаны информировать пользователей о том, что они взаимодействуют с AI: чат-боты — обязаны уведомлять о своей AI-природе; системы генерации deepfake-контента — обязаны маркировать сгенерированный контент; системы распознавания эмоций и биометрической категоризации вне запрещённых применений — обязаны уведомлять затронутых лиц. Эти требования действуют с 2 августа 2026 года.

Минимальный риск. Большинство коммерческих AI-приложений — спам-фильтры, AI-рекомендательные системы в стриминге, AI-инструменты для написания текстов, AI в видеоиграх — не подпадают под обязательные требования AI Act. Поставщики таких систем могут добровольно применять Кодексы поведения (Codes of Practice), разрабатываемые GPAI-сообществами.

GPAI-модели — отдельные требования для разработчиков больших языковых моделей

AI Act вводит отдельную категорию — General Purpose AI (GPAI) модели — для AI-систем общего назначения с очень высоким числом потенциальных применений: большие языковые модели (LLM), мультимодальные модели, модели генерации изображений и видео. Требования к GPAI-моделям применяются с 2 августа 2025 года.

Для всех GPAI-моделей: подготовка и публикация технической документации (Training data summary, описание архитектуры, оценка производительности и ограничений); соблюдение авторских прав при обучении (политика соответствия Directive 2019/790 об авторском праве); предоставление документации downstream-провайдерам (компаниям, встраивающим GPAI в свои продукты). Для GPAI-моделей с системным риском (оцениваемых по вычислительным ресурсам обучения — порог 10²⁵ FLOPs, соответствующий масштабу GPT-4 и аналогов): проведение оценки рисков модели по стандартизированным методологиям; применение мер снижения рисков; уведомление об инцидентах безопасности в European AI Office; тестирование на устойчивость к adversarial attacks. European AI Office (создан при Еврокомиссии в 2024 году) является надзорным органом для GPAI-моделей.

Требования к AI-системам высокого риска — полный перечень обязательств поставщика

Статьи 8–25 AI Act устанавливают детальные требования к AI-системам высокого риска. Это наиболее объёмная и технически сложная часть Регламента — производители таких систем обязаны выполнить весь перечень требований до размещения системы на рынке ЕС.

Статья 9 — Система управления рисками. Поставщик обязан разработать, внедрить, документировать и поддерживать систему управления рисками AI-системы на протяжении всего её жизненного цикла. Система управления рисками должна включать: идентификацию и анализ известных и разумно предсказуемых рисков для здоровья, безопасности и фундаментальных прав; оценку рисков, возникающих при предназначенном использовании и разумно предсказуемом ненадлежащем использовании; принятие мер управления рисками с остаточными рисками до приемлемого уровня; тестирование AI-системы для верификации эффективности мер управления рисками. Система управления рисками по AI Act методологически совместима с ISO 31000 (управление рисками) и ISO/IEC 42001 (управление рисками AI в разделе 6.1).

Статья 10 — Данные и управление данными. AI-системы высокого риска должны разрабатываться с использованием обучающих, валидационных и тестовых данных, соответствующих следующим требованиям: практики управления данными (data governance practices) — процедуры сбора, маркировки, хранения и обновления; анализ репрезентативности обучающих данных относительно предназначенной географии, группы пользователей и условий использования; выявление и устранение систематических ошибок (biases) в данных, которые могут привести к дискриминационным результатам; обеспечение качества данных — полнота, точность, отсутствие ошибок.

Статья 11 — Техническая документация. До размещения на рынке поставщик обязан подготовить техническую документацию, соответствующую Приложению IV AI Act. Техническая документация содержит: общее описание AI-системы (предназначенное использование, категория по Приложению III, версия); описание компонентов системы и процесса разработки; информацию об обучающих данных; описание архитектуры модели (для нейронных сетей — топология, слои, параметры); описание процесса верификации и валидации; показатели производительности (accuracy, precision, recall, F1-score и специфические метрики в зависимости от применения); известные ограничения и условия нераспространения; описание системы мониторинга после вывода на рынок. Техническая документация по AI Act структурно аналогична Technical File при CE маркировке и должна храниться 10 лет после последнего размещения системы на рынке.

Статья 12 — Ведение журналов (Logging). AI-системы высокого риска должны иметь встроенную функциональность автоматического протоколирования (logging) событий, обеспечивающую: отслеживание функционирования системы на протяжении жизненного цикла; обеспечение возможности пост-фактум мониторинга соответствия требованиям; поддержку расследования инцидентов. Операторы (пользователи) обязаны хранить логи в течение срока, определённого применимым отраслевым законодательством, но не менее 6 месяцев.

Статья 13 — Прозрачность и предоставление информации операторам. AI-системы высокого риска должны быть достаточно прозрачными, чтобы операторы могли интерпретировать выходные данные и надлежащим образом их использовать. Поставщик обязан предоставить оператору инструкцию по применению (Instructions for Use), содержащую: идентификационные данные системы; предназначенное использование и условия нераспространения; уровни производительности и известные ограничения; меры обеспечения надзора со стороны человека; меры по вводу в эксплуатацию, техническому обслуживанию и обновлению.

Статья 14 — Надзор со стороны человека (Human Oversight). AI-системы высокого риска должны быть разработаны с возможностью эффективного надзора со стороны физических лиц в период эксплуатации. Это означает: возможность оператора прерывать, останавливать или отменять решения AI-системы; интерфейс, позволяющий оператору понять принцип работы системы и обнаружить аномалии; недопустимость проектирования системы таким образом, чтобы операторы доверяли выходным данным безоглядно (automation bias).

Статья 15 — Точность, надёжность и кибербезопасность. AI-системы высокого риска должны достигать заявленного уровня точности и быть надёжными на протяжении жизненного цикла; устойчивыми к ошибкам, сбоям и несоответствиям во входных данных; защищёнными от кибератак (adversarial attacks, data poisoning, model evasion). Требования к кибербезопасности AI Act согласуются с Cyber Resilience Act 2024/2847 и рекомендациями ENISA (European Union Agency for Cybersecurity).

Процедура оценки соответствия и CE маркировка для AI-систем высокого риска

AI Act предусматривает два основных сценария оценки соответствия для AI-систем высокого риска в зависимости от того, является ли система компонентом безопасности продукта, охваченного отраслевым CE законодательством.

Сценарий 1: AI-система как компонент безопасности продукта с CE маркировкой. Применяется к AI-системам, встроенным в медицинские изделия (MDR/IVDR), машинное оборудование (Machinery Regulation), лифты, транспортные средства и другие продукты с CE маркировкой. Оценка соответствия AI-системы интегрируется в существующую процедуру оценки соответствия по отраслевому законодательству. Если отраслевой регламент требует участия нотифицированного органа (НО) — НО проводит оценку и AI-компонента. Результат — единая CE маркировка и единая декларация о соответствии, охватывающая как продукт в целом, так и его AI-компонент. Это наиболее распространённый сценарий для производителей медицинских AI-изделий, промышленных роботов с AI, умных транспортных систем.

Сценарий 2: AI-система по Приложению III, не являющаяся компонентом CE-продукта. Применяется к самостоятельным AI-системам из Приложения III (HR-AI, кредитный скоринг, биометрия, образовательные AI и другие). AI Act предусматривает два варианта оценки: самостоятельная оценка соответствия (internal conformity assessment) — поставщик самостоятельно, без участия НО, проверяет соответствие всем требованиям статей 9–15, подготавливает техническую документацию и подписывает декларацию о соответствии EU; оценка с участием нотифицированного органа — обязательна только для AI-систем биометрической идентификации (за исключением запрещённых). Для большинства AI-систем высокого риска по Приложению III самостоятельная оценка соответствия является допустимой — что принципиально отличает AI Act от ряда CE директив с обязательным участием НО для всех систем. Однако качество и верифицируемость самостоятельной оценки критически важны: надзорные органы вправе запросить техническую документацию и проверить её на соответствие требованиям AI Act.

После успешной оценки соответствия поставщик: составляет декларацию о соответствии EU (EU Declaration of Conformity) согласно Приложению V AI Act; наносит CE маркировку на AI-систему или её документацию; регистрирует AI-систему высокого риска в базе данных EU AI Act (EU database for high-risk AI systems), создаваемой Еврокомиссией. Регистрация в базе данных обязательна для AI-систем высокого риска по Приложению III до ввода в эксплуатацию или размещения на рынке.

ISO/IEC 42001:2023 — стандарт систем менеджмента ИИ как инструмент AI Act compliance

ISO/IEC 42001:2023 «Artificial intelligence — Management system» опубликован в декабре 2023 года и является первым международным стандартом, устанавливающим требования к системе менеджмента ИИ (AIMS — AI Management System) на уровне организации. Стандарт разработан ISO/IEC JTC 1/SC 42 (Artificial Intelligence) и построен по структуре High Level Structure (HLS), обеспечивающей полную совместимость с ISO 9001, ISO 27001, ISO 14001 и другими системными стандартами ISO.

ISO/IEC 42001 устанавливает требования к системе менеджмента для организаций, разрабатывающих, внедряющих или использующих AI-системы. Стандарт применим как к поставщикам AI (провайдерам), так и к операторам AI (организациям, использующим AI в своих процессах). Структура стандарта по разделам HLS: раздел 4 — контекст организации и заинтересованные стороны в части AI; раздел 5 — лидерство и AI-политика; раздел 6 — планирование, включая оценку AI-рисков и возможностей; раздел 7 — поддержка (компетентность, осведомлённость, документированная информация); раздел 8 — операционная деятельность (разработка, тестирование, развёртывание, мониторинг AI-систем); раздел 9 — оценка результатов деятельности; раздел 10 — улучшение.

Приложения к ISO/IEC 42001 содержат практически ценные элементы: Приложение A — каталог средств контроля AI-рисков (аналог Приложения A ISO 27001); Приложение B — руководство по целям и средствам контроля с комментариями; Приложение C — потенциальные цели организации в части AI; Приложение D — рассмотрение AI-систем; Приложение E — взаимосвязь с другими стандартами ISO (ISO 9001, ISO 27001, ISO 27701, ISO 31000, ISO/IEC 27090).

Процедура сертификации ISO/IEC 42001 — пошаговый порядок

Обязанности операторов AI-систем — что требуется от компаний, использующих AI

AI Act разграничивает поставщиков (providers — разрабатывают и размещают AI на рынке) и операторов (deployers — используют AI в своей деятельности). Большинство российских компаний, приобретающих AI-системы у европейских или международных поставщиков и применяющих их в своём бизнесе с воздействием на лиц в ЕС, являются операторами по AI Act и несут отдельные обязанности.

Обязанности оператора AI-системы высокого риска: применять AI-систему только в соответствии с инструкциями поставщика (Instructions for Use); обеспечить компетентность персонала, работающего с AI-системой; обеспечить надзор со стороны человека согласно техническим возможностям системы; не применять AI-систему для иных целей, чем предназначенное использование; хранить логи функционирования системы в течение установленного срока; уведомлять поставщика о выявленных рисках и инцидентах; при обработке персональных данных — проводить DPIA (Data Protection Impact Assessment) совместно с AI Impact Assessment; уведомлять работников и их представителей о применении AI-систем на рабочем месте. ISO/IEC 42001 применим и к операторам: использующие AI-системы организации могут сертифицироваться по ISO/IEC 42001 в роли оператора — что подтверждает выполнение обязанностей AI Act и является значимым сигналом для европейских партнёров и регуляторов.