Корпоративное управление ИИ: практическое руководство по созданию надёжных ИИ-систем
Отсутствие корпоративного управления ИИ становится ограничением, с которым компании сталкиваются при внедрении и масштабировании искусственного интеллекта. Они инвестируют в пилотные проекты, внедряют инструменты в разных командах, но останавливаются, как только юридическая служба или совет директоров задаёт вопрос: «Кто это одобрил?»
Без выстроенной системы управления ИИ даже перспективные пилотные проекты могут остановиться на этапе масштабирования: как только возникают вопросы об ответственности, безопасности и соблюдении требований, дальнейшее внедрение становится сложнее. Многие компании сталкиваются с проблемами при масштабировании ИИ из-за недостаточного контроля рисков, безопасности и соблюдения требований.
В этом руководстве представлена практическая система управления ИИ, которая помогает обеспечить последовательное управление рисками, снижать риск предвзятости моделей и сохранять контроль над ИИ-проектами по мере роста их числа.
Что такое корпоративное управление ИИ?
Корпоративное управление ИИ – это система стандартов, правил и механизмов контроля, которая определяет, как компания разрабатывает, внедряет, контролирует и выводит из эксплуатации ИИ-системы, чтобы обеспечить их безопасное и ответственное использование в масштабах организации.
При правильной организации такая система определяет, где ИИ можно использовать, а где его применение недопустимо, помогает управлять рисками, связанными с данными и моделями, снижать предвзятость, обеспечивать объяснимость результатов и закреплять за каждой ИИ-системой ответственное лицо.
Иными словами, управление ИИ превращает экспериментальную технологию в инструмент, который можно ответственно использовать в масштабах компании.
Почему именно сейчас? Корпоративное управление ИИ как фактор риска и конкурентное преимущество
Спросите технического директора, почему важны стандарты управления ИИ, и он скажет, что они позволяют увереннее и быстрее масштабировать технологии. Спросите специалиста по соблюдению нормативных требований – и речь пойдёт о предотвращении штрафов и проблем при аудите. Оба будут правы, но каждый рассматривает лишь часть общей картины. Сегодня актуальность корпоративного управления ИИ определяется сразу тремя факторами:
- ИИ вышел за пределы экспериментальной среды. Технология уже прошла этап экспериментов и применяется в обслуживании клиентов, маркетинге, разработке продуктов, финансах, закупках, разработке программного обеспечения, управлении персоналом и операционной деятельности. Решения с применением ИИ теперь напрямую влияют на клиентов и сотрудников, доверие к бренду и финансовые результаты.
- Требования к разработке и применению ИИ продолжают развиваться. Компаниям необходимо учитывать применимое законодательство РФ, требования к обработке и защите персональных данных, требования в области информационной безопасности, отраслевые нормы и внутренние политики. Несоблюдение отдельных применимых требований может повлечь ответственность, предусмотренную законодательством.
- Управление позволяет масштабировать ИИ. Выстроенная система управления помогает масштабировать ИИ последовательно, повторно использовать утверждённые правила и проверки и снижать объём ручного согласования каждого нового сценария. Чёткая классификация рисков, повторно используемые правила и автоматизированные проверки позволяют быстрее внедрять ИИ, не выстраивая систему соблюдения требований заново для каждого нового сценария применения.
Семь стратегических компонентов корпоративной системы управления ИИ
Чтобы эффективно использовать ИИ, компаниям необходима система управления, охватывающая стратегию, практическую реализацию и постоянный контроль. Опираясь на опыт Cronit в корпоративных ИИ-проектах, мы выделили семь компонентов, которые позволяют реализовать принципы ответственного использования ИИ на практике.
1. Согласование стратегии ИИ с бизнес-целями и архитектура политик
Управление без привязки к бизнес-целям рискует превратиться в лишнюю бюрократию, которая только замедляет работу. Согласование стратегии начинается с того, что руководство определяет, каким бизнес-целям должен служить ИИ и какой уровень риска организация готова принять. От этого зависят все последующие действия:
- реестр сценариев применения ИИ с указанием того, какие системы используются, где и с какой целью;
- классификация ИИ-инициатив по уровню риска – низкому, среднему или высокому;
- внутренние политики компании в области ИИ, определяющие допустимые способы использования ИИ-инструментов, критерии оценки безопасности сторонних моделей и требования к их закупке.
2. Управление рисками на протяжении всего жизненного цикла ИИ
Риски меняются вместе с этапами жизненного цикла ИИ-системы. На ранних стадиях проблемы могут быть связаны с низким качеством обучающих данных, отсутствием необходимых правовых оснований для обработки персональных данных или скрытой предвзятостью. Во время разработки риски могут возникать из-за небезопасного поведения модели или недостаточного тестирования. После выхода в промышленную эксплуатацию на первый план могут выйти дрейф модели, недостоверные ответы, злонамеренно сформированные входные данные или бизнес-логика, которая перестала соответствовать реальным условиям.
Лучше установить высокие требования с самого начала и перенести оценку рисков на ранние этапы проекта. Специалисты по безопасности должны подключаться к работе в начале проекта, а затем повторно участвовать в оценке при изменении модели, архитектуры, данных, конфигурации сторонних решений или нормативных требований.
Перевести принципы управления в практические процессы помогают внутренние политики компании, применимые требования законодательства и стандарты в области искусственного интеллекта. Практическая система управления должна охватывать инвентаризацию ИИ-систем, оценку рисков и последствий их применения, тестирование, показатели качества, планы реагирования на инциденты, распределение ответственности, внутренние политики и обучение сотрудников.
В качестве дополнительной основы для построения системы управления можно использовать международный стандарт ISO/IEC 42001, устанавливающий требования к системе менеджмента искусственного интеллекта. Компании, уже использующие систему менеджмента информационной безопасности на основе стандарта ISO/IEC 27001, могут опираться на существующие процессы документирования, внутреннего аудита и управления рисками.
3. Соблюдение требований российского законодательства и отраслевых норм
Регулирование ИИ всё больше превращается в совокупность различных требований. Российским компаниям необходимо учитывать требования законодательства РФ, применимые к используемым данным, информационным системам и конкретной отрасли. Особое внимание требуется уделять обработке персональных данных, информационной безопасности и требованиям, действующим в регулируемых сферах.
Требования могут различаться в зависимости от отрасли, характера обрабатываемых данных, особенностей ИИ-системы и последствий её применения. Поэтому корпоративную систему управления ИИ лучше строить на единых принципах и механизмах контроля, дополняя их требованиями, применимыми к конкретной отрасли и бизнес-процессу.
На практике это означает создание единого набора механизмов контроля, которые сопоставляются с применимыми требованиями законодательства, отраслевыми нормами и внутренними политиками компании. По мере изменения законодательства и отраслевых требований такую систему можно актуализировать, вместо того чтобы каждый раз выстраивать её заново.
4. Обеспечение качества данных
Инфраструктура данных, созданная до широкого распространения ИИ, проектировалась прежде всего для хранения и пакетной обработки информации. Добавлять поверх такой основы систему управления ИИ и рассчитывать, что она сможет надёжно поддерживать автономную работу ИИ в режиме реального времени, – всё равно что строить на песке.
Большинство проблем с управлением ИИ, которые мы наблюдаем на практике, связано не с поведением моделей, а с неконтролируемыми данными: нарушенной трассируемостью, отсутствием необходимых правовых оснований для обработки данных и неустановленной ответственностью за данные.
Для выстраивания соблюдения требований при использовании корпоративного ИИ необходима надёжная основа данных, которая включает:
- трассируемость данных, позволяющую определить источник информации;
- отслеживание подтверждённого происхождения данных на всех этапах их преобразования;
- стандарты качества данных, обеспечивающие их точность и полноту;
- чёткие правила определения и документирования правовых оснований обработки данных;
- проверку обучающих наборов данных на предвзятость;
- каталогизацию метаданных;
- учёт требований к защите данных и конфиденциальной информации уже на этапе проектирования.
5. Ответственность и контроль со стороны человека
По мере распространения ИИ по подразделениям ответственность за управление им оказывается распределена между уже существующими ролями. Инженерная команда отвечает за модель, команда по работе с данными – за процессы обработки данных, продуктовая команда определяет рабочий процесс, а специалисты по соблюдению требований отвечают за соответствующие политики. Но когда возникает проблема, не всегда ясно, кто несёт ответственность за результат. Корпоративное управление ИИ невозможно возложить на одну должность: необходима многоуровневая система ответственности, охватывающая все виды деятельности, связанные с ИИ:
- команды по разработке ИИ и машинному обучению управляют рисками на уровне разработки: проверяют обучающие данные, документируют решения, связанные с моделью, и контролируют поведение системы в промышленной эксплуатации;
- менеджеры по рискам и специалисты по управлению ИИ осуществляют независимый контроль и проверяют эффективность мер, внедрённых инженерными командами;
- служба внутреннего аудита периодически проверяет, работают ли меры контроля на уровнях разработки и надзора так, как предусмотрено, и сообщает результаты руководству;
- руководитель направления ИИ определяет общий подход для всех трёх уровней.
Для ИИ-систем, способных существенно влиять на бизнес-процессы, сотрудников, клиентов или принимаемые решения, целесообразно предусматривать обязательный контроль со стороны человека. Степень участия человека следует определять с учётом уровня риска и возможных последствий решения:
- предварительный контроль: специалист проверяет и утверждает значимые решения до того, как система выполнит соответствующее действие;
- текущий контроль: система выполняет разрешённые действия самостоятельно, а специалист контролирует процесс и может остановить его при возникновении проблемы.
Выбор степени контроля с учётом риска позволяет не перегружать проверками процессы с низким уровнем риска и сохранять обязательное участие специалиста в значимых решениях, не замедляя каждый рабочий процесс с применением ИИ.
6. Обучение сотрудников и управление изменениями
Сотрудники уже используют ИИ независимо от того, существует ли в организации официальная программа его внедрения. У одних сформировались правильные практики работы, другие экспериментируют таким образом, что создают риски для безопасности, конфиденциальности или качества. Задача компании – установить единые стандарты безопасного и эффективного использования ИИ.
Централизованные программы обучения и переобучения помогают устранить этот разрыв и сформировать общую базу, включающую:
- внутренние правила, в том числе перечни разрешённых инструментов и требования к допустимому использованию ИИ;
- практики защиты данных и обеспечения кибербезопасности в рабочих процессах с применением ИИ;
- порядок передачи нестандартных ситуаций ответственным специалистам.
Дополнительное преимущество такого подхода заключается в том, что понимание принципов работы технологии и её практической пользы может снизить сопротивление сотрудников изменениям.
7. Постоянный мониторинг и соблюдение требований
Управление ИИ нельзя выстроить один раз и больше к нему не возвращаться. Используемые модели меняются, поставщики обновляют инструменты, появляются новые сценарии применения ИИ и нормативные требования. Поэтому необходимо регулярно корректировать как механизмы управления ИИ, так и корпоративные требования к соблюдению установленных правил.
Постоянный мониторинг дрейфа моделей и данных, недостоверных ответов, предвзятости, уязвимостей безопасности и рисков для конфиденциальности – именно так на практике реализуется непрерывное совершенствование системы управления ИИ.
Рекомендуемая периодичность:
- пересматривать политики после каждого существенного изменения системы;
- проводить внутренние проверки с периодичностью, установленной с учётом уровня риска, внутренних политик и применимых требований, а между ними использовать автоматизированный мониторинг;
- проводить внешние аудиты в соответствии с требованиями выбранной системы сертификации.
Проверенные подходы к корпоративному управлению агентным ИИ
Интерес компаний к агентному ИИ растёт, однако его внедрение требует более строгого контроля, чем использование отдельных инструментов генеративного ИИ. Подходов к управлению, разработанных для генеративного ИИ, недостаточно для систем, которые принимают многоэтапные решения и выполняют действия в реальной бизнес-среде. Компании, которые стремятся эффективно использовать агентный ИИ и контролировать связанные с ним риски, должны закладывать механизмы управления уже на этапе разработки ИИ-агентов.
Поскольку ИИ-агенты могут выполнять действия непрерывно и с высокой скоростью, механизмы контроля также должны работать автоматически. Поэтому традиционных мер контроля недостаточно:
- Автономность с учётом уровня риска. ИИ-помощник для поиска информации и агент по закупкам, который может согласовывать закупки, связаны с разными рисками. Агентов следует классифицировать по уровню автономности, влиянию на бизнес и типу риска, а затем устанавливать соответствующую степень контроля.
- Обязательные ограничения и меры контроля. Если меры контроля носят рекомендательный характер, их могут обходить, что приводит к появлению неучтённых ИИ-агентов. Для агентного ИИ такие механизмы, как оценка и классификация рисков, автоматизированные проверки соблюдения требований, мониторинг предвзятости и проверка достоверности информации, должны быть обязательными.
- Контролируемое взаимодействие между агентами. Чем больше неконтролируемых каналов доступа к инструментам и данным получают ИИ-агенты, тем сложнее контролировать поверхность атаки. Стандартизированные шлюзы, доступ с учётом контекста и разрешения, задаваемые политиками, позволяют сохранять проверяемость взаимодействий между несколькими агентами.
- Прозрачность и наблюдаемость на уровне отдельных агентов. У каждого ИИ-агента должны быть определены ответственное лицо и уникальный идентификатор, позволяющий отслеживать действия агента. Без этого невозможно восстановить последовательность многоэтапных действий, которые агенты выполняют в разных системах. А сбои, которые невозможно расследовать, нельзя полноценно проанализировать и предотвратить в дальнейшем.
- Механизмы аварийного отключения и планы отката. К моменту обнаружения проблемы агент уже может выполнить транзакции, отправить электронные письма или изменить записи. Поэтому возможность остановить агента во время выполнения действия, отменить выполненные изменения или восстановить состояние системы должна быть предусмотрена ещё до запуска в промышленную эксплуатацию.
- Ответственность человека за значимые решения. Начинать следует с ограниченной автономности, сохраняя ответственность человека за значимые решения. Расширять полномочия агента стоит только после того, как мониторинг подтвердит, что его поведение остаётся предсказуемым и безопасным в течение длительного периода эксплуатации.
Агентный ИИ требует одновременно контролировать множество аспектов: идентификацию агента, доступные ему данные и системы, разрешённые действия, условия вмешательства человека и способы устранения последствий ошибок. Создание полноценной системы контроля собственными силами может оказаться сложной задачей. Партнёр с уже выстроенной системой управления агентным ИИ может сократить сроки подготовки решения к промышленной эксплуатации, снизить риски и упростить дальнейшее управление.
Самодиагностика управления ИИ: на каком этапе находится ваша компания?
Перед созданием системы управления агентным и генеративным ИИ полезно определить исходную точку. Ответы на следующие десять вопросов займут около минуты и помогут выявить основные пробелы:
- ведёте ли вы единый реестр всех сценариев применения ИИ в организации;
- распределена ли ответственность за управление ИИ между уровнями разработки, независимого контроля и аудита с указанием конкретных ответственных лиц;
- можете ли вы проследить происхождение и путь данных, используемых вашими ИИ-системами;
- могут ли специалисты по соблюдению требований определить уровень риска ИИ-системы с учётом внутренней классификации и применимых нормативных требований;
- запускаются ли механизмы управления автоматически в процессе разработки модели или требуют ручной проверки;
- определён ли порядок передачи нестандартных случаев специалистам при непредвиденном поведении ИИ в промышленной эксплуатации;
- внесены ли ваши ИИ-агенты в единый реестр с указанием идентификаторов, ответственных лиц и границ полномочий;
- можете ли вы остановить ИИ-агента во время выполнения действия и отменить уже выполненные изменения;
- установлен ли регулярный порядок пересмотра и обновления политик управления ИИ;
- прошли ли сотрудники структурированное обучение по ответственному использованию ИИ и правилам применения разрешённых инструментов.
По результатам этой экспресс-оценки один-два положительных ответа указывают на начальный уровень зрелости, три-четыре – на наличие отдельных процессов, пять и более – на сформированную основу системы управления ИИ. Следующая задача – сделать меры контроля последовательными, автоматизированными и обязательными для исполнения.
От теории к практике: пошаговая дорожная карта корпоративного управления ИИ
У каждой компании своя отправная точка. Одни уже используют ИИ-системы в промышленной эксплуатации, но не имеют выстроенной системы контроля. У других существуют внутренние политики, которые не успевают за темпами внедрения командами новых инструментов. Представленный ниже процесс разработки системы управления ИИ подходит для разных уровней зрелости и разбивает внедрение корпоративного управления ИИ на последовательные практические этапы.
1. Проведите инвентаризацию и классифицируйте все сценарии применения ИИ
Первый шаг – определить, чем именно предстоит управлять. Для этого необходимо сформировать полную картину использования ИИ в организации:
- провести аудит всех ИИ-инструментов, моделей и агентов, используемых в компании;
- создать единый реестр с информацией о назначении каждой системы, ответственном лице и данных, с которыми она работает;
- присвоить каждой системе уровень автономности и категорию риска по утверждённой в компании системе классификации.
2. Определите и закрепите принципы ответственного использования ИИ
Чёткие принципы задают направление, но для практического применения их необходимо закрепить во внутренних политиках компании:
- определить, что означает ответственное использование ИИ для организации: справедливость, прозрачность, ответственность, безопасность и конфиденциальность;
- преобразовать эти принципы в практические требования для команд: правила допустимого использования ИИ, стандарты закупки и оценки поставщиков, требования к обработке данных и критерии оценки сторонних моделей;
- получить одобрение высшего руководства и закрепить ответственность за выполнение установленных правил, поскольку без явной поддержки руководства установленные принципы и политики рискуют остаться только на бумаге.
3. Создайте операционную модель управления ИИ
Во многих организациях принципы ответственного использования ИИ пока существуют преимущественно на уровне отдельных политик и процессов и ещё не встроены во все рабочие процессы. Одна из причин – разрозненные процессы управления без чётко распределённой ответственности. Чтобы этого избежать, необходимо определить, кто принимает решения, кто применяет меры контроля и кто проверяет их эффективность:
- назначить руководителя, для которого корпоративное управление ИИ будет основной зоной ответственности, а не дополнительной обязанностью;
- сформировать межфункциональный комитет по управлению ИИ с участием руководителей бизнеса, специалистов по данным и ИИ, юридической службы и подразделения закупок для согласования политик и решений по контролю;
- разделить функции реализации и обеспечения качества на операционном уровне, чтобы ни один участник не контролировал все процессы и ИИ-активы без независимой проверки;
- начать с централизованной модели управления для обеспечения единообразия и ответственности, а по мере развития практик перейти к федеративной или гибридной модели, в которой бизнес-подразделения смогут учитывать особенности своих процессов.
4. Автоматизируйте управление ИИ в масштабах компании
Корпоративное управление ИИ не должно зависеть исключительно от ручных проверок. Задача – встроить механизмы управления в процессы так же, как автоматизированное тестирование встроено в современную разработку программного обеспечения.
- встроить контрольные точки управления в процессы непрерывной интеграции и непрерывной доставки (CI/CD), чтобы необходимые проверки выполнялись при изменении кода, моделей и конфигурации до развёртывания решения;
- автоматизировать рутинные операции: сбор подтверждающих материалов для аудита, плановые проверки на предвзятость, формирование отчётности о соблюдении требований, ведение журналов работы системы и сохранение данных, необходимых для объяснения результатов;
- настроить информационные панели для мониторинга дрейфа моделей и данных, снижения эффективности и нарушений установленных политик;
- отслеживать ключевые показатели эффективности управления, например время от передачи модели на проверку до разрешения на промышленную эксплуатацию, частоту инцидентов и количество выявленных и устранённых несоответствий требованиям за отчётный период.
5. Внедрите специальное тестирование и проверку ИИ-систем
Стандартное тестирование программного обеспечения не охватывает специфические для искусственного интеллекта сценарии сбоев. Базовый набор проверок должен включать:
- тестирование на недостоверные ответы;
- проверку устойчивости к внедрению вредоносных инструкций в запросы;
- проверку на токсичный и недопустимый контент;
- проверку соблюдения прав интеллектуальной собственности, включая авторские права.
При внедрении агентного ИИ необходимо дополнительно тестировать границы полномочий ИИ-агентов и их взаимодействие в системах из нескольких агентов.
6. Организуйте непрерывный мониторинг системы управления
Нормативные требования меняются, поэтому система корпоративного управления ИИ должна развиваться вместе с ними. Следующие меры помогают не допустить устаревания внутренних политик:
- постоянно отслеживать изменения российского законодательства и отраслевых требований, применимых к деятельности компании;
- сопоставлять новые требования с действующими механизмами контроля, чтобы своевременно выявлять пробелы;
- документировать изменения политик и обеспечивать их доведение до всех затронутых сотрудников;
- регулярно проверять, продолжают ли действующие меры контроля соответствовать обновлённым нормативным требованиям;
- учитывать результаты аудитов и инцидентов при дальнейшем обновлении политик, чтобы система управления совершенствовалась с учётом практического опыта.
Корпоративное управление ИИ как основа безопасного масштабирования
Корпоративное управление ИИ пока находится на достаточно раннем этапе развития, поэтому компании, которые выстроят его сейчас, могут получить преимущество перед теми, кто только начинает разбираться в этом вопросе. Организации, которые рассматривают управление как систему, которую необходимо последовательно развивать и совершенствовать, могут быстрее масштабировать ИИ, системнее управлять рисками и заранее готовить необходимые материалы для внутренних и внешних проверок.
Для начала не нужна идеальная система. Необходимы реестр используемых ИИ-систем, принципы, закреплённые во внутренних политиках, а также распределённая ответственность с назначенными владельцами ИИ-систем и ответственными за контроль. На этой основе можно выстраивать всё остальное. Компания по разработке ИИ-решений, в процессах которой механизмы управления предусмотрены изначально, может помочь быстрее выстроить такую систему.
Часто задаваемые вопросы
В чём разница между управлением ИИ и соблюдением требований при его использовании?
На что опираться при создании корпоративной системы управления ИИ?
На практике корпоративная система управления ИИ формируется с учётом законодательства, отраслевых требований, особенностей бизнес-процессов, используемых данных и внутренних критериев риска. Её необходимо актуализировать по мере изменения требований и развития используемых технологий.
Сколько времени занимает внедрение системы управления ИИ?
Затем создаётся инфраструктура управления: автоматизированные механизмы контроля, мониторинг и журналы аудита интегрируются в существующую ИИ-инфраструктуру компании. Срок этого этапа зависит от количества ИИ-систем в промышленной эксплуатации и разнообразия используемых технологий, но обычно составляет не менее трёх месяцев.
Какие требования необходимо учитывать при корпоративном управлении ИИ в России?
Компаниям необходимо определить требования, применимые к конкретному сценарию, оценить риски использования ИИ, закрепить соответствующие меры контроля во внутренних процессах и обеспечить их выполнение.
Как оценить окупаемость инвестиций в управление ИИ?
Потенциальный экономический эффект включает снижение затрат на устранение последствий инцидентов, подготовку проверок и выполнение повторяющихся контрольных процедур, а также снижение юридических и репутационных рисков. Эффективность повышается за счёт автоматизации отчётности о соблюдении требований, сокращения объёма ручных проверок и повторного использования уже собранных подтверждающих материалов. Скорость вывода ИИ-функций на рынок увеличивается, когда новые решения проходят проверку, согласование и развёртывание в рамках единого процесса, а не требуют создания отдельной системы управления для каждого проекта.
Какие роли необходимы в системе управления ИИ?
Если компания разрабатывает продукты и ИИ-агентов, специалисты по искусственному интеллекту и машинному обучению должны отвечать за реализацию и техническую проверку механизмов контроля на уровне моделей.
По мере развития системы такие функции корпоративной платформы управления ИИ, как автоматизированный мониторинг и ведение журналов аудита, могут сократить объём ручной работы. Однако ответственность за значимые решения должна оставаться за человеком.
В чём разница между SCORM и xAPI?
Интерфейс регистрации учебного опыта (Experience API, xAPI), соответствующий стандарту IEEE 9274.1.1-2023, позволяет фиксировать различные виды учебной активности, включая работу в мобильных приложениях, симуляции и выполнение задач на рабочем месте. Данные записываются в формате «участник – действие – объект» и передаются в хранилище учебных записей (Learning Record Store, LRS), которое может находиться как внутри LMS, так и за её пределами.
xAPI и хранилище учебных записей создают более полную информационную основу для адаптивных систем обучения на базе ИИ.