Согласовывать действия ИИ без торможения процессов можно, если распределить операции по последствиям, обратимости и качеству подтверждающих сведений. Обычные операции, выполняемые с минимально необходимыми правами, можно автоматизировать. Часть случаев проверяется выборочно. Перед существенным действием процесс приостанавливается, а согласующий получает краткий пакет сведений для принятия решения. Участие человека требуется при платежах, изменении доступа, принятии внешних обязательств, работе с чувствительными данными и изменениях в производственной среде.
Согласовывайте действие до наступления последствий
Проверяйте не каждый ответ модели, а действие. Агент может подготовить резюме без отдельного разрешения, но должен остановиться перед изменением данных в исходной системе. Он может подготовить письмо, но не отправить клиенту. Он может подготовить платёжное поручение, но не может отправить платёж. Так человек сохраняет полномочия без лишних кликов.
Для каждого уровня задайте технические условия. Для автоматического уровня нужны разрешённый инструмент, ограниченная область действия, действующая учётная запись, актуальные правила и возможность отката. На наблюдаемом уровне операция выполняется с выборочной проверкой. На контролируемом уровне она выполняется только после согласования уполномоченным владельцем процесса. Запрещённые действия остаются недоступными. Высокая уверенность модели не даёт ей дополнительных полномочий.
Перед запуском полезно проверить готовность команды и процесса. Материал про три теста внедрения ИИ помогает определить владельца, надёжный источник данных и критерий результата. Без них согласующий не сможет понять, что именно он подтверждает.
Дайте согласующему все сведения для решения
Покажите предлагаемое действие, целевой объект, учётную запись инициатора, источник, результаты автоматической проверки правил, существенные отличия от обычного сценария, ожидаемые последствия, способ отката и неустранённые сомнения. Уберите лишние объяснения модели. Согласующий должен быстро понять, что именно предлагается сделать и почему решение требуется сейчас.
Доступы должны ограничивать саму возможность операции. Чеклист защиты данных компании помогает проверить права, активы и резервирование. Для агента дополнительно задаются разрешённый инструмент, тип объекта, среда и срок действия расширенных прав.
Делегируйте полномочия по роли, категории данных, виду действия и рабочей среде. Назначьте замену основному согласующему. Не используйте автоматическое одобрение по истечении срока ожидания. Высокорисковая операция должна безопасно остановиться или ждать в очереди, а малозначимый запрос можно закрыть по истечении срока и сформировать заново.
Измеряйте задержку вместе с качеством контроля
Собирайте время ожидания, причины отказа, просроченные запросы, попытки обойти процесс, недостающие доказательства, повторные исправления и инциденты после решения. Быстрый процесс с плохо подготовленными сведениями превращает согласование в формальное нажатие кнопки. Медленный поток мелких запросов побуждает искать обходные пути.
Записи о согласованиях должны помогать мониторингу. Статья о том, готов ли центр мониторинга к быстрым атакам, подчёркивает важность контекста. Свяжите запрос, решение человека, действие инструмента и подтверждение выполнения одним идентификатором.
Выборочная проверка помогает уточнять правила автоматического выполнения. Изучайте пограничные случаи, попытки обойти правила, неожиданные данные и операции, которые пользователи позже отменили вручную. Расширяйте права только после подтверждённых результатов проверки. Для временного исключения указывайте владельца и срок, чтобы временное разрешение не стало постоянным.
Предусмотрите для очереди согласования и сценарии отказа. Повторные запросы к одному объекту не должны создавать несколько независимых разрешений. Если источник, правила или состояние объекта изменились, прежнее решение теряет силу. Проверяющему нужен отдельный способ запросить недостающие сведения без риска случайно одобрить действие. Если после согласования изменились получатель, сумма, требуемые права, среда или целевой объект, создаётся новый запрос с обновлённым пакетом сведений.
После восстановления сервиса не запускайте все накопившиеся операции одной волной. Повторно проверьте учётную запись инициатора, актуальность правил, свежесть доказательств и текущее состояние объекта. Для просроченного запроса безопаснее сформировать новое предложение, чем выполнять устаревший запрос в уже изменившейся системе. Анализируйте причины ожидания в очереди и сообщайте командам о повторяющихся ошибках в пакетах. Тогда скорость растёт за счёт лучшей подготовки и точного маршрута, а не за счёт формального нажатия кнопки человеком, который не видит контекст.
Назначьте отдельного владельца правил маршрутизации и отдельного владельца для каждого существенного решения. Владелец правил маршрутизации отвечает за корректную работу уровней, очередей, сроков и технических ограничений. Владелец конкретного решения наделён полномочиями принять его и отвечает за последствия. При сбое не должно возникать спора о полномочиях: заранее определите, кто приостанавливает поток, кто сообщает пользователям и кто разрешает возобновление. После инцидента проверяйте, был ли запрос направлен правильному человеку и хватило ли сведений для осмысленного решения. По итогам обновите правило, интерфейс или полномочия, назначьте ответственного и дату проверки.
Показывайте согласующему его текущую область полномочий прямо в интерфейсе. Если запрос выходит за пределы полномочий по категории данных, рабочей среде или типу действия, система должна перенаправить его, а не позволять человеку случайно подтвердить недопустимую операцию. Учитывайте такие перенаправления при анализе задержек.
Частые вопросы
Разрешайте операции с низким риском, минимально необходимыми правами, ограниченной областью действия, возможностью отката и актуальными правилами.
Человек должен подтверждать платежи, изменение доступа, внешние обязательства, раскрытие чувствительных данных, изменения в производственной среде, удаление и другие трудно обратимые действия.
Нужны действие, объект, учётная запись инициатора, источник, результаты проверки правил, существенные отличия, ожидаемые последствия, способ отката и неустранённые сомнения.
Улучшайте пакеты сведений, точно делегируйте полномочия, выборочно проверяйте операции низкого риска и расширяйте автоматизацию только на основании подтверждённых результатов.
Чтобы переработать уровни согласования, пакеты сведений и подтверждения выполнения действий, закажите аудит кибербезопасности действующих ИИ-процессов.
