Классификацию ошибок ИИ-агента строят по этапу процесса, наблюдаемому проявлению, последствиям, обнаружимости и восстановлению. Общая метка галлюцинация почти бесполезна. Она не показывает, был ли неверным источник, отсутствовало правило, сломался инструмент или сотрудник пропустил предупреждение.
Хорошая система терминов связывает продукт, разработку, безопасность и владельца операции. Каждая категория должна менять расследование, контроль либо тест. Если две метки всегда приводят к одному действию и эксперты постоянно их путают, различие стоит пересмотреть.
Разложите работу агента по этапам
Опишите цепочку от события до конечной записи: приём запроса, идентификация, проверка права, получение контекста, планирование, ответ модели, валидация, вызов инструмента, проверка человеком, внешнее действие и подтверждение. Ошибка может возникнуть раньше, чем станет заметной.
Устойчивые семейства включают вход и личность, источник и поиск, инструкцию и политику, неподтверждённое утверждение, выбор инструмента, параметры вызова, полномочия, состояние, передачу человеку, место назначения и журнал доказательств.
Базовый чеклист защиты данных компании помогает проверить права и хранение. Для агента его дополняют категориями модели, инструментов, маршрутизации и контроля результата.
Опишите границы каждой категории
Для метки задайте определение, условие включения, исключение, пример, контрпример, ориентир критичности и вероятного владельца. Источник, которого нет в индексе, отличается от найденного документа, проигнорированного моделью. Отклонённый инструмент не равен вызову с опасным аргументом.
Один случай может иметь основной код и сопутствующие причины. Истёкший токен вызывает отказ инструмента, но отсутствие безопасного возврата превращает его в потерянную заявку. Основной код описывает то, что определило итог, а дополнительные сохраняют причинную цепочку.
Критичность назначают по последствиям: раскрытие, действие без права, финансовый ущерб, остановка важной операции, масштаб, обратимость и задержка обнаружения. Нелепый ответ, заблокированный до использования, может быть менее опасен, чем правдоподобная ошибка в целевой системе.
Материал о готовности SOC к скорости атак полезен для обсуждения обнаружения и эскалации. Он не определяет уровень защищённости конкретного агента без испытаний его контура.
Свяжите метки с контролями
Начните с фактических сбоев теста и почти случившихся инцидентов. Затем добавьте ожидаемые сценарии с высоким ущербом. Два специалиста независимо размечают часть набора. Разногласия показывают пересечение терминов, отсутствие категории или неясный ожидаемый результат.
Частоту считают только с подходящим знаменателем. Пять ошибок на пятьдесят допустимых операций нельзя сравнивать с пятью обращениями из неизвестного потока. В отчёте сохраняют источник выборки, период, версию и исключения.
У каждой категории появляется способ обнаружения, ограничение, исправление и регрессионный случай. Для устаревшего документа нужен контроль свежести. Повторное внешнее действие связывают со стабильным идентификатором операции. При слабой эскалации задают обязательный маршрут и требуют подтверждения приёма.
Рекомендации в статье про правила против выдуманных фактов помогают формировать один раздел классификации. Они не закрывают ошибки прав, состояния, инструментов и восстановления.
Версионируйте словарь и не переписывайте старые инциденты. При объединении или разделении меток сохраняют таблицу соответствия. Иначе изменение статистики может оказаться следствием нового определения, а не улучшения агента.
Схема остаётся компактной. Категорию добавляют, когда она помогает принять другое решение, назначить иной контроль или создать отдельный тест. Длинный каталог без владельцев не улучшает безопасность.
Карточка инцидента содержит идентификатор задачи, версию агента, основную и дополнительные метки, наблюдаемое последствие, обнаруживший контроль, способ восстановления и связанные артефакты. Содержимое чувствительных данных не копируют без необходимости.
Проверяющие получают короткую инструкцию с примерами на границе категорий. Периодически они размечают одинаковую выборку и обсуждают расхождения. Цель встречи заключается не в принудительном единогласии, а в уточнении правила и ожидаемого результата.
Сигналы классификации связывают с журналами и очередями реагирования. Критический код создаёт событие для ответственного владельца, а повторяющийся некритичный случай может открыть задачу на изменение интерфейса или источника.
Отчёт показывает не только частоту, но и время обнаружения, восстановление и незакрытые исключения. Это не позволяет объявить улучшение лишь потому, что команда стала реже использовать старую метку.
Для старых записей сохраняют исходный код и версию словаря. Переклассификация допускается отдельным событием с объяснением, чтобы аналитик видел историческое и новое толкование.
Частые вопросы
Она связывает наблюдаемый сбой с этапом, последствиями, способом обнаружения, восстановлением и ответственным владельцем.
Да, если есть основная причина результата и отдельно отмеченные сопутствующие факторы с понятными правилами кодирования.
Оценивайте последствия для процесса, права, данные, обратимость и время обнаружения, а не внешнюю странность ответа.
После значимого инцидента, смены модели или инструмента, а также при регулярных разногласиях проверяющих.
Для проверки контура, прав, журналов и сценариев реагирования можно использовать услугу кибербезопасности. Результат относится к заданной конфигурации и не является обещанием отсутствия любых будущих ошибок.
