ИИ-агента нужно измерять по бизнес-результатам, которые принимает ответственный сотрудник, а не по числу сообщений, вызовов инструментов или выполненных шагов. Полезная система метрик связывает каждый случай с владельцем решения, правилом приёмки, затратами на исправление и последствиями для клиента или безопасности. Так становится виден агент, который демонстрирует активность, но создаёт дополнительную работу.
Стройте дерево метрик от принятого результата
Начните с события, которое запускает работу, и состояния бизнеса, которое её завершает. Для агента поддержки единицей может быть обращение, которое после проверки остаётся закрытым. Для агента продаж это может быть запись, принятая на следующий этап без ручной очистки. Определите единицу до выбора панели показателей, иначе целью станет то, что проще всего посчитать.
Назначьте владельца бизнеса, который принимает или отклоняет результат. Разделяйте случаи по типу, риску и сложности, чтобы большой объём простых задач не скрывал ошибки на важных. Правила против выдуманных фактов агента полезны и для метрик: каждый заявленный эффект должен вести к исходной записи, понятному расчёту и независимой проверке.
У практического дерева метрик есть один главный показатель и несколько защитных. Главным может быть стоимость принятого бизнес-результата. Защитные показатели показывают, не достигнут ли результат за счёт переноса работы или риска на другую команду. Сравнивайте принятые результаты с повторно открытыми случаями, исправлениями, исключениями, временем цикла, стоимостью и ущербом.
- Результат: целевое состояние бизнеса достигнуто и принято владельцем.
- Исправление: человеку пришлось изменить ответ агента до приёмки.
- Исключение: случай вышел из автоматического пути из-за правила, данных или инструмента.
- Последствие: решение затронуло клиента, обязательство, платёж или защищённую запись.
Учитывайте долг исправлений и исключений
Ручное исправление входит в стоимость агента, даже если его выполняет соседняя команда. Записывайте, кто исправил результат, что изменилось и сколько времени потребовалось. Исключения анализируйте отдельно. Высокая доля исключений может быть оправдана для редких или рискованных случаев, но её нельзя выдавать за успешную автоматизацию.
Проверяйте агента на типичных и трудных случаях, а не на гладкой демонстрации. Сохраняйте исходные данные, предложение агента, ответ инструмента, решение проверяющего и итоговое состояние. Если агент закрывает обращения, которые клиенты открывают снова, повторное открытие относится к тому же окну измерения. Тесты готовности команды помогают убедиться, что владельцы и правила приёмки определены до масштабирования.
Пересматривайте метрики с учётом последствий. Для ошибки в низкорисковой классификации допустим один порог, для неверного платежа или обещания клиенту нужен другой. Заранее задайте условие остановки для каждой категории. Если качество падает, исправления растут или нарушается граница безопасности, агент временно теряет полномочия.
Принимайте решение по доказательствам
На каждом разборе задавайте три вопроса. Растёт ли число принятых результатов без скрытого ручного труда? Попадают ли в исключения именно те случаи, которые команда хотела оставить людям? Улучшаются ли стоимость и время цикла без ухудшения качества и безопасности? Панель, которая не отвечает на эти вопросы, показывает активность, а не результат.
Важно и доказательство завершения. Три вопроса перед покупкой ИИ возвращают разговор к измеримой задаче и владельцу решения. В запись об измерении добавьте целевое состояние и независимое чтение из системы, которая им владеет. Рассказ агента не должен попадать в число принятых результатов без такой проверки.
Заранее определите периодичность разбора. В начале пилота проверяйте небольшие партии часто, пока команда уточняет классы случаев и причины отказов. После стабилизации можно перейти к регулярной выборке, но опасные последствия и новые типы задач разбирайте отдельно. Смена модели, инструмента, источника данных или правила бизнеса возвращает более строгую проверку. Это не наказание для агента, а способ не переносить старую уверенность на изменившийся процесс.
Частые вопросы
Главным сделайте стоимость бизнес-результата, принятого владельцем процесса, а не число сообщений, вызовов инструментов или шагов.
Добавляйте трудозатраты на исправления к стоимости работы, разбирайте исключения по типу и последствиям и не считайте их принятым результатом.
Рост числа сообщений, вызовов инструментов и выполненных шагов без принятых бизнес-результатов показывает подмену пользы активностью.
В неё должно входить дерево метрик со стоимостью принятого результата, исправлениями, исключениями и отдельными ограничениями качества и безопасности.
Итоговый артефакт представляет собой дерево метрик с определениями, владельцами, источниками данных, периодичностью разбора и условиями отказа. Оно должно быть достаточно простым, чтобы оператор применил его к следующей партии случаев. Каждое определение должно одинаково пониматься исполнителем и независимым проверяющим. Команды, которым нужна помощь с оценкой, полномочиями и производственными проверками, могут обсудить внедрение ИИ с MYOD.IT. Ссылка на услугу не является доказательством качества текущего агента.
