Чтобы измерять галлюцинации в контексте компании, нужно проверять каждое существенное утверждение по разрешённому источнику, действующему для конкретной задачи, организации и даты. Ответ целиком слишком крупная единица: в нём одновременно могут быть верный факт, допустимое предположение, неподтверждённый вывод и корректное признание нехватки данных.
Такой подход отделяет убедительную форму от доказательной основы. Ссылка сама по себе не делает вывод верным, если документ не содержит нужного смысла или относится к другой компании. Осторожный отказ тоже оценивается: он уместен при отсутствии основания, но вреден, когда подтверждённый ответ был доступен.
До сбора метрик составляют перечень рабочих вопросов. Для каждого указывают допустимые источники, владельца решения и последствия ошибки. Данные разных клиентов, подразделений и уровней чувствительности не смешивают, даже если названия и формулировки похожи.
Подготовить датированный набор вопросов и утверждений
В выборку включают стабильные сведения, быстро меняющееся состояние, неоднозначные названия, противоречивые документы, закрытые материалы и известные пробелы. Рядом сохраняют ожидаемый источник и дату его действия. Отдельно нужны вопросы, на которые система должна ответить отказом или уточнением.
Каждое утверждение размечают как подтверждённое, опровергнутое, устаревшее, неподдержанное, относящееся не к той сущности, чрезмерно уверенное или корректно отклонённое. Проверяющий читает сам источник, а не только наличие ссылки в ответе.
Чек-лист защиты данных компании полезен для определения разрешённого корпуса и ролей доступа. Он не устанавливает правила конкретной базы знаний и не подтверждает, что система правильно разделяет сведения разных организаций.
Часть примеров оставляют закрытой до финального прогона. Одновременно фиксируют снимок документов. Без временной границы свежая запись может задним числом сделать старый ответ правдоподобным, хотя в момент формирования нужного основания ещё не существовало.
Вопросы распределяют по рабочим сценариям и уровню последствий. Это защищает итог от перекоса в сторону простых справочных запросов. Если критический класс представлен несколькими примерами, ограничение отмечают прямо, а не скрывают внутри общего процента.
Показывать классы ошибок и знаменатели
Отдельно считают неподдержанные, противоречивые, устаревшие утверждения, смешение сущностей и неправильные отказы. В отчёте нужны как число ошибочных утверждений, так и число ответов хотя бы с одной существенной ошибкой. Эти показатели отвечают на разные операционные вопросы.
Тяжесть можно использовать во внутреннем решении о допуске, если метод взвешивания открыт. Самодельный индекс нельзя выдавать за отраслевой норматив. Один критический вывод о полномочиях может остановить выпуск, даже когда большинство справочных фактов размечено верно.
Связь частоты с последствиями удобно проверять через подход к готовности SOC при быстрых атаках: измерять нужно и обнаружение, и последующую реакцию. В оценке галлюцинаций также важно знать не только частоту, но и время до выявления, владельца исправления и судьбу уже переданного неверного результата.
Количественные итоги дополняют заметками проверяющих. Улучшение процента может возникнуть из-за чрезмерных отказов, упрощения набора или удаления сложных случаев. Поэтому рядом отслеживают полезное подтверждённое завершение и уместное признание неопределённости.
Повторный прогон проводится на той же версии корпуса и конфигурации, иначе сравнение теряет смысл. Изменения в источниках, маршрутизации или правилах доступа записывают отдельно. При необходимости команда создаёт новую базовую линию, но не смешивает её с предыдущей.
В отчёте отдельно перечисляют неизвестные входы и непрочитанные документы. Отсутствие наблюдения нельзя автоматически считать отсутствием ошибки в работе системы.
Связать каждую ошибку с исправляемым слоем
Для существенного сбоя определяют источник причины: отсутствующий документ, неверное правило авторитета, промах поиска, интерпретация инструкции, необоснованный вывод, дефект инструмента или неясная эталонная разметка. Исправляют самый узкий слой и повторяют замороженные кейсы.
Независимый проверяющий пересматривает критические примеры и спорные метки. Несогласие часто указывает не на слабость модели, а на неопределённую политику. Сначала уточняют контракт ответа, затем меняют систему, иначе тест начинает подстраиваться под последнего рецензента.
В таксономию стоит перенести риск, описанный в материале про уверенные ошибки ИИ: ответ звучит убедительно, хотя достаточного основания нет. Для измерения всё равно нужны собственные входы, версии источников, метки, решения проверяющего и сохранённые артефакты исправления.
Частые вопросы
Это существенное утверждение, которое опровергнуто, устарело, относится к другой сущности или не поддержано разрешёнными данными для задачи и даты.
В одном ответе могут сочетаться подтверждённые факты, допустимое предположение, неподдержанный вывод и правильное обозначение неопределённости.
Нужно показать число проверенных и ошибочных утверждений, количество ответов с существенной ошибкой, общее число ответов и состав задач.
Несогласие фиксируют как признак неясного правила, уточняют авторитет источников и эталон, после чего повторяют затронутые кейсы.
Протокол показывает известные слабые места, но не доказывает отсутствие галлюцинаций во всех задачах. Для внешней проверки протокола измерения доступны услуги MYOD.IT по кибербезопасности; выбор порогов и принятие остаточного риска остаются у владельца системы.
