80% счёта за ИИ это контекст, а не ответы

Когда счёт за работу ИИ растёт быстрее, чем отдача от него, дело почти всегда не в выборе модели. Платформы берут деньги за токены, то есть за объём текста на входе и выходе. Если вы отправляете в модель много текста, вы платите больше. Если вы отправляете один и тот же текст повторно, вы платите за него снова.

Отсюда ощущение, что компания платит дважды: один раз за саму модель, второй раз за всё то, что собрано вокруг неё. По нашему опыту основная часть расходов приходится не на ответы модели, а на контекст, который в неё загоняют. Это и есть та статья затрат, которой можно управлять без потери качества.

Сначала чините поиск, потом трогайте модель

RAG, то есть генерация с опорой на поиск по вашим данным, на демонстрации выглядит просто. В продакшене это в основном работа с поиском, а не с моделью. Если поиск находит не те фрагменты, никакая, даже самая дорогая, модель в конце цепочки этого не исправит.

Практический вывод для руководителя простой. Качество поиска нужно измерять как полноценную метрику, а не оценивать на глаз по тому, нравятся вам ответы или нет. Если система не может стабильно доставать нужные 3 to 10 фрагментов под запрос, прекращайте наращивать функции и приведите в порядок сам поиск.

Что это значит для бизнеса. Команды часто оплачивают подписку на более мощную модель, надеясь поднять качество, хотя корень проблемы в слабом поиске. Это прямые потери: деньги уходят на дорогую модель, а результат не меняется, потому что на вход ей подают нерелевантный контекст.

Ваше реальное преимущество это инфраструктура контекста

Продукты с автономными агентами на словах выглядят как работа с моделью. На деле это системы поиска и подготовки контекста, у которых модель стоит в самом конце. Сборка такой системы это месяцы инженерной работы и понятные слои: загрузка данных, поиск и генерация ответа.

Сложность здесь не в эмбеддингах. Сложность в постоянной синхронизации данных из разных источников, в том чтобы определять, что именно изменилось, и не платить за повторную обработку того, что не менялось. Простой приём вроде хеширования данных позволяет не пересчитывать неизменные фрагменты и не жечь бюджет впустую.

Отсюда вывод по управлению. Относитесь к контексту как к собственной платформе данных. Контролируйте загрузку, отслеживание изменений и индексацию сами. Если отдать это на сторону, вы арендуете собственное конкурентное преимущество, а вместе с ним и зависимость от подрядчика, который в любой момент может поднять цену или уйти.

Не обновляйте RAG вслепую, выбирайте компромисс осознанно

Существуют продвинутые приёмы поиска, и у каждого есть своя цена. Например, HyDE решает реальную проблему: вопрос пользователя часто не похож по смыслу на правильный ответ, поэтому простой поиск тянет нерелевантный контекст. HyDE сначала генерирует гипотетический ответ и ищет уже по нему, что повышает точность. Но за это вы платите ростом задержки и дополнительными обращениями к модели.

Практический вывод. Применяйте такие тяжёлые приёмы только там, где ошибочный ответ дорого обходится бизнесу, а пользователь готов подождать лишние секунды. Во всех остальных случаях сначала наведите порядок в нарезке текста на фрагменты, в переранжировании результатов и в фильтрах. Это дешевле и часто даёт больший эффект.

Рычаги, которые срезают счёт без потери качества

Помимо поиска есть набор приёмов, которые напрямую сокращают расходы. Каждый из них это не теория, а конкретное управленческое решение.

• Сжимайте контекст, а не задачу. Уменьшайте объём текста, который уходит в модель, но не урезайте саму цель. Меньше токенов на входе это меньше денег за каждый запрос.
• Кэшируйте стабильное и перестаньте платить дважды. То, что не меняется от запроса к запросу, нет смысла пересылать в модель заново. Кэширование убирает повторную оплату одного и того же текста.
• Задавайте структуру ответа, чтобы не перезапускать вызовы. Когда модель обязана вернуть результат в заданном формате, вы реже переспрашиваете и реже платите за повторные обращения из за непригодного ответа.
• Выбирайте способ добавить знания осознанно, а не по умолчанию через дообучение. Дообучение модели это не первый и не всегда нужный шаг. Часто дешевле и быстрее правильно подать знания через поиск по вашим данным.
• Если дообучаете, считайте память и стоимость по взрослому. Дообучение оправдано в части задач, но это отдельная статья расходов на ресурсы и сопровождение, которую надо планировать заранее.

За всеми этими пунктами одна мысль. Ваш продукт это не один вызов модели, а система вызовов. Управляя этой системой, вы управляете и счётом.

Итог

Если задача в том, чтобы сохранить деньги компании, прекратите спор о том, какая модель умнее. Начните управлять контекстом: токенами, кэшированием, структурой ответов и качеством поиска. Это те рычаги, на которых лежит основная часть счёта, и именно они дают экономию без потери результата.

Мы готовы посмотреть на вашу инфраструктуру и показать, где именно уходят деньги и качество. Запишитесь на бесплатный технический аудит инфраструктуры по адресу https://myod.it/contacts: мы разберём ваш контур работы с ИИ и данными и предложим конкретные шаги по сокращению расходов.