Подход к экономике LLM-продуктов
Самая частая ошибка при запуске LLM-продуктов — думать: «Сначала сделаем, а потом разберёмся с цифрами». На практике, это -почти всегда приводит к перерасходу бюджета и необходимости переделывать архитектуру уже на ходу.Чтобы этого избежать, нужно правильно рассчитывать затраты на LLM-сценарии до начала разработки: стоимость токенов, инструментов и масштабирования под реальные бизнес-метрики.
При расчёте экономики важную роль играют токены. 💡 Токен — это базовая единица текста, с которой работает модель (часть слова, слово или группа символов). Экономика работы LLM складывается из количества input-токенов (входные токены — всё, что вы отправляете в модель) и output-токенов (выходные токены — всё, что модель генерирует).
В Yandex AI Studio экономика формируется ещё и из дополнительных шагов сценария. Это могут быть вызовы инструментов, которые агент использует для выполнения задачи: например, WebSearch для поиска актуальной информации, File Search для подстановки фрагментов документов, обращения к внешним API или другим сервисам.
Каждый такой шаг увеличивает общее число токенов или добавляет отдельные платные операции.Также важно учитывать накладные расходы: автоматические повторные вызовы модели при ошибках, повторные генерации при неудачном ответе, логирование запросов (если требуется) и ответов для отладки, а также дополнительные технические шаги внутри сценария.
💡 Вся информация для модели считается не в символах, а в токенах. Каждый лишний токен в системном промпте, который вызывается 50 000–100 000 раз в месяц, — это реальные убытки на счёте.📚 Узнать подробнее о ценовой политике Yandex AI Studio можно в документации.
Кейс Marshrut
В этом курсе вы будете рассматривать процессы на примере кейса вымышленной компании Marshrut.
В этом курсе не разбирается, почему порог именно ≤ 7 руб. и как точно считается экономический эффект с учётом зарплат и других расходов. Это упрощение — оно нужно, чтобы сосредоточиться на управлении затратами в агентских сценариях.Менеджер продукта Саша из Marshrut видит такой сценарий работы с сервисом:1️⃣ Опрос предпочтений пользователя.2️⃣ Поиск билетов (внешний поиск).3️⃣ Поиск отелей-партнёров со скидкой по внутренней базе.4️⃣ Финальная генерация эссе-маршрута по всем данным.На уровне пользовательского опыта этот сценарий выглядит простым и логичным. Но даже в такой понятной цепочке скрыты технические и экономические нюансы: то, что приемлемо на PoC, в продакшене быстро превращается в неконтролируемые операционные расходы.Более рациональный путь — сначала разложить сценарий на шаги, посчитать стоимость одного составленного маршрута, выбрать подходящие модели и инструменты под каждый шаг и заложить оптимизации ещё до начала разработки.Далее — короткий тест, он поможет вам закрепить материал.
0 комментариев