OpenAI считает токены — и входящие, и исходящие. Это знают все. Но большинство перерасходов происходит не из-за объёма задач, а из-за нескольких архитектурных решений, принятых в спешке.
System prompt в каждом запросе без оптимизации
Команды часто вставляют в system prompt весь контекст — правила, примеры, описание продукта. Если этот блок занимает 800 токенов, а запросов в день 5 000 — это 4 миллиона токенов только на инструкции. Стоит измерить, сколько из них реально влияют на качество ответа. Часто можно убрать треть без потери результата.
Отсутствие кэширования идентичных запросов
Если пользователи задают похожие вопросы — например, FAQ по продукту — каждый запрос уходит в API заново. Семантический кэш через библиотеку вроде GPTCache или простое хранение пар вопрос-ответ в Redis снижает количество реальных вызовов API в несколько раз на типичных сценариях поддержки.
Выбор модели без анализа задачи
GPT-4o стоит заметно дороше GPT-3.5-turbo. Для классификации, извлечения структурированных данных или простых ответов на типовые вопросы разница в качестве минимальна. Прогони одну и ту же выборку через обе модели и сравни результаты на своих данных — это занимает день, но даёт конкретные цифры для решения.
Контроль расходов на LLM API начинается не с лимитов в настройках, а с понимания, где именно токены тратятся впустую.