Coinbase: сократила расходы на AI почти на 50%, пытается по умолчанию использовать открытую модель весов

Сообщение ChainCatcher, генеральный директор Coinbase Брайан Армстронг опубликовал информацию о последних достижениях компании в области оптимизации затрат на ИИ.

Армстронг заявил, что с ростом использования ИИ и потребления токенов ключ к контролю затрат заключается не в ограничении использования сотрудниками или частом отправлении напоминаний о бюджете, а в оптимизации выбора моделей по умолчанию, механизмов маршрутизации задач и стратегий кэширования.

Он сообщил, что Coinbase пытается использовать открытые модели с весами, такие как GLM 5.2 и Kimi 2.7, в качестве опции по умолчанию через внутренний шлюз LLM, при этом позволяя инженерам выбирать другие модели в зависимости от конкретных требований задач. Данные показывают, что 91% сотрудников компании никогда не достигали предела использования ИИ, поэтому Coinbase не выбрала ужесточение квот, а вместо этого повысила общую эффективность за счет более дешевых моделей.

В области маршрутизации моделей Coinbase будет предварительно обрабатывать подсказки и автоматически распределять задачи на наиболее подходящие модели, учитывая коэффициент попадания в кэш и цены различных моделей. Армстронг считает, что сложные задачи, такие как планирование и вывод, могут требовать поддержки передовых моделей, но задачи на выполнение не обязательно должны вызывать более дорогие модели. В будущем процесс выбора моделей должен больше зависеть от автоматизации ИИ, а не от человеческого решения.

Кроме того, он отметил, что коэффициент попадания в кэш является одним из важных факторов, влияющих на затраты на ИИ. Coinbase уже внедрила механизм, учитывающий кэш, в процесс запросов, чтобы повысить уровень повторного использования исторических результатов. Например, в случае с LibreChat, после оптимизации кэширования его коэффициент попадания в кэш увеличился с 5% до 60%.

Армстронг также заявил, что компания требует от инженеров по возможности сохранять контекст кратким, включая открытие новой сессии при переключении задач, сокращение объема контекста файлов и отключение неиспользуемых инструментов, чтобы уменьшить ненужное потребление токенов.

По его словам, благодаря вышеупомянутым мерам Coinbase удалось снизить расходы на ИИ почти на 50%, при этом объем использования токенов продолжает расти.