코인베이스: AI 지출을 거의 50% 줄였으며, 기본적으로 오픈 가중치 모델을 채택하려고 시도하고 있습니다

코인베이스 CEO 브라이언 암스트롱이 회사의 AI 비용 최적화에 대한 최신 진행 상황을 소개하는 글을 올렸습니다.

암스트롱은 AI 사용량과 토큰 소비가 지속적으로 증가함에 따라 비용을 통제하는 핵심은 직원의 사용을 제한하거나 예산 알림을 자주 보내는 것이 아니라 기본 모델 선택, 작업 라우팅 메커니즘 및 캐시 전략을 최적화하는 것이라고 밝혔습니다.

그는 코인베이스가 내부 LLM 게이트웨이를 통해 GLM 5.2, Kimi 2.7 등 오픈 가중치 모델을 기본 옵션으로 시도하고 있으며, 여전히 엔지니어가 특정 작업 요구에 따라 다른 모델을 선택할 수 있도록 허용하고 있다고 전했습니다. 데이터에 따르면, 회사의 91% 직원이 AI 사용 한도에 도달한 적이 없기 때문에 코인베이스는 할당량을 강화하는 대신 더 낮은 비용의 모델 솔루션을 통해 전체 효율성을 향상시키고 있습니다.

모델 라우팅 측면에서 코인베이스는 프롬프트 단어를 사전 처리하고 캐시 적중률 및 다양한 모델의 가격 상황을 결합하여 작업을 가장 적합한 모델에 자동으로 할당합니다. 암스트롱은 계획 및 추론과 같은 복잡한 작업은 최첨단 모델의 지원이 필요할 수 있지만, 실행 작업은 반드시 비용이 더 높은 모델을 호출할 필요는 없다고 생각합니다. 앞으로 모델 선택 과정은 더 많이 AI에 의해 자동으로 이루어져야 하며, 인적 결정에 의존해서는 안 된다고 강조했습니다.

또한 그는 캐시 적중률이 AI 비용에 영향을 미치는 중요한 요소 중 하나라고 지적했습니다. 코인베이스는 요청 프로세스에 캐시 인식 메커니즘을 통합하여 역사적 결과 재사용률을 높였습니다. LibreChat을 예로 들면, 캐시 솔루션을 최적화한 후 캐시 적중률이 5%에서 60%로 향상되었습니다.

암스트롱은 또한 회사가 엔지니어에게 가능한 한 맥락을 간결하게 유지하도록 요구하고 있으며, 여기에는 작업 전환 시 새 세션을 시작하고, 파일 맥락 범위를 축소하며, 사용하지 않는 도구를 종료하는 것이 포함되어 불필요한 토큰 소비를 줄이는 데 기여하고 있다고 밝혔습니다.

그에 따르면, 이러한 조치를 통해 코인베이스는 AI 지출을 거의 50% 줄이는 데 성공했으며, 동시에 토큰 사용량은 여전히 증가하고 있습니다.