BTC $83,095.78 -1.69%
ETH $2,649.15 -2.15%
BNB $763.64 -1.36%
XRP $1.48 -2.66%
SOL $118.69 -2.17%
TRX $0.3335 +0.10%
DOGE $0.0930 -3.78%
ADA $0.2456 -3.81%
BCH $308.49 -9.52%
LINK $13.82 -2.91%
HYPE $88.80 -4.39%
AAVE $149.30 -4.18%
SUI $1.20 +0.17%
XLM $0.2090 -3.61%
ZEC $1,549.23 -6.51%
AAPL $340.57 +0.09%
AMZN $249.04 -0.24%
GOOGL $341.65 -0.54%
MSFT $515.94 -0.40%
META $731.97 -2.08%
NVDA $223.52 -0.46%
TSLA $369.61 -0.73%
SNDK $1,719.98 -2.93%
INTC $118.98 -4.28%
SPCX $149.06 +0.33%
MU $1,058.78 -2.85%
AMD $613.70 -2.48%
BTC $83,095.78 -1.69%
ETH $2,649.15 -2.15%
BNB $763.64 -1.36%
XRP $1.48 -2.66%
SOL $118.69 -2.17%
TRX $0.3335 +0.10%
DOGE $0.0930 -3.78%
ADA $0.2456 -3.81%
BCH $308.49 -9.52%
LINK $13.82 -2.91%
HYPE $88.80 -4.39%
AAVE $149.30 -4.18%
SUI $1.20 +0.17%
XLM $0.2090 -3.61%
ZEC $1,549.23 -6.51%
AAPL $340.57 +0.09%
AMZN $249.04 -0.24%
GOOGL $341.65 -0.54%
MSFT $515.94 -0.40%
META $731.97 -2.08%
NVDA $223.52 -0.46%
TSLA $369.61 -0.73%
SNDK $1,719.98 -2.93%
INTC $118.98 -4.28%
SPCX $149.06 +0.33%
MU $1,058.78 -2.85%
AMD $613.70 -2.48%

開放權重模型

全部
文章
快訊

Coinbase:已將 AI 支出削減近 50%,正嘗試默認採用開放權重模型

ChainCatcher 消息,Coinbase CEO Brian Armstrong 發文介紹公司在 AI 成本優化方面的最新進展。Armstrong 表示,隨著 AI 使用量和 Token 消耗持續增長,控制成本的關鍵並非限制員工使用或頻繁發送預算提醒,而是優化默認模型選擇、任務路由機制以及快取策略。他透露,Coinbase 正透過內部 LLM 網關嘗試將 GLM 5.2、Kimi 2.7 等開放權重模型作為默認選項,同時仍允許工程師根據具體任務需求選擇其他模型。數據顯示,公司 91% 的員工從未達到 AI 使用額度上限,因此 Coinbase 並未選擇收緊配額,而是透過更低成本的模型方案提升整體效率。在模型路由方面,Coinbase 會對提示詞進行預處理,並結合快取命中率及不同模型的定價情況,將任務自動分配給最合適的模型。Armstrong 認為,規劃和推理等複雜任務可能需要前沿模型支持,但執行類任務未必需要調用成本更高的模型。未來,模型選擇過程應更多由 AI 自動完成,而非依賴人工決策。此外,他指出快取命中率是影響 AI 成本的重要因素之一。Coinbase 已將快取感知機制納入請求流程,以提高歷史結果重用率。以 LibreChat 為例,在優化快取方案後,其快取命中率已從 5% 提升至 60%。Armstrong 還表示,公司要求工程師儘量保持上下文精簡,包括切換任務時開啟新會話、縮小文件上下文範圍以及關閉未使用工具等,以減少不必要的 Token 消耗。據其透露,通過上述措施,Coinbase 已成功將 AI 支出降低近 50%,同時 Token 使用量仍保持增長。
app_icon
ChainCatcher 與創新者共建Web3世界