BTC $63,427.76 -2.84%
ETH $1,877.47 -4.48%
BNB $565.83 -1.24%
XRP $1.05 -4.64%
SOL $73.09 -4.42%
TRX $0.3258 -1.34%
DOGE $0.0700 -3.60%
ADA $0.1568 -5.17%
BCH $213.18 -2.71%
LINK $8.30 -5.57%
HYPE $54.69 -9.36%
AAVE $97.00 -4.29%
SUI $0.6825 -4.91%
XLM $0.1712 -5.88%
ZEC $468.26 -6.73%
BTC $63,427.76 -2.84%
ETH $1,877.47 -4.48%
BNB $565.83 -1.24%
XRP $1.05 -4.64%
SOL $73.09 -4.42%
TRX $0.3258 -1.34%
DOGE $0.0700 -3.60%
ADA $0.1568 -5.17%
BCH $213.18 -2.71%
LINK $8.30 -5.57%
HYPE $54.69 -9.36%
AAVE $97.00 -4.29%
SUI $0.6825 -4.91%
XLM $0.1712 -5.88%
ZEC $468.26 -6.73%

オープンウェイト

すべて
記事
速報

hot_img ゴールドマン・サックス:中国のAI開発者は「有料ウェイト」ビジネスライセンスモデルに移行する可能性がある

ゴールドマン・サックスのアジアインターネット研究責任者ロナルド・キューンは、中国のAIモデルの世界的な使用量が急増する中で、開発者がクラウドプラットフォームに商業ライセンス料を請求し始める可能性があると述べています。現在、中国のほとんどのモデルは MIT License などの緩やかなライセンスの下で公開されており、商業用途を含め、すべてのユーザーが無料で使用、変更、ホスティングすることが許可されています。キューンは、中国のAIモデルである月の暗面のKimi K3 と智谱AIのGLM-5.2 が、アメリカのトップモデルのレベルに近づいていることを指摘しました。国内および世界の中小企業の採用速度は非常に速く、大企業も中国モデルの使用を検討し始めています。ゴールドマン・サックスは、モデル開発者が第三者サービスプロバイダーに商業ライセンスの購入を要求することで、自社のインフラ上でモデル推論を実行し、増加するオープンソースの使用を実際の収益に変換できると考えています。

コインベース:AI支出を約50%削減し、オープンウェイトモデルのデフォルト採用を試みている

CoinbaseのCEOブライアン・アームストロングは、AIコスト最適化に関する最新の進展を紹介する投稿を行いました。アームストロングは、AIの使用量とトークン消費が継続的に増加する中で、コストを管理する鍵は従業員の使用を制限したり、頻繁に予算リマインダーを送信することではなく、デフォルトモデルの選択、タスクルーティングメカニズム、キャッシュ戦略を最適化することだと述べました。彼は、Coinbaseが内部LLMゲートウェイを通じてGLM 5.2、Kimi 2.7などのオープンウェイトモデルをデフォルトオプションとして試みていることを明らかにしましたが、エンジニアが具体的なタスクのニーズに応じて他のモデルを選択することも許可しています。データによると、会社の91%の従業員はAI使用の上限に達したことがないため、Coinbaseはクォータを厳しくすることを選択せず、より低コストのモデルソリューションを通じて全体の効率を向上させています。モデルルーティングに関して、Coinbaseはプロンプトを前処理し、キャッシュヒット率や異なるモデルの価格状況を組み合わせて、タスクを最も適切なモデルに自動的に割り当てます。アームストロングは、計画や推論などの複雑なタスクには最先端モデルのサポートが必要かもしれないが、実行系のタスクは必ずしもコストの高いモデルを呼び出す必要はないと考えています。将来的には、モデル選択プロセスはより多くAIによって自動的に行われるべきであり、人工的な意思決定に依存すべきではないと述べました。さらに、彼はキャッシュヒット率がAIコストに影響を与える重要な要素の一つであることを指摘しました。Coinbaseはリクエストプロセスにキャッシュ認識メカニズムを組み込み、歴史的な結果の再利用率を向上させています。LibreChatの例を挙げると、キャッシュソリューションを最適化した後、そのキャッシュヒット率は5%から60%に向上しました。アームストロングはまた、会社がエンジニアに対して文脈をできるだけ簡潔に保つよう求めていることを述べました。これには、タスクを切り替える際に新しいセッションを開始すること、ファイルの文脈範囲を縮小すること、未使用のツールを閉じることなどが含まれ、不要なトークン消費を減らすことを目的としています。彼によれば、これらの措置を通じて、CoinbaseはAI支出を約50%削減することに成功し、同時にトークン使用量は依然として増加を維持しています。
app_icon
ChainCatcher Building the Web3 world with innovations.