オープンウェイトモデル

CoinbaseのCEOブライアン・アームストロングは、AIコスト最適化に関する最新の進展を紹介する投稿を行いました。アームストロングは、AIの使用量とトークン消費が継続的に増加する中で、コストを管理する鍵は従業員の使用を制限したり、頻繁に予算リマインダーを送信することではなく、デフォルトモデルの選択、タスクルーティングメカニズム、キャッシュ戦略を最適化することだと述べました。彼は、Coinbaseが内部LLMゲートウェイを通じてGLM 5.2、Kimi 2.7などのオープンウェイトモデルをデフォルトオプションとして試みていることを明らかにしましたが、エンジニアが具体的なタスクのニーズに応じて他のモデルを選択することも許可しています。データによると、会社の91%の従業員はAI使用の上限に達したことがないため、Coinbaseはクォータを厳しくすることを選択せず、より低コストのモデルソリューションを通じて全体の効率を向上させています。モデルルーティングに関して、Coinbaseはプロンプトを前処理し、キャッシュヒット率や異なるモデルの価格状況を組み合わせて、タスクを最も適切なモデルに自動的に割り当てます。アームストロングは、計画や推論などの複雑なタスクには最先端モデルのサポートが必要かもしれないが、実行系のタスクは必ずしもコストの高いモデルを呼び出す必要はないと考えています。将来的には、モデル選択プロセスはより多くAIによって自動的に行われるべきであり、人工的な意思決定に依存すべきではないと述べました。さらに、彼はキャッシュヒット率がAIコストに影響を与える重要な要素の一つであることを指摘しました。Coinbaseはリクエストプロセスにキャッシュ認識メカニズムを組み込み、歴史的な結果の再利用率を向上させています。LibreChatの例を挙げると、キャッシュソリューションを最適化した後、そのキャッシュヒット率は5%から60%に向上しました。アームストロングはまた、会社がエンジニアに対して文脈をできるだけ簡潔に保つよう求めていることを述べました。これには、タスクを切り替える際に新しいセッションを開始すること、ファイルの文脈範囲を縮小すること、未使用のツールを閉じることなどが含まれ、不要なトークン消費を減らすことを目的としています。彼によれば、これらの措置を通じて、CoinbaseはAI支出を約50%削減することに成功し、同時にトークン使用量は依然として増加を維持しています。