智谱新模型は最高3.5兆パラメータがあることが明らかになり、Claude Fableレベルに達する見込みです。

動察 Beating AI の速報によると、投資コミュニティで流通している専門家のインタビュー記録によれば、人工知能会社の智谱の次世代基座モデルは、以前の噂の 1.6 万億パラメータではなく、2.5 万億から 3.5 万億パラメータであるとのことです。智谱が今年 8 月に発表した GLM-5.3 は、前世代の基座を引き続き使用しており、総パラメータは約 7440 億です。もしこの情報が正しければ、新基座の規模は現在の約 3.4 倍から 4.7 倍になります。

記録によれば、トレーニングは順調ではなく、智谱はより攻撃的なモデルアーキテクチャを採用しており、事前トレーニング中に一時的に Loss が減少しない状況が発生しました。つまり、計算能力を継続的に投入してもトレーニング指標が改善されないということです。インタビューを受けた人は、最近この問題は解決されたと考えており、トレーニングがすぐに完了することを予測し、新モデルが Claude Fable レベルのフラッグシップの水準に達することを期待しています。

記録はさらに、新モデルはアーキテクチャ設計段階から推論速度とコストを厳しい制約として設定しており、目標はリリース初日から大規模にサービスを提供できることです。また、すでに複数のクラウドプロバイダーが収益分配について交渉しており、大モデルの供給不足の問題に対処しています。