Baiduオープンソース文心 5.5 Flash、総パラメータ 2800億
百度は、文心 ERNIE-5.5-Flash-Base モデルの重みをオープンソース化しました。2025年6月の文心4.5シリーズ以来、約16か月ぶりに百度は千億パラメータ級の大モデルを再びオープンソース化しました。その間にリリースされた文心5.0と5.1はオープンソース化されていません。文心5.5 Flashは推論効率を重視しており、総パラメータは2800億で、1つのトークンを生成するごとに140億パラメータのみが活性化され、33.5兆トークンを使用してゼロから事前トレーニングされています。このモデルは最大100万トークンの推論コンテキストをサポートしています。百度は長文処理メカニズムを再設計し、43層のネットワークのうち37層が128個の履歴トークンを1つのキャッシュレコードに圧縮し、残りの6層は元の内容に対する精密な検索能力を保持して、長文処理のメモリと計算コストを削減しています。公式はこれをDeepSeek-V4-Flash-Base、Tencent Hy3-preview-Base、小米 MiMo-V2.5-Baseと統一評価し、30のベンチマークテストのうち24項目で1位を獲得しました。今回オープンされるのは、未訓練および後訓練の純テキストベースモデルで、主に開発者が分野の微調整、指示トレーニング、強化学習を続けるためのものです。百度は、後訓練された文心5.5 Flashが後にリリースされると述べています。ライセンスは前世代よりも厳格で、文心4.5はApache 2.0ライセンスを採用していましたが、5.5 Flashはカスタムライセンスに変更され、EU、英国、韓国での使用は許可されていません。関連製品またはサービスが過去12か月間に5000万ドル以上の収益を上げた場合、商用前に百度の書面による許可を別途取得する必要があります。
