テザーは1914億トークンのSTEMデータセットを発表し、ローカル小モデルの「説明能力」に賭けています。

Tetherの傘下にあるTether AI Researchは、本日QVAC Genesis IIIを発表しました。これは科学、技術、工学、数学分野向けの合成トレーニングデータセットで、規模は1914.3億トークン、1.596億件の文書をカバーしています。

Tetherは、このデータセットを利用して小型AIモデルの推論と教育能力を向上させ、より多くのAIアシスタントがノートパソコン、スマートフォン、ローカルサーバー上で直接動作できるようにし、大型クラウドモデルへの依存を減らすことを目指しています。

Genesis IIIはGenesis IおよびGenesis IIのデータ路線を引き継ぎ、内容は生物、化学、物理、数学、計算機科学、医学、電気工学、機械学習など19のカリキュラム関連分野をカバーし、高校、大学、専門的なアプリケーション向けに設計されています。Tetherは、このデータセットがモデルの問題解決過程の説明、誤った推論の特定と修正を重視し、最終的な答えだけを出力するのではないと述べています。

Tetherが公開したテスト結果によると、Genesis IIIオプションレベルのデータでトレーニングされた17億パラメータモデルは、関連するベンチマークテストで有効回答率99.45%を達成しました。トークン規模が同等のCosmopedia-v2トレーニングモデルと比較して、Genesis IIIはARC-Easy、ARC-Challenge、MMLU STEMベンチマークでそれぞれ28.57、21.35、15.03ポイント向上しました。