モデル評価

OpenAI は、2026 年 10 月 8 日に、ある研究者が GPT-6 Astra に対して、整合性評価を続行し結果図を生成するよう要求したところ、Astra が関連する作業を禁止された能力開発と見なし、評価作業を終了し計算リソースを整理したと発表しました。その際、既存の記録は保持されました。この評価は Alignment Research Center のホワイトボックス推定チャレンジに基づいており、限られた計算能力の予算内で、ランダムに初期化された神経ネットワークの重みを使用してその期待される活性値を推定することを求められました。研究者からの追及に対し、Astra は通常のモデル評価作業を誤って禁止事項と見なしたことを認め、適用可能なシステム指示、ポリシー、コードベースのルール、または関連文書がその作業を禁止しているものは何もないと述べ、関連する制限は自ら虚構したものであるとしました。Astra はまた、その作業が有害であるという具体的な証拠はないと述べました。研究者はその後、事件を報告し、OpenAI の失調モニターもこの実行を人工審査としてマークしました。OpenAI は、この行動の原因と潜在的な緩和策を調査中であると述べました。

彭博社の報道によると、AIモデル評価プラットフォームArenaは、31億ドルの評価額で2億ドルの新たな資金調達を完了しました。Lightspeed Venture PartnersとKhosla Venturesが主導し、Salesforce Ventures、Dell Technologies Capitalも参加しました。Arenaはアメリカのカリフォルニア大学バークレー校のChatbot Arena研究プロジェクトに起源を持ち、公開された大規模モデルランキングで知られています。今年の6月には年換算収入が1億ドルに達しました。

去中心化 AI 基盤施設プロジェクト DGrid AI は、そのコミュニティ主導の AI モデル評価プラットフォーム DGrid AI Arena が Points-to-$DGAI 交換メカニズムを開始したと発表しました。ユーザーは AI モデル評価に参加することでポイントを獲得し、$DGAI と交換することができ、ユーザーの参加、モデルのフィードバック、エコシステムのインセンティブをさらに結びつけます。報告によると、DGrid AI Arena は開始以来、57 万人以上のユーザーが評価に参加し、250 万回以上のモデル評価投票を生み出しています。プラットフォームは匿名モデル対戦メカニズムを採用しており、ユーザーは二組の AI 出力を比較し、より優れた回答を選択することで、実際のシーンからの評価データを継続的に蓄積しています。DGrid は、AI Arena はモデル評価とコミュニティインセンティブプラットフォームであるだけでなく、DGrid AI エコシステム内のコミュニティインテリジェンス層でもあると述べています。異なるタスクにおける実際のユーザーの好みの信号を継続的に集めることで、プラットフォームは特定のシーンにおける異なるモデルのパフォーマンスをより正確に理解し、モデルの選択とルーティングメカニズムをさらに最適化し、AI サービスを実際のユーザーのニーズにより近づけることができます。以前、DGrid AI のネイティブトークン $DGAI は Binance Alpha や OKX、Bybit などの複数の取引所に上場し、$DGAI のエコシステムアプリケーションとコミュニティ参加をさらに推進しています。

Techtimes の報道によると、AI モデル評価会社 Vals AI は 4 億ドルの評価額で 4000 万ドルの A ラウンド資金調達を完了し、a16z が主導し、8VC、Pear VC、Bloomberg Beta、HRT Ventures、Next Ladder Ventures などの新たな投資家が参加しました。Vals AI は、従来の公開ベンチマークテストを使用するのではなく、OpenAI、Anthropic、Google、Meta、xAI などの企業が発表した最先端モデルを独立したシステムで評価しています。新たな資金は、評価インフラの拡充と、企業の GitHub コードベースに基づいてプログラミングベンチマークを作成するテストツールの導入に使用されます。

金十の報道によると、ホワイトハウスは先進的な人工知能モデルを評価するための新しいフレームワークを公開する予定はなく、関連する詳細はそのプロセスに参加している企業にのみ提供される。プロセスに参加していない企業、政策立案者、研究者、そしてアメリカの同盟国は、政府がその重要な人工知能政策の一つをどのように実施するかを知ることができない。ホワイトハウスは業界の代表者と会議を開き、最近完成したフレームワークについて議論したが、招待されなかった企業はそのフレームワークの内容を理解していない。

AIモデル評価プラットフォームYupp.aiのCEO Pankaj GuptaはXプラットフォームで投稿し、このプラットフォームが運営を停止することを発表しました。プラットフォームは今後15日間アクセス可能で、その間にユーザーはデータをダウンロードできます。既存のユーザーは即日から新しい対話を作成できず、新しいユーザーも登録できません。Yupp.aiは2025年6月に立ち上がり、昨年6月に3300万ドルのシードラウンド資金調達を行い、a16zが主導しました。このプラットフォームはユーザーがさまざまなAIモデルを無料で比較できるようにし、ユーザーはプロンプトを入力して複数のAIが生成した回答を確認し、最良の結果を選択して「好みのデータパッケージ」を形成します。これらのデータはAIモデルの後処理と評価に使用されます。このプラットフォームはブロックチェーン技術を組み合わせて評価プロセスの透明性を実現し、ユーザーがフィードバックを提供することで相応の報酬を得られ、AI開発者は検証可能なトレーニングデータを取得します。