AnthropicのCEOが安全に関する疑問に長文で応じ、技術の最前線を維持する必要があると述べた。

Anthropicは最近、アメリカ合衆国の議員にAI安全法案の草案を提出し、アメリカのAI安全派から疑問を呈されました。草案では、政府が危険なモデルを緊急に停止するための高いハードルが設定されており、リスクは生物兵器、サイバー攻撃、またはAIの制御喪失などの状況に関連し、50人以上の死亡または重傷、または10億ドル以上の損失を引き起こす可能性があるとされています。一部の条項は州政府の規制権限を制限する可能性もあります。

AI安全組織Encode AIの戦略責任者Nathan Calvinは、その後、Anthropicの過去1年間の決定を整理しました。今年の2月、同社は元々厳格だった安全ポリシーを修正しました。以前は、安全対策がモデルの能力に追いつかない場合、トレーニングやリリースを一時停止することを約束していましたが、新しいポリシーでは、同社がより高いリスク段階で独自に研究開発を停止することを要求しなくなりました。その理由は、競合他社がその隙を突いて追い越す可能性があるからです。同時期に、同社は巨額の計算能力を投入し、チップチームを結成し、Claudeにより多くのAI研究開発タスクを担わせました。

10月21日、AnthropicのCEO Dario AmodeiはX上で長文を発表し、反論しました。彼は同社がいくつかの誤りを犯したことを認めましたが、最先端のAI能力を追求することが安全ミッションに反していないと主張し、同社は上昇競争を追求していると述べました。技術の最前線に留まることで、業界の安全基準を引き上げる能力があるとしています。彼は、同社が商業的な代償を払った九つの安全決定を挙げました。これには、Mythosレベルのモデルのオープンを数ヶ月制限したことや、生物学関連のリクエストを厳しく制限したことが含まれます。同社の10月19日に更新された安全ロードマップによれば、現行のポリシーは主に危険なモデルの展開を対象としており、将来的には研究開発の速度を直接制限する必要があるかもしれません。また、2027年1月15日までに関連する政策案を提出するか、なぜ提出しないのかを説明する計画です。