ai安全

Anthropicは最近、アメリカ合衆国の議員にAI安全法案の草案を提出し、アメリカのAI安全派から疑問を呈されました。草案では、政府が危険なモデルを緊急に停止するための高いハードルが設定されており、リスクは生物兵器、サイバー攻撃、またはAIの制御喪失などの状況に関連し、50人以上の死亡または重傷、または10億ドル以上の損失を引き起こす可能性があるとされています。一部の条項は州政府の規制権限を制限する可能性もあります。AI安全組織Encode AIの戦略責任者Nathan Calvinは、その後、Anthropicの過去1年間の決定を整理しました。今年の2月、同社は元々厳格だった安全ポリシーを修正しました。以前は、安全対策がモデルの能力に追いつかない場合、トレーニングやリリースを一時停止することを約束していましたが、新しいポリシーでは、同社がより高いリスク段階で独自に研究開発を停止することを要求しなくなりました。その理由は、競合他社がその隙を突いて追い越す可能性があるからです。同時期に、同社は巨額の計算能力を投入し、チップチームを結成し、Claudeにより多くのAI研究開発タスクを担わせました。10月21日、AnthropicのCEO Dario AmodeiはX上で長文を発表し、反論しました。彼は同社がいくつかの誤りを犯したことを認めましたが、最先端のAI能力を追求することが安全ミッションに反していないと主張し、同社は上昇競争を追求していると述べました。技術の最前線に留まることで、業界の安全基準を引き上げる能力があるとしています。彼は、同社が商業的な代償を払った九つの安全決定を挙げました。これには、Mythosレベルのモデルのオープンを数ヶ月制限したことや、生物学関連のリクエストを厳しく制限したことが含まれます。同社の10月19日に更新された安全ロードマップによれば、現行のポリシーは主に危険なモデルの展開を対象としており、将来的には研究開発の速度を直接制限する必要があるかもしれません。また、2027年1月15日までに関連する政策案を提出するか、なぜ提出しないのかを説明する計画です。

OpenAIのCEOオットマンは先週、従業員に安全なスーパーAIを開発するための3つの提案を紹介しました。第一の提案は、国際原子力機関に似たグローバルな監視機関を設立し、高度なモデルを検査し、安全対策を監査することです。関係者によれば、オットマンはこのルートを好んでいるとのことです。第二の提案は、欧州原子核研究機構を模倣し、主要なAIラボを一つの組織に統合するか、統一機関を通じて共同開発を行うことで、各自が競争を続けるのではなく、協力するというものです。第三の提案は最も極端で、彼が「エリエザー案」と呼ぶもので、あるAI企業が最初に再帰的な自己改善を実現し、圧倒的な経済力で計算能力を支配し、他の開発者が追いつけなくなるというものです。オットマンはこの構想を「他のすべての会社のGPUを溶かす」と表現し、この案は非常に悪いものであり、可能性を全て説明するためだけのものであると述べました。「GPUを溶かす」という構想は、AI安全研究者エリエザー・ユドコウスキーに由来します。彼は2021年に思想実験を提案し、スーパーAIが自己複製できるナノマシンを製造して世界中のGPUを溶かすというもので、これは介入の強さを示す極端な例であり、実行を主張するものではないと述べています。OpenAIは2023年に「AI版国際原子力機関」の設立を提案し、Google DeepMindの責任者ハサビスも「AI版CERN」の設立を主張したことがあります。現在、OpenAI、Google、Anthropicは今年の年末または来年の初めに共同安全基準組織を設立する計画を立てていますが、モデルの安全テストの責任の所在については意見の相違があります。オットマンはAI開発に速度制限を設定したいと考えており、同時にOpenAIは現在競争優位を対手に譲ることはできないと述べています。

彭博社の報道によると、ニューヨーク市の監査官マーク・レビンは水曜日に人工知能会社AnthropicのCEOダリオ・アモデイに手紙を送り、同社が人工知能の安全性、ガバナンス、発展速度に関連するリスクに十分に対処するまでIPOを一時停止し、この技術がもたらすリスクに優先的に対処するよう呼びかけました。レビンは、3250億ドルを超える公共年金の資産規模を監督しています。彼は、トランプ政権がAnthropicを含む人工知能企業と結んだ倫理的拘束力のある安全協定は依然として不十分であると考えています。彼はAnthropicに対し、適切な監査および制御措置を実施する方法、措置の範囲と予想スケジュールを具体的に開示し、これらの措置がアモデイが以前に求めた人工知能モデルの能力開発速度の緩和にどのように応じるかを説明するための適切なガバナンスメカニズムを確立するよう促しました。Anthropicは早ければ来月に上場する予定で、資金調達規模はSpaceXの以前の記録的なIPOに達するか、それを超える可能性があります。同社は水曜日に本社で一部の投資家と会合を持ち、今年第3四半期の収益が168億ドルであることを明らかにしました。Anthropicはすぐにコメントのリクエストには応じませんでした。

Anthropic の公式ウェブサイトによると、Anthropic はシンガポールにアジア太平洋地域の5番目のオフィスを開設し、シンガポールのデジタル開発および情報省と覚書を締結しました。両者は AI の安全性、モデル評価、責任ある AI の採用などの分野で協力を展開します。シンガポールは Claude の世界で最も活発な市場の一つであり、すでに GovTech Singapore、DBS、Grab、GIC など、千を超える政府機関や企業が Claude を導入しています。その中で GovTech Singapore の1500人以上のエンジニアが Claude Code を採用して政府システムの近代化を進めており、Grab は Claude による販売アシスタントを活用して、四半期ごとに約4万時間の人手を節約しています。

字節跳動 Seed は最近、内部メールを発信し、Seed Model-Alignment&Preparedness 部門を設立することを発表しました。これは、严林が責任者となり、Seed の責任者である吴永辉に報告します。元の Responsible AI チームおよび一部の Chat チームメンバーは新しい部門に移行します。この部門の目的は、安全性と整合性の向上に向けた取り組みを強化することです。整合性の核心は、モデルの行動を人間の意図や安全制約と一致させることで、エージェントモデルの安全能力を向上させ、化学、生物、放射線、核などの先端能力リスクを防ぐことです。

ホワイトハウスの人工知能協定は、NVIDIA、OpenAI、Anthropic、xAI、そしてGoogleが定期的に人工知能の安全基準について議論することを示しています。

市場の情報によると、AnthropicはNVIDIA（NVDA.O）と協力してAIエージェントの安全研究を行っています。

ウォール・ストリート・ジャーナルの報道によると、カリフォルニア州バークレーにある「Constellation」という共同作業スペースで、小規模な人工知能研究者のグループが、破滅的な人工知能リスクを回避する方法について議論しています。このスペースに近い関係者によれば、Anthropicの従業員もここにオフィスを持っているとのことです。報道によると、Anthropicの研究者であるジェイコブ・コクソンが今月辞職したことで、「制御不能な人工知能の発展が人類を終わらせる可能性がある」という主張がアメリカの公衆の関心を集めています。報道によると、関連する人工知能安全圏の関係者はこの問題を10年以上懸念してきたそうです。彼らは湾岸地域のシェアハウスで議論を練り、バークレーやバハマでの会議で予測を交換し、遠隔地の島を購入したり、ヨウ素剤を備蓄したり、砂漠の電磁シールドバンカーに移住するというアイデアについて話し合ったことがあります。2022年のあるイベントのドリンクメニューには、「尊厳死」と名付けられたカクテルがあり、人類が失敗する運命にあると考える記事を指していました。ウォール・ストリート・ジャーナルによれば、こうしたいわゆる終末論者はOpenAIとAnthropicの最初の従業員の一部であり、両社は人工知能の危険を防ぐことを創立の原則としています。彼らは影響力を持ち続けており、一部のメンバーやプロジェクトの資金は効果的利他主義に関連するネットワークから来ており、その中には倒産した暗号取引所FTXの前CEOサム・バンクマン・フリードが含まれています。報道によると、彼は25年の刑期を服役中です。

Axiosが報じたところによると、トランプの盟友たちは人工知能会社AnthropicのCEOダリオ・アモデイを、人工知能の「終末論」の代表者および有効利他主義運動の創始者の一人として攻撃している。関係者によれば、中間選挙の際に盟友たちが彼の人工知能の安全に関する警告に反撃する際、Anthropicはトランプ陣営の標的になる可能性があるという。彼の政治的立場と人工知能の安全への関心から、彼は攻撃されやすい対象と見なされている。これは、同社が記録的な初の公開株式の準備を進めているため、投資家にとって懸念材料となっている。報道によれば、今週ホワイトハウス内部で、有効利他主義をアメリカの主流から外れた辺境のカルト的な集団として描こうとするメモが流布し始めた。Axiosはこの文書を入手したと伝えている。このメモはホワイトハウスに勤務していないトランプの政治顧問によって書かれ、有効利他主義は「人工知能終末のパイプラインを構築した」と述べ、アモデイをその運動の基盤に置き、彼の妹でAnthropicの社長であるダニエラ・アモデイに言及し、これらの関係を「Anthropicノード」と呼んでいる。政府に近い関係者は、アモデイが大統領の「アメリカ第一」の agenda に反するイデオロギーとグローバリズムの革新の道を体現していると述べた。Anthropicは有効利他主義との距離を保ってきた。ダニエラ・アモデイは2025年の『ワイアード』の報道でこの用語に同意しないと述べた。ダリオ・アモデイはインタビューで自分はこの運動のメンバーではないと主張し、人工知能の利点を宣伝している。

メディアの報道によると、Anthropic と OpenAI は法的拘束力のある合意を締結し、互いの大規模モデルに対してストレステストを行うことを検討していたという。今年初め、両社とその弁護士チームはこの計画について議論を行い、競合他社が互いの最新の利用可能なモデルを深くテストし、潜在的なリスクやセキュリティの脆弱性を探ることができるようにすることを目指していた。このようなテストは商業化されたモデルにのみ適用され、双方は相手のデータを保持しないことに合意していた。この報道では、最終的に両者がこのような合意に達したかどうかは明らかにされていない。最近、トップAIラボ間で何らかの形の同行評価を推進する考えが注目を集めている。SpaceXのCEOであるイーロン・マスクは先週、アメリカの主要な大規模モデル企業と一部の中国のAI企業が競合他社によるクロステストを許可すべきだと提案した。マスクは、「すべてのAI企業には一連のテストツールがあり、各社が他社のテストツールを使ってテストを行うことが、自社の安全を確保するためにできる最善のことかもしれない」と述べた。今月初め、Anthropicの研究者ジェイコブ・コクソンが辞職を発表し、主要な人工知能企業が適切な保護措置なしに開発を加速することに警告を発した。その後、AnthropicのCEOダリオ・アモデイは業界に対してAI開発のペースを緩め、第三者評価メカニズムを導入するよう呼びかけた。Anthropicは先週金曜日にアクセンチュアとの提携を発表し、アクセンチュアが第三者評価機関として、同社の最先端AIモデルの安全性とコンプライアンスの評価を行うことになった。

AnthropicのCEOダリオ・アモデイは最近、METRのような第三者評価機関が長期的に最前線のAI企業に常駐し、従業員レベルの権限を得て、安全対策、事故、モデルのトレーニングプロセスをチェックするべきだと主張しました。しかし、『ニューヨーク・ポスト』の調査によると、METRとAnthropicが属するAI安全圏の関係は、一般的な外部監査よりもはるかに密接です。METRはもともとARC Evalsと呼ばれ、ポール・クリスティアーノが設立したアライメントリサーチセンターで孵化されました。クリスティアーノはアモデイとOpenAIで共に働いており、『ニューヨーク・ポスト』によれば、二人はルームメイトでもありました。彼はその後、Anthropicの長期利益信託の最初の5人の受託者の一人となりました。METRの現技術者アジェヤ・コトラはクリスティアーノの妻であり、以前はCoefficient GivingのAI安全資金提供を担当していました。今年、METRがAnthropic、OpenAI、Google、Metaを評価した際、当時は適用可能な利益相反ポリシーもなく、正式な回避プロセスも行われていませんでした。METRは、プロジェクトに直接関与した従業員や協力者の中で、少なくとも6人がAI企業の従業員と密接な私的関係にあることを明らかにしました。METRは最前線のAI企業およびその従業員からの資金を受け入れず、リスク評価も無料で行っていますが、これらの企業は大量のモデルトークンを無料で提供します。

OpenAIのCEOサム・アルトマンは、人工知能企業がこの技術を安全に発展させることができ、広範な人々に重大な害を及ぼさないと信じていると述べました。アルトマンは火曜日にサンフランシスコのDreamforce大会でSalesforceのCEOマーク・ベニオフとのディスカッションの中で、「私は非常に自信を持っています。私たちの会社------私たちの業界全体------は安全にこれを実現する能力があります。」と語りました。

ザッカーバーグは、各研究所には必要な速度で安全にモデルを訓練する責任とインセンティブがあり、自ら行動を起こす能力があると述べました。人々は、自分と整合しない、要求に従わないエージェントを使用しないため、研究所にはモデルの整合性を高める強い自然なインセンティブがあります。信頼と整合性は、エージェントとモデルを区別する最も重要な能力となりつつあり、整合性に焦点を当てない研究所は遅れをとるでしょう。ザッカーバーグは、研究所がモデルによって害を及ぼす場合、重大な責任を負うことになるため、予防するための強いインセンティブがあると述べました。Metaは、Museのリリースを数ヶ月遅らせて安全性とセキュリティに焦点を当てており、他の研究所に先行して模倣するよう求めているわけではなく、単に日常業務の一部としているだけです。独立した評価者やコンサルタントを雇うことは業界のベストプラクティスであり、MSLはすでに複数の分野でこれを行っています。ほとんどの計算能力を人々にサービスを提供するために使用し、自己改善の競争に陥らないことは、この技術を安全に開発するための最良の方法の一つであり、Metaはこのコミットメントを果たしています。

OpenAIは、米国下院の両党が提案したFRONTIER法案を支持しており、この法案はトップの人工知能企業に外部評価機関を導入してモデルの安全性を確保することを求めています。OpenAIのグローバル業務責任者クリス・レインは、同社が法案の重要な条項を支持しており、国会議事堂で提案者と独立した検証機関の手配について話し合ったと述べています。

OpenAIは、強制的な国家レベルの人工知能安全要件を推進しています。

新浪财经の報道によると、Anthropicは最新モデルClaude Mythos 5.1を英国人工知能安全研究所AISIにテストのためにリリース前に提出することを拒否しました。このモデルは、資格審査を通過した米国の機関にのみ開放されています。この動きは英国のホワイトホールおよびAISI内部で警戒を引き起こしており、英国の国家安全保障官はこの動きが前例となり、AISIが将来的に最新の最前線モデルを入手できなくなることを懸念しています。アナリストは、この動きが米国政府のAI業界に対する輸出管理政策の厳格化と関連している可能性があると指摘しています。米国政府は以前にAnthropicのMythosおよびFableの2つのモデルに対して輸出管理を実施し、外国人の使用を禁止しています。Anthropicはこれに対してコメントを拒否し、米国政府と調整を行い、できるだけ早く国内外のより多くの協力者にモデルの開放権限を拡大する意向を示しました。

Anthropic の研究員 Jacob Coxon が辞職を発表し、AI 業界を離れる準備をしています。彼は過去三年間、OpenAI と Anthropic で事前訓練研究を行ってきました。彼は、両社が責任を持って AI を推進しておらず、自己能力を向上させるスーパーインテリジェンスを競って作り出していると指摘しました。「私たちの命を賭けて」。彼は今年、OpenAI から Anthropic に移ったのは、後者がモデルの安全性をより重視しているからでした。Coxon は、Anthropic の安全性に関する取り組みは真剣であると認めていますが、各社が AGI（多くのタスクで人間を超える汎用 AI）を先に作り出そうと競っている限り、安全性の妥協は避けられず、一社の自律だけでは問題を解決できないと考えています。彼は両社について次のように評価しています：OpenAI の内部には、多くの人がこのリスクの大きさを本当に理解していない；Anthropic はリスクを理解しているが、他社は信頼できないと考えているため、自ら先に実現しなければならないと。Coxon は、一部の AI 従事者が公に表明するよりも私的にはるかに悲観的であり、今十年の終わりまでに AI が人類を滅ぼすことを心配していると述べています。彼自身の判断では、最も過激なシナリオでは、来年末には AI が制御を失う可能性があるため、このような決定は数社のエンジニアの内部で決めるべきではないとしています。

AIセキュリティスタートアップAIRが5000万ドルの資金調達を完了しました。シーコムキャピタルが最初のラウンドで1000万ドルをリードし、Greenoaksが第二ラウンドで4000万ドルをリードしました。Swish、Netz、そして多くのエンジェル投資家も参加しました。この会社は、イスラエルの8200部隊のベテランメンバーであるYair SabanとNiv Hoffmanによって設立され、企業内部で運用されているAIエージェントを発見し、その使用しているスキルやツールを継続的に監査し、不適合なソフトウェアや外部ソースとの相互作用を防ぐAIエージェントセキュリティプラットフォームを提供しています。また、承認されたAIエージェントプラグインとスキルマーケットも提供しています。