ai安全

ChainCatcher 消息，Vitalik Buterin 表示，他支持 Kimi 3.1 在訓練數據中主動排除頂級進攻性網絡安全能力，認為「限制使用場景」遠好於「限制用戶」。他指出，社會仍需要時間為更強大的 AI 網絡攻擊能力做好準備，包括強化系統安全、檢查舊代碼以及對新代碼進行嚴格的形式化驗證。Vitalik 警告稱，如果第一波重大 AI 風險處理不當，未來可能走向模型高度封閉、全面 KYC 門檻和大規模監控的局面，不同用戶還可能因身份、資質或國籍而獲得不同等級的模型訪問權限。

ChainCatcher 消息，Anthropic 最近向美國國會議員提交一份 AI 安全法案草案，遭美國 AI 安全派質疑。草案對政府緊急叫停危險模型設置較高門檻，風險須涉及生物武器、網絡攻擊或 AI 失控等情形，並可能造成超過 50 人死亡或重傷，或超過 10 億美元損失；部分條款還可能限制州政府監管權限。AI 安全組織 Encode AI 戰略負責人 Nathan Calvin 隨後梳理 Anthropic 過去一年的決定。今年 2 月，公司修改原本嚴格的安全政策：過去承諾若安全措施跟不上模型能力就暫停訓練或發布，新政策不再要求公司在更高風險階段獨自停止研發，理由是競爭對手可能趁機超車。同期公司投入巨額算力、組建晶片團隊，並讓 Claude 承擔更多 AI 研發任務。10 月 21 日，Anthropic CEO Dario Amodei 在 X 上發長文反駁。他承認公司犯過一些錯誤，但堅持爭奪最先進 AI 能力並未違背安全使命，並稱公司奉行向上競賽，只有保持在技術最前沿，才有能力推動行業提高安全標準。他列舉九項曾讓公司付出商業代價的安全決定，包括將 Mythos 級模型限制開放數月，以及嚴格限制生物學相關請求。公司 10 月 19 日更新的安全路線圖稱，現有政策主要針對危險模型部署，未來可能需要直接限制研發速度，並計劃在 2027 年 1 月 15 日前提出相關政策方案，或解釋為何沒有提出。

ChainCatcher 消息，OpenAI 首席執行官奧特曼上週向員工介紹了三種安全開發超級 AI 的方案。第一種是建立類似國際原子能機構的全球監管組織，檢查先進模型並審計安全措施。知情人士稱，奧特曼傾向於這條路線。第二種效仿歐洲核子研究中心，讓各大 AI 實驗室合併到一個組織，或通過統一機構共同研發，而不是繼續各自競速。第三種最極端，被他稱為「Eliezer 方案」：一家 AI 公司率先實現遞歸自我改進，再憑藉壓倒性經濟實力控制算力，使其他開發者無法追趕。奧特曼用「熔毀其他所有公司的 GPU」描述這一設想，同時表示該方案非常糟糕，只是為了把可能性講全。「熔毀 GPU」的設想來自 AI 安全研究者 Eliezer Yudkowsky。他在 2021 年提出思想實驗，讓超級 AI 製造能夠自我複製的納米機器以熔毀全球 GPU，並表示這只是說明干預力度的極端例子，並非主張執行的方案。OpenAI 在 2023 年提出過建立「AI 版國際原子能機構」，Google DeepMind 負責人 Hassabis 也曾主張設立「AI 版 CERN」。目前 OpenAI、Google 和 Anthropic 計劃在今年底或明年初成立聯合安全標準組織，但在模型安全測試責任歸屬上存在分歧。奧特曼希望為 AI 研發設定速度限制，同時表示 OpenAI 眼下不能把競爭優勢讓給對手。

ChainCatcher 消息，据彭博社報導，紐約市審計長 Mark Levine 週三致信人工智慧公司 Anthropic 首席執行官 Dario Amodei，呼籲公司在充分應對人工智慧安全、治理及發展速度相關風險前暫緩 IPO，優先處理該技術帶來的風險。Levine 負責監督資產規模超過 3250 億美元的公共養老金。他認為，特朗普政府與包括 Anthropic 在內的人工智慧企業達成的具有道德約束力的安全協議仍不足。他敦促 Anthropic 建立相應治理機制，具體披露如何實施適當審計及控制措施、措施覆蓋範圍和預計時間表，並解釋這些措施能否以及如何回應 Amodei 此前放緩人工智慧模型能力發展速度的呼籲。Anthropic 計劃最早於下月上市，募資規模可能達到或超過 SpaceX 此前創紀錄的 IPO。公司週三在總部與部分投資者會面，並披露今年第三季度營收為 168 億美元。Anthropic 未立即回應置評請求。

ChainCatcher 消息，据 Anthropic 官網消息，Anthropic 宣布在新加坡開設亞太地區第五個辦公室，並與新加坡數位發展與資訊部簽署諒解備忘錄，雙方將在 AI 安全、模型評估、負責任 AI 採用等領域展開合作。新加坡是 Claude 全球最活躍市場之一，目前已有 GovTech Singapore、DBS、Grab、GIC 等超過千家政府機構及企業部署 Claude。其中 GovTech Singapore 逾 1500 名工程師已採用 Claude Code 推進政府系統現代化，Grab 借助 Claude 驅動的銷售助手每季度節省約 4 萬小時人力。

ChainCatcher 消息，字節跳動 Seed 近日發出內部郵件，宣布成立 Seed Model-Alignment&Preparedness 部門，由嚴林負責，並向 Seed 負責人吳永輝匯報。原 Responsible AI 團隊及部分 Chat 團隊成員將轉入新部門。該部門旨在加強安全與對齊方向投入。對齊的核心是讓模型行為與人類意圖和安全約束保持一致，以提升 Agent Model 安全能力，並防範化學、生物、放射、核等前沿能力風險。

ChainCatcher 消息，据 Ark Invest Tracker 報導，Ark Invest 表示 AI 黑客攻擊正波及一切。風險遠不止比特幣，因為 AI 使軟體漏洞更容易被發現和利用。比特幣和硬體錢包可能最先受到衝擊，但社交媒體、稅務和銀行網站也可能面臨同樣威脅。信任一個大品牌，仍意味著信任該公司在 AI 日益強大時不會犯錯。ARK 預計大型托管機構也將成為目標，AI 可能以前所未有的速度發現並利用漏洞。

ChainCatcher 消息，華爾街日報報導，加州伯克利一處名為 Constellation 的聯合辦公空間內，一小群人工智慧研究人員正討論如何避免災難性人工智慧風險。接近該空間的人士稱，Anthropic 員工也在其中擁有辦公空間。報導稱，Anthropic 研究員 Jacob Coxon 本月辭職，使「失控的人工智慧發展可能終結人類」這一說法受到美國公眾關注。報導稱，相關人工智慧安全圈人士已擔憂這一問題十多年。他們曾在灣區合租屋打磨論點，並在伯克利和巴哈馬的會議上交換預測，討論過購買偏遠島嶼、囤積碘片或遷往沙漠電磁屏蔽地堡等想法。2022 年一次活動的酒單上，還有以「Death With Dignity」命名的雞尾酒，指向一篇認為人類已注定失敗的文章。華爾街日報稱，這類所謂末日論者是 OpenAI 和 Anthropic 最早的一批員工，兩家公司均以防範人工智慧危險為創立原則。他們持續產生影響，部分人員和項目資金來自與有效利他主義相關的網絡，其中包括已倒閉加密交易所 FTX 前首席執行官 Sam Bankman-Fried；報導稱他正在服 25 年刑期。

ChainCatcher 消息，Axios 報導，特朗普盟友正把人工智能公司 Anthropic 首席執行官 Dario Amodei 作為人工智能"末日論"代表人物及有效利他主義運動創始人之一加以攻擊。消息人士稱，中期選舉期間，盟友反擊其人工智能安全警告時，Anthropic 仍可能成為特朗普陣營目標；因其政治立場和對人工智能安全的關注，他被視為容易攻擊的對象。這對投資者而言令人擔憂，因為公司正準備一場預期創紀錄的首次公開募股。報導稱，本週白宮內部開始流傳一份備忘錄，試圖把有效利他主義描繪成脫離美國主流的邊緣、邪教式群體，Axios 稱已取得該文件。備忘錄由一名不在白宮任職的特朗普政治顧問撰寫，稱有效利他主義"建立了人工智能末日管道"，並把 Amodei 放在該運動的基礎位置，同時提到其妹、Anthropic 總裁 Daniela Amodei，將這些關係稱為"Anthropic 結點"。一名接近政府的消息人士說，Amodei 體現了一種與總統"美國優先"議程相悖的意識形態和全球主義創新路徑。Anthropic 一直在與有效利他主義保持距離。Daniela Amodei 在 2025 年《連線》報導中表示不認同這一術語。Dario Amodei 在採訪中堅稱自己不是該運動成員，並宣傳過人工智能的益處。

ChainCatcher 消息，据媒体援引知情人士報導，Anthropic 和 OpenAI 曾考慮簽署一份具有法律約束力的協議，以相互對對方的大模型進行壓力測試。今年早些時候，兩家公司及其律師團隊曾就此計劃展開討論，競爭對手可對彼此最新可用模型進行深度測試，以尋找潛在風險或安全漏洞。此類測試僅適用於已商業化的模型，且雙方約定不得留存對方的數據。該報導並未明確雙方最終是否達成此類協議。近來，在頂尖 AI 實驗室之間推行某種形式的同行評審的想法受到關注。SpaceX 首席執行官埃隆·馬斯克上週建議，美國領先的幾家大模型公司以及部分中國 AI 公司應當允許競爭對手進行交叉測試。馬斯克表示：所有 AI 公司都有一套測試工具，讓每家公司都用別家的測試工具跑一遍，可能是確保自身安全所能做的最好的事。本月早些時候，Anthropic 研究員 Jacob Coxon 宣布辭職並警告領先人工智慧公司在沒有適當防護措施的情況下加速開發。隨後 Anthropic CEO 達里奧·阿莫代伊發文呼籲行業放緩 AI 開發步伐並引入第三方評估機制。Anthropic 上週五宣布與埃森哲建立合作，由埃森哲擔任第三方評估機構，對其前沿 AI 模型進行安全合規性評估。

ChainCatcher 消息，Bitcoin News 在 X 平台發文表示，Bitcoin Core 開發者 Niklas Gögge 警告，近期 AI 驅動的漏洞掃描正在改變比特幣安全形勢，大型語言模型已顯著降低漏洞發現成本，攻擊者可能僅需數百美元計算成本就能發現災難性漏洞。針對 Bitcoin Core，Project Loupe、Bitcoin Red Team 及個人貢獻者已生成超過 1000 份報告，但截至目前尚未發現高危或嚴重漏洞。Gögge 表示，依賴更強模型在攻擊者之前發現漏洞並非可持續的安全策略，開發者應通過自動化測試、模糊測試和基於屬性的測試構建能夠提前阻止整類漏洞的測試基礎設施。Bitcoin Core 關鍵組件已累計完成超過 100 年的 CPU 模糊測試，並進行了數十年的比特幣節點網絡模擬。

ChainCatcher 消息，Anthropic CEO Dario Amodei 最近主張，讓 METR 這類第三方評估機構長期進駐前沿 AI 公司，獲得接近員工級別的權限，檢查安全措施、事故和模型訓練過程。但《紐約郵報》調查發現，METR 和 Anthropic 所在的 AI 安全圈關係遠比普通外部審計更近。METR 最初叫 ARC Evals，孵化於 Paul Christiano 創辦的 Alignment Research Center。Christiano 曾和 Amodei 在 OpenAI 共事，《紐約郵報》稱兩人還做過室友；他後來成為 Anthropic Long-Term Benefit Trust 最初五名受託人之一。METR 現任技術人員 Ajeya Cotra 是 Christiano 的妻子，此前還負責 Coefficient Giving 的 AI 安全資助。今年 METR 評估 Anthropic、OpenAI、Google 和 Meta 時，當時還沒有適用的人員利益衝突政策，也沒有進行正式的迴避流程。METR 披露，直接參與項目的員工和合作者中，至少 6 人與 AI 公司員工存在密切私人關係。METR 表示不接受前沿 AI 公司及其員工的資金，做風險評估也不收費，不過這些公司會免費提供大量模型 Token。

ChainCatcher 消息，OpenAI 首席執行官 Sam Altman 表示，他相信人工智慧公司能夠安全地發展該技術，而不會對廣大民眾造成重大傷害。Altman 週二在舊金山 Dreamforce 大會上與 Salesforce 首席執行官 Marc Benioff 的討論中稱：我非常有信心，我們公司------我們整個行業------有能力安全地做到這一點。

ChainCatcher 消息，扎克伯格發文稱，每個實驗室都有責任和激勵以所需速度安全訓練模型，並有能力自行採取行動。人們不會使用與自己不對齊、不按要求行事的智能體，實驗室因此有強烈自然激勵提升模型對齊。信任和對齊正迅速成為區分智能體與模型的最重要能力，任何不聚焦對齊的實驗室都將落後。扎克伯格表示，實驗室若模型造成傷害將面臨重大責任，因此也有強烈激勵加以防範。Meta 將 Muse 推遲數月發布以聚焦安全和安保，並未要求其他實驗室先行效仿，只是將其作為日常工作的部分。聘請獨立評估者和顧問是行業最佳實踐，MSL 已在多個領域這樣做。將大部分算力用於服務人們而非競相遞歸自我改進，是確保安全開發該技術的最佳方式之一，Meta 已作出這一承諾。