DeepMind 創始人最新訪談：RSI 是極度危險的，很可能造出人類難以理解的「外星智能」

原文標題：Google DeepMind 的德米斯·哈薩比斯：人工智慧如何可能變得危險（與里德·霍夫曼對話） | 峰會 '26

原文作者：Masters of Scale，里德·霍夫曼

原文編譯：AGI 2050

編者按

本期對話的嘉賓德米斯·哈薩比斯，是全球 AI 版圖中最具分量的教父級人物。作為 Google DeepMind 聯合創始人、AlphaGo 之父，他憑藉顛覆生物學的蛋白質預測系統 AlphaFold 斬獲了 2024 年諾貝爾化學獎；今年 8 月，他卸任 Google DeepMind CEO，改任主席兼 Alphabet 首席科學家。與他深度對談的，則是矽谷教父、LinkedIn 聯合創始人里德·霍夫曼。

在這場 10 月錄製於舊金山 Masters of Scale 峰會現場的深度對話中，哈薩比斯展現了他作為"前神經科學學者"與"頂級算法架構師"的冷峻一面。他毫不客氣地戳破了當下諸多科技公司的安全漏洞與形而上學狂歡：他警示了"閉環遞歸自進化"（RSI）的巨大風險，直言完全剔除人類審核的代碼自迭代很可能造出人類難以理解的"外星智能"；同時，他從認知科學底層強力反駁了"AI 意識論"，嚴正告誡行業：現階段去造有自主意願的意識實體是極其危險的，在把意識的機制研究清楚、全社會認真討論之前，人類不該越過這道底線。

本期內容來自 Masters of Scale 播客，2026 年 11 月 5 日播出，原視頻時長 26 分鐘。

以下為精選對話內容，全文約 8000 字，閱讀時長約 8 分鐘。

本期精彩觀點

●我從二十多年前投身 AI 的第一天起，唯一目的就是把它打造成攻克科學與醫學絕症的終極工具。我們最該用這些工具來改善人類的生存境況和健康。

●遞歸自我改進在可驗證領域威力無窮。當年 AlphaZero 只用了不到 12 個小時，就從一無所知在棋盤上進化成超越全人類與所有象棋引擎的頂峰；但如果把這種能力推進到沒有任何人類審查的"閉環自進化"，最後很可能得到一個思維空間與人類完全脫節的"外星智能"。

●過去半年裡，某些同行的智能體在後台跑了幾個星期都沒人發現。這不是什么神秘高深的技術現象，很多問題靠更好、更穩健的工程本來就能避免。如果不下猛藥，照現在的軌跡，一場 AI 領域的"漏油事故"遲早會發生。

●有些團隊開始把大模型當成兩歲小孩去關照，但判斷有沒有意識，不能看聊天機器人自己怎麼說。高智商與意識完全可以解耦------我家那隻可愛但並不聰明的寵物狗就是最好的證據。

●只要你在算法中訓練它根據所謂的"自我意願"去違抗指令，你就徹底摧毀了 AI 的"可糾正性"。阿西莫夫早在幾十年前就用小說警告過全人類：任何靜態的憲法與規則，在無限的邊界角落裡必定崩潰。

●我不建議每個國家都去自研前沿大模型，在我看來這說不通；真正的 AI 主權不是盲目卷基座，而是利用成熟模型作為基建，沉澱本土的高價值行業壁壘。

算力弑神之後：AlphaFold 與攻克絕症的真實路徑

問：我們認識有十二年了，當年你邀請我加入 Google 的 AI 倫理委員會。這次峰會的主題是"能動性"，而你在全行業還沒反應過來之前就堅信，AI 對人類最大的價值是在醫療與生命科學領域。你甚至將這種追求稱為"抗生存風險"。你如何構想 AI 在醫療領域的終局？它到底怎樣改變人類的壽命與生存質量？

哈薩比斯 ：如果退一步看大局，熟悉 DeepMind 早期旅程的人都知道，我整整一輩子的職業生涯都在做 AI，我的核心目標始終沒變：把 AI 當成終極研究工具，去推進科學、醫學以及我們對周圍世界的理解，最終改善人類的健康。我一直堅信，面對我們二十年前夢寐以求、如今終於親手造出來的這些神奇工具，第一優先級就應該是提升人類的生存境況。

我自己也是這麼身體力行的。無論是我們早期做的 AlphaFold，還是後來孵化的 AI 藥物研發公司 Isomorphic Labs，我都在拼命往這個方向推。我認為這是向全世界展示 AI 價值的最硬核標杆------還有什麼比用 AI 幫助人類治癒可怕的絕症更有意義呢？

問：蛋白質折疊問題是一個非常經典的交叉點：我們手頭有高質量的結構數據，可以用大規模學習來解決，這是當年從自對弈和強化學習一路演化過來的認知革命。但現在很多圈外人經常追問我一個問題：AlphaFold 確實很酷，但它到底怎麼變成真正的救命藥？這個周期到底有多長？

哈薩比斯 ：生物系統是宇宙中最複雜的系統，它的難點在於其高度湧現的複雜性與多層交互。而蛋白質是生命的基本構件。我們用 AlphaFold 試圖解決的蛋白質折疊問題，曾經是困擾結構生物學界長達 50 年的終極挑戰，甚至常被生物學家稱為"生物學領域的費馬大定理"。

從基因序列，也就是氨基酸序列，直接預測出蛋白質的三維立體結構，對於理解其生物學功能至關重要。你必須搞懂它的三維構象，才能理解基礎生物機制，才能知道疾病發生時到底哪裡出了差錯；更重要的是，如果你要設計一款靶向藥物，你必須看清蛋白質表面的微觀三維形貌，才知道小分子藥物應該結合在哪個"鎖孔"上。

當然，蛋白質結構預測只是整個漫長藥物研發流程中的一部分，但它是絕對核心的關鍵前置步驟。我們在 2020 年做出了 AlphaFold 2，距今已經好幾年了。坦白講，它至今依然是 AI 應用於攻克硬核科學難題中最具代表性的標杆案例。目前全球有大約 400 萬科研人員在使用它，幾乎全球所有生物和醫學研究者、未來幾乎所有的上市新藥，都会在研發鏈路中用到 AlphaFold 解析的結構。

但這還遠遠不夠。我們現在正把這個技術底座全面推向更廣泛的生物化學領域，去精準預測藥物分子的毒性、ADME 性質（吸收、分佈、代謝、排泄）等等。只有把這些全部攻克，你才能真正低成本、高效率地造出既安全又真正起效的救命藥物。

AlphaZero 的啟示：可驗證領域裡的自進化有多恐怖？

問：聊到技術迭代的加速度，必須談談當下最火熱、也最受爭議的話題：遞歸自我改進（簡稱 RSI）。你本身就是頂級的博弈高手，也是國際象棋棋手，從博弈論和底層邏輯來看，你怎麼評估 RSI 的機遇與風險？

哈薩比斯 ：RSI 確實是推動技術躍遷極其強大的手段。但它有一個絕對的前提：它最有效、最能大顯身手的地方，是在我所謂的"可驗證領域"。

數學是一個典型的可驗證領域，所以我們看到 AI 在數學推理上的進展極其神速；編程也是；而在最初，這個試驗場是棋盤博弈。其實最早一批出名的遞歸自我改進系統之一，就是我們許多年前造出的 AlphaZero。

它的前身是 2016 年擊敗圍棋世界冠軍李世石的 AlphaGo，那場比賽拉開了現代 AI 時代的序幕。但隨後我們研發的 AlphaZero 在底層意義上更具顛覆性------它徹底擺脫了人類數據。系統從純粹的隨機初始化狀態開始，不餵任何人類棋譜，純粹通過自我對弈進行迭代。在十幾二十個訓練周期裡，它每一輪左右互搏打上一百萬局左右，訓練出一個比舊版本稍強的新模型，新模型再繼續自我對戰一百萬局。通過這種方式，它不僅攻克了圍棋，還橫掃了國際象棋和日本將棋等所有雙人完全信息博弈。

作為一個棋手，我對那個進化的過程感到極其震撼，甚至是骨子裡的戰栗。我親眼看著它下國際象棋，整個過程只用了不到 12 個小時：早上剛開機時，它還在完全瞎走；上午 11 點我喝咖啡休息時，我還能勉強贏它；到了中午吃午飯時，它已經達到了國際特級大師的水平；而到了下午喝茶的時間，它就已經超越了人類歷史上所有的棋手，以及所有人類手工寫規則堆砌出來的頂級國際象棋引擎。

這就是遞歸自我改進的恐怖威力。這些領域的共性在於，你可以對結果進行絕對客觀的驗證：答案對不對？公式推導是否成立？代碼能否編譯運行無報錯？博弈最終贏了還是輸了？

一旦答案具有可驗證性，你不僅能精準判斷每一次迭代是否有效，更能借此生成近乎無限的高質量合成數據。你可以讓當前最強的模型去出題、去走棋，然後通過嚴密驗證來過濾數據。通常情況下，合成數據最大的死穴是你沒法驗證它對不對、分佈是否正確，但在"可驗證領域"，你可以驗證。所以我們看到數學和代碼編寫迎來了驚人的技術大爆發，這也直接催生了當前極具商業價值的 AI 編程工具。

警惕閉環自進化：當代碼編寫剔除人類，我們將直面"外星智能"

問：既然代碼是具備強驗證性的天然試驗場，幾乎所有頂級實驗室都在瘋狂砸資源做 AI 編程代理。這種 RSI 的演進終局會是什麼？它潛藏的危險到底在哪裡？

哈薩比斯 ：這正是我目前深感憂慮的地方。RSI 有著完全不同的發展階段。我們現在處於非常早期的初級階段，大家在團隊研發中應該都深有體會：AI 編程工具能讓一個優秀的人類工程師生產力暴增三到五倍。但此時此刻，人類依然牢牢處於工作流的中心，人類在做架構設計、在審查代碼、在編寫核心邏輯，AI 只是極致的效率放大器。

真正蘊藏巨大風險的是下一階段：閉環遞歸自我改進。也就是說，整個系統設法徹底剔除了人類審查代碼的環節。

閉環 RSI 的速度顯然會更快，但我認為這是一條通往通用人工智能極其危險的歧途。這在二十年前常被叫作"智能爆炸"。這裡有兩個致命隱患：

第一是失控問題。面對一個在黑盒裡自我高速迭代的代碼閉環，人類根本沒有手段建立確定性的安全控制機制。

第二是心智異化。這樣迭代出來的終極系統，很可能會是一個相當陌生的"外星智能"。它的底層邏輯與思維空間完全脫離了人類經驗與語言體系，人類與它之間根本不存在共通的心智基礎。我們無法理解它的行為動機，它也無法真正理解人類的意圖。

走向閉環 RSI 的每一步都必須保持極致審慎。所有前沿 AI 研究者心裡都很清楚這種風險，但現實是殘酷的------各家大廠與初創公司正陷入一場近乎瘋狂的軍備競賽，都在拼命提升自家代碼系統的自迭代能力。

問：如果大廠之間激烈的競爭壓力和囚徒困境不可避免，而 RSI 又必須向前推進，頂尖實驗室究竟該怎樣拆解這個死局？在技術路線上到底該如何布防？

哈薩比斯 ：我們以及部分負責任的頭部實驗室正在做的，主要聚焦在幾個核心防線：

首先是在攻防節奏上，必須確保"網絡防禦能力的進化速度"壓倒性地跑贏"網絡攻擊能力的演進"。前沿實驗室應該對安全防守方優先開放經過定向微調的安全大模型，確保防禦者手裡的 AI 工具始終領先攻擊者。這件事總體上很難做，但必須要做。

其次是建造堅固得多的沙箱。實話實說，過去這半年裡我們在行業內看到的許多安全漏洞與事故，只要工程做得更好一點、系統工程魯棒性更強一點，本來是完全可以避免的。我們需要世界級的監控體系------怎麼可能允許某些智能體在脫離監管的後台私自運行了好幾個星期，團隊卻毫不知情？這種荒唐事在某些競爭對手那裡已經真實發生了。

如果全行業再不把頂尖資源砸向這種系統監控，按照目前的狂奔軌跡，一場類似"漏油事故"的 AI 事故發生只是時間問題。

最後，從底層理論上，我們最終需要形式化的保證，為系統行為劃定數學邊界。我現在一直在極力勸說我認識的那些頂尖純數學家------他們現在可能對純數的研究瓶頸感到有些沮喪，但如果他們能轉入複雜性理論、博弈論以及 AI 形式化驗證領域，他們的價值將是無可估量的。尤其是未來，我們即將面對成千上萬個自主智能體協同作戰的"智能體集群"，如何對其施加監控和數學約束，是人類從未面臨過的挑戰。

安全底座的千瘡百孔：防範 AI"漏油事故"與建立三方審計

問：當智能體網絡成群結隊出現，各大頂級實驗室之間是否應該被要求、甚至被強制進行情報共享與安全合作？這種跨機構的合作機制該如何落地？

哈薩比斯 ：必須建立這種機制。我前陣子發過一篇文章，呼籲行業建立類似金融業自律組織的行業標準機構，同時接受政府的監督。

理想狀態下，這種機制應當由美國牽頭，進而推向全球。坦率講，當前全球地緣政治極其撕裂，現有的國際治理機構脆弱不堪，偏偏在這個人類最需要強力跨國治理的歷史節點上掉了鏈子。這實在"有點不幸"。

但我們總得從某個地方開始。那篇文章在白宮和政府裡產生了一些影響，後來部分推動了那份各大 AI 實驗室都簽了字的著名公開信。它沒有給出具體該怎麼做，力度也不夠，但聊勝於無，至少是一個開端。它提供了合規掩護，讓頂尖實驗室的技術團隊能夠坐在一起，共同打磨安全基準測試、分享最新觀察到的異常行為與潛在威脅模型。

在具體落地上，所有頭部實驗室目前至少達成了一點共識：必須引入第三方獨立審計與評估機構。就像金融等行業離不開專業審計機構一樣，AI 產業也必須孕育出一個繁榮的第三方評估生態。現在已經有一些巨頭開始行動，比如埃森哲收購了一家很好的初創公司來補足這塊能力。但我認為整個行業還需要更多更中立的技術審計力量。除此以外，各大前沿實驗室在正式向公眾發布大模型之前，或許也可以互相做紅隊攻防測試。

意識與智力的解耦：為什麼給 AI 賦予"靈魂"是危險的狂妄？

問：聊完硬核工程與安全，我們來談點形而上的話題。幾年前有 Google 工程師因為問了谷歌的對話模型 LaMDA 幾個問題，模型承認自己有意識，他就堅稱 AI 覺醒了。現在這種風氣甚至蔓延到了某些明星 AI 公司------他們把"模型是否擁有意識"當成類似"帕斯卡賭注"來看待，認為必須像對待兩歲的人類幼兒一樣善待 AI，以免未來產生意識的系統回過頭來報復人類。從你深耕認知神經科學的學術背景來看，你怎麼看這種現象？

哈薩比斯 ：這件事有好幾點可以說。

首先，人類文明思考了幾千年，至今在哲學和科學界連"意識"的公認定義都沒有。在這種前提下去給一個統計預測模型貼上"意識"的標籤，甚至去討論主觀感受的"意識的難題"，是非常草率的。

早年我和著名哲學家丹尼爾·丹尼特爭論過這個問題。判斷一個人是否有意識，不僅僅是因為對方的行為看起來像有意識，更核心的前提在於：我們擁有完全相同的生物物理基質------我們都長著由碳基神經元構成的、濕漉漉的人類大腦。從最奧卡姆剃刀的簡約原則推導，我相信你感受到的痛苦和喜悅與我是相同的。

但 AI 完全不是這回事。矽基芯片、矩陣乘法與生物物理基質之間存在著鴻溝，根本不存在底層的等價性。你絕不能僅僅因為一個聊天機器人在行為模仿上說了一句"我有感覺"，就倒推它具備主觀內在體驗。

為什麼我認為在今天去嘗試打造"有意識的實體"是極其危險且錯誤的？這背後有兩個絕對不可逾越的理由：

第一是硬核的技術安全隱患。在系統工程中，"自我意願"或"自我意識"與系統的"可糾正性"（即遵從指令）之間，存在直接的此消彼長。

一個工具的核心價值在於指令遵從：當它行為出現偏差時，人類操作員發出指令："立刻停下"、"關機"、"修正路線"，它必須無條件執行。如果你在訓練過程中特意引導模型基於某種"內在自我狀態"去拒絕人類指令，你就是在自掘墳墓。

科幻大師阿西莫夫早就把這個底層邏輯推演得一清二楚。他提出的"機器人三定律"，本質上就是一種極度簡化的"憲法"。阿西莫夫用整整一輩子的短篇小說都在闡明同一個真理：無論你設計的規則和憲法看起來多麼完美，在現實世界無窮無盡的極端邊界情況下，這套系統必然會走向邏輯死鎖與崩潰。

今天有些研究者盲目自信，覺得大語言模型比想像中更聽話、更容易對齊，就以為我們已經徹底解決了對齊問題。這種盲目自大是極度危險的。當我們一步步逼近超級智能時，任何把"遞歸自改進"與"自我意願"結合起來的嘗試，都是在給系統毀滅性失控加槓桿。

第二是嚴峻的社會學倫理挑戰。作為人類社會，我們根本沒有做好直面機器意識的準備。我們從未在全社會層面------與哲學家、神學家、藝術家、人文學者以及全球不同文明之間------展開過真正嚴肅的公共辯論：我們真的準備好跨越這道深淵了嗎？

一旦一個系統被賦予了所謂的意識與道德地位，潘多拉魔盒就徹底打開了：把它關在機房伺服器裡算不算囚禁？人類是不是在役使數字奴隸？這些問題都很複雜，我認為我們連著手應對的能力都還沒有。

拒跨第二道盧比孔河：做聽話的智能工具，不做失控的電子奴隸

問：那麼對於那些堅稱"只有模擬人類情感與主觀狀態，才能湧現出真正頂級智慧"的技術派，你如何從神經科學的本質上去回應他們？

哈薩比斯 ：這個話題我在二十多年前讀認知神經科學博士時就已經深入研究過。我始終堅信：智力與意識是"雙重可分離的"。

你可以擁有極高智商、極強信息處理能力，但完全沒有主觀意識體驗的系統------就像我們今天打造的各種前沿大模型。我認為它們在當下一丁點意識都不具備。

反過來，世界上存在大量具備鮮活主觀意識體驗、但智力水平並不高的生命體。最好的例子就是我家養的寵物狗。它非常可愛，顯然擁有極其鮮活的意識狀態，它會做夢，但它的智商確實非常有限。海豚、大象、靈長類動物都是如此，它們由相同的碳基神經元構成，展現出明確的知覺體驗，但並不具備解決人類高級抽象問題的智能。

既然智力與意識完全可以物理拆分，為什麼非要把它們生硬地綁在一起？

人類當前的理性路線，應該是堅定地只跨越"第一道盧比孔河"------也就是全力以赴打造極致強大的"智能工具"。然後，我們利用這些頂級智能工具作為探針，反哺腦科學與認知神經科學，花上五到十年時間，去徹底揭開人類大腦中產生意識的"神經相關物"到底是什麼。

等到人類真正從科學底層把意識的發生機制研究透徹了，整個文明社會再去坐下來嚴肅表決：我們到底要不要跨越第二道盧比孔河？如果真的要造有意識的實體，又該怎麼造？

國家級 AI 主權迷思：別再無腦燒錢卷前沿基座大模型

問：在訪談的最後，我想聊聊地緣維度的"AI 主權"。現在幾乎每個國家、甚至每個跨國巨頭都在狂熱地高喊自主可控。世界真的需要每個國家都去訓練一個自己的前沿大模型嗎？

哈薩比斯 ：這個問題必須穿透泡沫去看。

未來的前沿技術格局非常清晰：全球最終能站穩在最前沿或接近最前沿的玩家，算上中國公司，大概只有 6 到 8 家。這幾家前沿機構之間會呈現高頻的動態卡位戰，某一家可能會短暫領先 3 到 6 個月，隨後又被反超，整體處於膠著狀態。

這就意味著，無論是對於一家傳統企業還是一個主權國家，市場充斥著極其豐富的技術套利空間。每一家前沿模型的長板各不相同，有的擅長多模態理解，有的擅長寫代碼，幾乎沒有任何單一大模型能在所有維度上長期通吃。

更不用說，開源生態正在以僅僅落後前沿模型 6 到 12 個月的速度瘋狂追趕。雖然開源如何防範被惡意攻擊者利用是行業懸而未決的巨大難題，但對於廣大非一線國家和跨國企業而言，可選項極其充裕。

因此，我不建議每個國家都去盲目跟風，搞"自研前沿大模型"。在我看來，這根本說不通。

真正的國家級 AI 主權，核心在於分層佈局：第一，利用成熟的開源或閉源前沿模型作為類似水暖電的基礎設施底座，把核心精力和有限算力傾注在能直接改造本國核心命脈的垂直下游產業上------比如醫療。

第二，真正要守住的底線是數據主權。確保企業和國家的敏感數據保持私有，在自己的敏感數據上做進一步微調。這才是理智、經濟且真正能沉澱核心價值的自主戰略。

問：我之所以用這個問題收尾，是因為這次峰會的主題就是能動性。它不僅關乎個人如何施展能動性，也關乎我們如何一起行使集體的能動性：在 AI 時代，不是哪一個國家單打獨鬥，而是各國一起，為全人類的福祉而建設。感謝德米斯，謝謝大家。

哈薩比斯 ：謝謝。