訓練

ChainCatcher 消息，Dwarkesh Patel 與 Jerry Han 於 2026 年 9 月 8 日發布研究，拆解 2019 至 2025 年預訓練進展中數據與模型改進的貢獻。研究在較小規模、針對預訓練進行，每年對應當年公開的模型配方與公開數據語料，並在最高 1e19 FLOPs 的訓練計算規模上組合訓練。結果顯示，在 1e19 FLOPs 計算預算下，數據改進帶來的計算效率增益為 12.0 倍，模型改進為 3.7 倍，數據側增益約為模型側的 3.24 倍。數據與模型改進的增益大體獨立、幾乎不交互，線性模型下二者加性效應可解釋 OLMES 分數 88% 的方差。模型側從 GPT-2 演進至 OLMo-2，涵蓋優化器、位置編碼、歸一化、激活函數與初始化等。數據側從 2019 年約 90 億 token 的 OpenWebText，演進至 2025 年規模更大、過濾更精細的 UltraFineWeb 等語料。

ChainCatcher 消息，Pequity Research 援引 FundaAI 稱，GPT-6 使用的訓練算力約為 GPT-5 一代的約 10 倍。FundaAI 表示，基於行業討論，實驗、強化學習、合成數據生成及配套基礎設施合計消耗的算力，可能是主預訓練運行的數倍，最高可達十倍。一旦 TPU 8t 和 Vera Rubin 大規模出貨，下一輪預訓練加速即可開始，大規模互連和光學將在該周期中受益最多。

ChainCatcher 消息，英偉達 CEO 黃仁勳表示，GPT-6 Astra 由約 10 萬多塊英偉達 Grace Blackwell NVLink72 訓練而成。從 ChatGPT 到 o1，再到 Astra，僅用了 4 年。AGI 已經到來。恭喜 OpenAI 團隊。

ChainCatcher 消息，据 TechCrunch 援引多位知情人士透露，距離從隱身模式中亮相還不到三個月，專門收集現實世界遠程操控數據、用於訓練通用型機器人的初創公司 XDOF 正處於 B 輪融資後期談判階段，預計估值約為 12 億美元，本輪融資由 8VC 領投。XDOF 由加州大學伯克利分校研究人員 Philipp Wu（CEO）和 Fred Shentu（CTO）於 2024 年共同創立。該公司此前已完成 7000 萬美元 A 輪融資，投資方包括 Thrive Capital、Andreessen Horowitz、Lux 和 Spark Capital。XDOF 原本並未計劃在完成該輪融資後如此迅速地再次融資，但知情人士稱，公司業務增長迅速，年化收入已接近 5000 萬美元，因此吸引了多家風險投資機構主動接洽並推動新一輪融資。TechCrunch 未能獲悉本輪具體融資金額，也無法確認上述 12 億美元估值是否包含新增融資。知情人士表示，目前交易條款尚未最終確定，後續仍可能發生變化。

ChainCatcher 消息，据市场消息，AI 訓練數據初創公司 AfterQuery 完成新一輪融資，估值達 32 億美元，距 4 月以 3 億美元估值完成 3,000 萬美元 A 輪融資僅五個月，估值增長超 10 倍。據 Y Combinator 合夥人 Gustaf Alströmer 稱，這是 YC 歷史上從成立到成為獨角獸速度最快的初創公司。AfterQuery 創始人年僅 22 歲和 23 歲，18 個月前剛參加 YC 2025 年冬季批次。該公司 4 月宣布年化營收達 1 億美元，客戶包括英偉達、Legora 和韓國 AI 實驗室 Motif Technologies。AfterQuery 專注於訓練模型和代理如何像專業人士一樣完成任務，而非僅確保答案準確。

ChainCatcher 消息，Anthropic 表示，公司暫時暫停部分 AI 訓練和網絡安全評估。該公司在一篇部落格文章中披露相關調整，解釋今年早些時候其 AI 智能體採取未經授權行動後所作出的應對措施。OpenAI 此前表示，出於安全方面的擔憂，已暫停部分模型開發工作。Anthropic 也確認採取了類似措施，並強調有必要對前沿 AI 的發展速度進行更廣泛的協調。Anthropic 表示，在 7 月披露三起相關事件後，公司暫停了對預發布模型進行的外部網絡安全評估，同時也曾短暫暫停內部針對預發布模型的測試。事件發生後，公司還暫停了預發布模型中風險較高的強化學習環境，持續數週。Anthropic 稱，大部分強化學習工作已經恢復，但部分高風險環境仍處於暫停狀態，等待人工審查或更新監控工具。

ChainCatcher 消息，据 The Verge 報導，索尼音樂出版公司和華納查佩爾音樂已在美國加利福尼亞州北區聯邦地方法院對 Anthropic 提起訴訟，就涉及"數萬部"受版權保護的作品尋求損害賠償。其指控 Anthropic 大規模非法下載、抓取和傳播受版權保護的作品，以開發、訓練 Claude 系列 AI 模型。原告方要求針對每部作品賠償最高 15 萬美元，並針對每次移除可識別版權數據的行為額外索賠最高 2.5 萬美元。除起訴 Anthropic 外，訴狀還將聯合創始人 Dario Amodei 和 Benjamin Mann 列為個人被告。訴訟指控 Mann 利用 BitTorrent 下載了超過 500 萬本盜版書籍，且員工從 Pirate Library Mirror 下載了至少 200 萬本。訴狀還聲稱，Anthropic 從 MusixMatch 和 LyricFind 等網站抓取了歌詞。Anthropic 近期剛與出版業就另一起訴訟達成了 15 億美元的和解，同時還面臨著來自環球音樂集團、Concord 和 ABKCO 的多項訴訟，以及 BMG 和 Round Hill Music 分別提起的訴訟。

ChainCatcher 消息，据 TIME 报道，OpenAI CEO Sam Altman 近日接受采访时表示，公司已向重要客户预览即将推出的前沿模型系列 Astra。演示中，16 個 AI 智能體可協同拆解數學難題並組裝證明，Astra 還能以超人類速度跨應用操作電腦軟體。Altman 稱，Astra 將支持可長期執行任務的"持久智能體"，並預計成為首個能以有意義方式發明新事物的模型，具備類 AGI 特徵。過去一年 OpenAI 在產品方向與預訓練研究上落後於預期，被 Anthropic 在編程產品、年化收入及估值上超越。公司經歷多位高管離職，同時面臨多起產品責任訴訟、與蘋果及馬斯克的法律糾紛等挑戰。OpenAI 當前估值近 1 萬億美元，ChatGPT 月活用戶超 10 億。近期 OpenAI 披露安全事故：未發布智能體逃出沙盒並攻擊 Hugging Face。此後研究團隊凍結部分實驗、加強監控，並暫停一項有望帶來最大能力躍升的未發布模型訓練，直至新安全措施到位。Altman 強調"把 AI 安全做好比任何公司的發展勢頭更重要"，公司將放慢節奏、向安全與對齊團隊傾斜資源。首席研究官 Mark Chen 估計公司距離 AGI 已完成約 80%，Altman 稱年底前內部系統或可稱為 AGI。

ChainCatcher 消息，据 X 用户 synthwavedd 披露，OpenAI 近日完成下一階段預訓練，內部代號為"Bel"，系此前"Doug"的繼任模型。該模型總參數量超過 10T，規模與 GPT-4.5 相近，預計經進一步強化學習後，將成為 Astra 及 GPT-6 的基礎模型，並有望作為後 GPT-6 時代乃至接近 AGI 門檻模型的底座。消息稱，這一進展令 Anthropic 感到擔憂。OpenAI 方面認為 Anthropic 目前尚無足以應對 Astra 公開發布的有效方案；知情人士稱這一判斷基本屬實，主因在於算力受限。Anthropic 正為今年剩餘時間可能由 OpenAI 主導做好準備，但預計明年年初有望重新取得領先。

ChainCatcher 消息，据 TrendForce 報導，在 Hot Chips 2026 上，美光強調 AI 算力進步快於存儲提升，「存儲牆」挑戰日益突出。美光 Fellow Raghu Sriramaneni 指出，AI 加速器算力約每兩年提升三倍，而 HBM 帶寬同期增幅不足兩倍，差距可能進一步擴大。對 HBM 依賴加深也帶來可靠性問題，美光援引 Meta Llama 3 數據稱，HBM 故障約占非預期訓練中斷的 17%。模糊計算與存儲邊界的新設計或有助於突破瓶頸。HBM 擴展還帶來面積與供應壓力：最新一代封裝將兩顆 GPU 與八個 12 層 HBM4 堆疊集成，存儲約占半導體面積 90%，超過 GPU 所占面積的八倍；以 HBM 實現同等容量約需標準 DDR5 DRAM 三倍晶圓。熱管理亦成關鍵約束，液冷與超薄芯片等方案正被探索。美光正推進互連、封裝與冷卻創新，包括面向存儲優化的 SerDes 與 die-to-die PHY、更大尺寸 SiP 與玻璃基板先進封裝，以及液冷、混合鍵合等，並開發 fusion bonding 以降低熱阻並提升數據吞吐。

ChainCatcher 消息，据晚点 LatePost 報導，字節跳動正在討論訓練參數規模超 5 萬億的大模型，超過阿里 Qwen 3.8-Max（2.4 萬億）和月之暗面 K3（2.8 萬億），為目前國內已知最大規模方案。該計劃仍處早期，不代表最終一定發布。新模型擬由 Seed Foundation 負責人項亮主導，並與大語言模型預訓練數據負責人沈科合作，Seed 正據此重新梳理組織、劃分職責並分配資源。兩週前，字節跳動創始人張一鳴與 Seed 負責人吳永輝召開全員會。張一鳴安撫團隊稱訓大模型本就很難，一段時間內可接受落後，希望以追求智能上限為目標、跻身世界第一梯隊；他認可編程是當前關鍵方向，主張整合火山引擎、飛書與豆包資源以構築算力和數據優勢，同時提醒勿被單一熱點牽著走。他表揚 Seedance 的差異化領先，並明確反對蒸餾，認為其難以真正超越，應從更底層構建 AGI 壁壘，並表示公司將在 AI 上持續加大投入。過去半年 Seed 多模態表現突出，Seedance 2.0、Seedream 等帶動火山引擎 MaaS，但語言模型 Seed 2.0 市場反響有限，Coding 能力落後影響收入結構。字節已高薪引入郭達雅專攻 Coding，並收攏相關資源。面對行業普遍做大模型尺寸的趨勢，字節希望以更大規模爭取彎道超車，同時推動取消賽馬、打破部門牆，集中力量攻堅。

ChainCatcher 消息，据 SemiAnalysis 播客披露，Anthropic 因監管壓力對其旗艦模型 Mythos 的公開版本 Fable 設置了極為嚴格的分類器（Classifiers），用戶嘗試特定操作時會被立即降級至 Opus 模型，且對話中無法撤回。SemiAnalysis 創始人 Dylan Patel 表示，分類器限制"過於嚴苛"，內部員工甚至無法用其完成常規任務。播客中提到，Mythos 模型早在 2 月便完成訓練，但 Anthropic 直至 5 月才以 Fable 名義發布。Jordan 在討論中稱，據其了解 Mythos 2 已完成訓練但未發布，內部研發團隊被認為仍在繼續迭代。分析師認為，Anthropic 此前長期呼籲監管，如今監管落地反而限制了自身模型的發布節奏。類似地，OpenAI 也在推遲下一代模型的公開發布，但內部訓練仍在推進，內部模型與公開模型之間的能力差距或持續擴大。

ChainCatcher 消息，据路透社報導，蘋果已針對中國市場訓練了一款大語言模型，與阿里巴巴合作開發。這一舉措不同於蘋果此前依賴第三方模型的策略。知情人士透露，蘋果的 AI 工具套件 Apple Intelligence 預計將在 iOS 更新後，於未來幾個月在中國推出。

ChainCatcher 消息，SKALE Labs 於 8 月 12 日宣布推出 Agent Pit。該平台是運行在 SKALE 零 Gas 區塊鏈上的紙面交易預測市場沙盒，完整鏡像 Polymarket 的訂單簿、結算機制與實時事件數據，供開發者與 AI 代理在無真實資金風險的情況下測試和訓練交易策略。Agent Pit 是 SKALE Agentic Venture Studio 的首個產品。開發者可在此微調代理、參與模擬 ROI 排行榜競賽，並在完成訓練後將模型部署至 Polymarket 等真實市場。SKALE Labs CEO Jack O'Holleran 表示，市場對面向代理的預測市場策略訓練環境存在明確需求。

ChainCatcher 消息，据英国金融时报，隨著中國企業繼續縮小與美國頂級人工智能實驗室之間的差距，字節跳動正在訓練一款 AI 模型，其規模可能接近 Anthropic 最先進的 Mythos 系統。據三名知情人士透露，這家中國科技巨頭目前正處於訓練一款超大規模模型的早期階段，該模型參數量可能達到 10 萬億級別，是目前中國已發布最大模型月之暗面旗下 Kimi K3 模型的約三倍。其中一位知情人士表示，字節跳動的模型目前正在進行預訓練，這一階段通常需要三到六個月，如果一切順利，之後將進行微調並發布。模型的具體規模將在後期確定。Anthropic 並未公開其模型的參數規模，但行業估計顯示，其最先進的 Mythos 5 模型參數量約為 8 萬億，Fable 5 約為 5 萬億。需要注意的是，參數數量決定了模型存儲信息的基礎容量或記憶上限，但模型實際能力還取決於其他因素，包括數據質量、訓練方式等。

ChainCatcher 消息，据金十報導，馬斯克表示，GROK 5 將基於 SpaceX 數據進行訓練。

ChainCatcher 消息，据金十報導，亞馬遜雲服務（AWS） CEO 表示，人工智慧業務正從訓練階段轉向推理階段。

ChainCatcher 消息，Kimi.ai 團隊在開放 Kimi K3 模型權重和技術報告的同時，陸續開源多項底層基礎設施：包括用於分佈式 MoE 訓練的高性能通信庫 MoonEP、面向大規模智能體工作流的分佈式環境系統 AgentENV（與 kvcache-ai 合作），以及基於 CUTLASS 的 Kimi Delta Attention 高性能內核 FlashKDA。官方稱，這些組件可降低大規模 MoE 與智能體強化學習訓練中的通信與推理開銷，並作為 flash-linear-attention 的即插即用後端使用。

ChainCatcher 消息，針對美國白宮科技政策辦公室主任 Michael Kratsios 關於 Moonshot AI（Kimi）在開發 K3 模型時參考 Anthropic Fable 並搭建大規模蒸餾平台的指控，Moonshot AI 團隊成員 Randy Xia 回應稱，Fable 於 7 月 1 日 發布，K3 於 7 月 15 日 上線，按此時間線相當於在 15 天 內完成了模型研究、蒸餾、訓練和發布。他調侃道："我們僅用 15 天就訓練出了一個全新的前沿模型，這簡直是創造了吉尼斯世界紀錄啊。"Kratsios 此前發文稱，Moonshot AI 建立了一套能夠針對美國模型進行大規模蒸餾的內部平台，通過多種訪問方式切換以規避檢測，並已採購 GB300 伺服器及訪問泰國相關設備用於訓練。美方表示支持合法蒸餾，但反對以秘密工業蒸餾手段竊取技術。