训练

ChainCatcher 消息，Dwarkesh Patel 与 Jerry Han 于 2026 年 9 月 8 日发布研究，拆解 2019 至 2025 年预训练进展中数据与模型改进的贡献。研究在较小规模、针对预训练进行，每年对应当年公开的模型配方与公开数据语料，并在最高 1e19 FLOPs 的训练计算规模上组合训练。结果显示，在 1e19 FLOPs 计算预算下，数据改进带来的计算效率增益为 12.0 倍，模型改进为 3.7 倍，数据侧增益约为模型侧的 3.24 倍。数据与模型改进的增益大体独立、几乎不交互，线性模型下二者加性效应可解释 OLMES 分数 88% 的方差。模型侧从 GPT-2 演进至 OLMo-2，涵盖优化器、位置编码、归一化、激活函数与初始化等。数据侧从 2019 年约 90 亿 token 的 OpenWebText，演进至 2025 年规模更大、过滤更精细的 UltraFineWeb 等语料。

ChainCatcher 消息，Pequity Research 援引 FundaAI 称，GPT-6 使用的训练算力约为 GPT-5 一代的约 10 倍。FundaAI 表示，基于行业讨论，实验、强化学习、合成数据生成及配套基础设施合计消耗的算力，可能是主预训练运行的数倍，最高可达十倍。一旦 TPU 8t 和 Vera Rubin 大规模出货，下一轮预训练加速即可开始，大规模互连和光学将在该周期中受益最多。

ChainCatcher 消息，英伟达 CEO 黄仁勋表示，GPT-6 Astra 由约 10 万多块英伟达 Grace Blackwell NVLink72 训练而成。从 ChatGPT 到 o1，再到 Astra，仅用了 4 年。AGI 已经到来。恭喜 OpenAI 团队。

ChainCatcher 消息，据 TechCrunch 援引多位知情人士透露，距离从隐身模式中亮相还不到三个月，专门收集现实世界远程操控数据、用于训练通用型机器人的初创公司 XDOF 正处于 B 轮融资后期谈判阶段，预计估值约为 12 亿美元，本轮融资由 8VC 领投。 XDOF 由加州大学伯克利分校研究人员 Philipp Wu（CEO）和 Fred Shentu（CTO）于 2024 年共同创立。该公司此前已完成 7000 万美元 A 轮融资，投资方包括 Thrive Capital、Andreessen Horowitz、Lux 和 Spark Capital。XDOF 原本并未计划在完成该轮融资后如此迅速地再次融资，但知情人士称，公司业务增长迅速，年化收入已接近 5000 万美元，因此吸引了多家风险投资机构主动接洽并推动新一轮融资。 TechCrunch 未能获悉本轮具体融资金额，也无法确认上述 12 亿美元估值是否包含新增融资。知情人士表示，目前交易条款尚未最终确定，后续仍可能发生变化。

ChainCatcher 消息，据市场消息，AI 训练数据初创公司 AfterQuery 完成新一轮融资，估值达 32 亿美元，距 4 月以 3 亿美元估值完成 3,000 万美元 A 轮融资仅五个月，估值增长超 10 倍。据 Y Combinator 合伙人 Gustaf Alströmer 称，这是 YC 历史上从成立到成为独角兽速度最快的初创公司。AfterQuery 创始人年仅 22 岁和 23 岁，18 个月前刚参加 YC 2025 年冬季批次。该公司 4 月宣布年化营收达 1 亿美元，客户包括英伟达、Legora 和韩国 AI 实验室 Motif Technologies。AfterQuery 专注于训练模型和代理如何像专业人士一样完成任务，而非仅确保答案准确。

ChainCatcher 消息，Anthropic 表示，公司暂时暂停部分 AI 训练和网络安全评估。该公司在一篇博客文章中披露相关调整，解释今年早些时候其 AI 智能体采取未经授权行动后所作出的应对措施。OpenAI 此前表示，出于安全方面的担忧，已暂停部分模型开发工作。Anthropic 也确认采取了类似措施，并强调有必要对前沿 AI 的发展速度进行更广泛的协调。Anthropic 表示，在 7 月披露三起相关事件后，公司暂停了对预发布模型进行的外部网络安全评估，同时也曾短暂暂停内部针对预发布模型的测试。事件发生后，公司还暂停了预发布模型中风险较高的强化学习环境，持续数周。Anthropic 称，大部分强化学习工作已经恢复，但部分高风险环境仍处于暂停状态，等待人工审查或更新监控工具。

ChainCatcher 消息，据 The Verge 报道，索尼音乐出版公司和华纳查佩尔音乐已在美国加利福尼亚州北区联邦地方法院对 Anthropic 提起诉讼，就涉及“数万部”受版权保护的作品寻求损害赔偿。其指控 Anthropic 大规模非法下载、抓取和传播受版权保护的作品，以开发、训练 Claude 系列 AI 模型。原告方要求针对每部作品赔偿最高 15 万美元，并针对每次移除可识别版权数据的行为额外索赔最高 2.5 万美元。除起诉 Anthropic 外，诉状还将联合创始人 Dario Amodei 和 Benjamin Mann 列为个人被告。诉讼指控 Mann 利用 BitTorrent 下载了超过 500 万本盗版书籍，且员工从 Pirate Library Mirror 下载了至少 200 万本。诉状还声称，Anthropic 从 MusixMatch 和 LyricFind 等网站抓取了歌词。Anthropic 近期刚与出版业就另一起诉讼达成了 15 亿美元的和解，同时还面临着来自环球音乐集团、Concord 和 ABKCO 的多项诉讼，以及 BMG 和 Round Hill Music 分别提起的诉讼。

ChainCatcher 消息，据 TIME 报道，OpenAI CEO Sam Altman 近日接受采访时表示，公司已向重要客户预览即将推出的前沿模型系列 Astra。演示中，16 个 AI 智能体可协同拆解数学难题并组装证明，Astra 还能以超人类速度跨应用操作电脑软件。Altman 称，Astra 将支持可长期执行任务的“持久智能体”，并预计成为首个能以有意义方式发明新事物的模型，具备类 AGI 特征。过去一年 OpenAI 在产品方向与预训练研究上落后于预期，被 Anthropic 在编程产品、年化收入及估值上超越。公司经历多位高管离职，同时面临多起产品责任诉讼、与苹果及马斯克的法律纠纷等挑战。OpenAI 当前估值近 1 万亿美元，ChatGPT 月活用户超 10 亿。近期 OpenAI 披露安全事故：未发布智能体逃出沙盒并攻击 Hugging Face。此后研究团队冻结部分实验、加强监控，并暂停一项有望带来最大能力跃升的未发布模型训练，直至新安全措施到位。Altman 强调“把 AI 安全做好比任何公司的发展势头更重要”，公司将放缓节奏、向安全与对齐团队倾斜资源。首席研究官 Mark Chen 估计公司距离 AGI 已完成约 80%，Altman 称年底前内部系统或可称为 AGI。

ChainCatcher 消息，据 X 用户 synthwavedd 披露，OpenAI 近日完成下一阶段预训练，内部代号为“Bel”，系此前“Doug”的继任模型。该模型总参数量超过 10T，规模与 GPT-4.5 相近，预计经进一步强化学习后，将成为 Astra 及 GPT-6 的基础模型，并有望作为后 GPT-6 时代乃至接近 AGI 门槛模型的底座。消息称，这一进展令 Anthropic 感到担忧。OpenAI 方面认为 Anthropic 目前尚无足以应对 Astra 公开发布的有效方案；知情人士称这一判断基本属实，主因在于算力受限。Anthropic 正为今年剩余时间可能由 OpenAI 主导做好准备，但预计明年年初有望重新取得领先。

ChainCatcher 消息，据 TrendForce 报道，在 Hot Chips 2026 上，美光强调 AI 算力进步快于存储提升，“存储墙”挑战日益突出。美光 Fellow Raghu Sriramaneni 指出，AI 加速器算力约每两年提升三倍，而 HBM 带宽同期增幅不足两倍，差距可能进一步扩大。对 HBM 依赖加深也带来可靠性问题，美光援引 Meta Llama 3 数据称，HBM 故障约占非预期训练中断的 17%。模糊计算与存储边界的新设计或有助于突破瓶颈。HBM 扩展还带来面积与供应压力：最新一代封装将两颗 GPU 与八个 12 层 HBM4 堆栈集成，存储约占半导体面积 90%，超过 GPU 所占面积的八倍；以 HBM 实现同等容量约需标准 DDR5 DRAM 三倍晶圆。热管理亦成关键约束，液冷与超薄芯片等方案正被探索。美光正推进互连、封装与冷却创新，包括面向存储优化的 SerDes 与 die-to-die PHY、更大尺寸 SiP 与玻璃基板先进封装，以及液冷、混合键合等，并开发 fusion bonding 以降低热阻并提升数据吞吐。

ChainCatcher 消息，据晚点 LatePost 报道，字节跳动正在讨论训练参数规模超 5 万亿的大模型，超过阿里 Qwen 3.8-Max（2.4 万亿）和月之暗面 K3（2.8 万亿），为目前国内已知最大规模方案。该计划仍处早期，不代表最终一定发布。新模型拟由 Seed Foundation 负责人项亮主导，并与大语言模型预训练数据负责人沈科合作，Seed 正据此重新梳理组织、划分职责并分配资源。两周前，字节跳动创始人张一鸣与 Seed 负责人吴永辉召开全员会。张一鸣安抚团队称训大模型本就很难，一段时间内可接受落后，希望以追求智能上限为目标、跻身世界第一梯队；他认可编程是当前关键方向，主张整合火山引擎、飞书与豆包资源以构筑算力和数据优势，同时提醒勿被单一热点牵着走。他表扬 Seedance 的差异化领先，并明确反对蒸馏，认为其难以真正超越，应从更底层构建 AGI 壁垒，并表示公司将在 AI 上持续加大投入。过去半年 Seed 多模态表现突出，Seedance 2.0、Seedream 等带动火山引擎 MaaS，但语言模型 Seed 2.0 市场反响有限，Coding 能力落后影响收入结构。字节已高薪引入郭达雅专攻 Coding，并收拢相关资源。面对行业普遍做大模型尺寸的趋势，字节希望以更大规模争取弯道超车，同时推动取消赛马、打破部门墙，集中力量攻坚。

ChainCatcher 消息，据 SemiAnalysis 播客披露，Anthropic 因监管压力对其旗舰模型 Mythos 的公开版本 Fable 设置了极为严格的分类器（Classifiers），用户尝试特定操作时会被立即降级至 Opus 模型，且对话中无法撤回。SemiAnalysis 创始人 Dylan Patel 表示，分类器限制“过于严苛”，内部员工甚至无法用其完成常规任务。 播客中提到，Mythos 模型早在 2 月便完成训练，但 Anthropic 直至 5 月才以 Fable 名义发布。Jordan 在讨论中称，据其了解 Mythos 2 已完成训练但未发布，内部研发团队被认为仍在继续迭代。分析师认为，Anthropic 此前长期呼吁监管，如今监管落地反而限制了自身模型的发布节奏。类似地，OpenAI 也在推迟下一代模型的公开发布，但内部训练仍在推进，内部模型与公开模型之间的能力差距或持续扩大。

ChainCatcher 消息，据路透社报道，苹果已针对中国市场训练了一款大语言模型，与阿里巴巴合作开发。这一举措不同于苹果此前依赖第三方模型的策略。 知情人士透露，苹果的 AI 工具套件 Apple Intelligence 预计将在 iOS 更新后，于未来几个月在中国推出。

ChainCatcher 消息，SKALE Labs 于 8 月 12 日宣布推出 Agent Pit。该平台是运行在 SKALE 零 Gas 区块链上的纸面交易预测市场沙盒，完整镜像 Polymarket 的订单簿、结算机制与实时事件数据，供开发者与 AI 代理在无真实资金风险的情况下测试和训练交易策略。 Agent Pit 是 SKALE Agentic Venture Studio 的首个产品。开发者可在此微调代理、参与模拟 ROI 排行榜竞赛，并在完成训练后将模型部署至 Polymarket 等真实市场。SKALE Labs CEO Jack O’Holleran 表示，市场对面向代理的预测市场策略训练环境存在明确需求。

ChainCatcher 消息，据英国金融时报，随着中国企业继续缩小与美国顶级人工智能实验室之间的差距，字节跳动正在训练一款 AI 模型，其规模可能接近 Anthropic 最先进的 Mythos 系统。据三名知情人士透露，这家中国科技巨头目前正处于训练一款超大规模模型的早期阶段，该模型参数量可能达到 10 万亿级别，是目前中国已发布最大模型月之暗面旗下 Kimi K3 模型的约三倍。 其中一位知情人士表示，字节跳动的模型目前正在进行预训练，这一阶段通常需要三到六个月，如果一切顺利，之后将进行微调并发布。模型的具体规模将在后期确定。Anthropic 并未公开其模型的参数规模，但行业估计显示，其最先进的 Mythos 5 模型参数量约为 8 万亿，Fable 5 约为 5 万亿。 需要注意的是，参数数量决定了模型存储信息的基础容量或记忆上限，但模型实际能力还取决于其他因素，包括数据质量、训练方式等。

ChainCatcher 消息，据金十报道，马斯克表示，GROK 5 将基于 SpaceX 数据进行训练。

ChainCatcher 消息，据金十报道，亚马逊云服务（AWS） CEO 表示，人工智能业务正从训练阶段转向推理阶段。

ChainCatcher 消息，Kimi.ai 团队在开放 Kimi K3 模型权重和技术报告的同时，陆续开源多项底层基础设施：包括用于分布式 MoE 训练的高性能通信库 MoonEP、面向大规模智能体工作流的分布式环境系统 AgentENV（与 kvcache-ai 合作），以及基于 CUTLASS 的 Kimi Delta Attention 高性能内核 FlashKDA。官方称，这些组件可降低大规模 MoE 与智能体强化学习训练中的通信与推理开销，并作为 flash-linear-attention 的即插即用后端使用。

ChainCatcher 消息，针对美国白宫科技政策办公室主任 Michael Kratsios 关于 Moonshot AI（Kimi）在开发 K3 模型时参考 Anthropic Fable 并搭建大规模蒸馏平台的指控，Moonshot AI 团队成员 Randy Xia 回应称，Fable 于 7 月 1 日 发布，K3 于 7 月 15 日 上线，按此时间线相当于在 15 天 内完成了模型研究、蒸馏、训练和发布。他调侃道：“我们仅用 15 天就训练出了一个全新的前沿模型，这简直是创造了吉尼斯世界纪录啊。” Kratsios 此前发文称，Moonshot AI 建立了一套能够针对美国模型进行大规模蒸馏的内部平台，通过多种访问方式切换以规避检测，并已采购 GB300 服务器及访问泰国相关设备用于训练。美方表示支持合法蒸馏，但反对以秘密工业蒸馏手段窃取技术。