预训练

ChainCatcher 消息，Dwarkesh Patel 与 Jerry Han 于 2026 年 9 月 8 日发布研究，拆解 2019 至 2025 年预训练进展中数据与模型改进的贡献。研究在较小规模、针对预训练进行，每年对应当年公开的模型配方与公开数据语料，并在最高 1e19 FLOPs 的训练计算规模上组合训练。结果显示，在 1e19 FLOPs 计算预算下，数据改进带来的计算效率增益为 12.0 倍，模型改进为 3.7 倍，数据侧增益约为模型侧的 3.24 倍。数据与模型改进的增益大体独立、几乎不交互，线性模型下二者加性效应可解释 OLMES 分数 88% 的方差。模型侧从 GPT-2 演进至 OLMo-2，涵盖优化器、位置编码、归一化、激活函数与初始化等。数据侧从 2019 年约 90 亿 token 的 OpenWebText，演进至 2025 年规模更大、过滤更精细的 UltraFineWeb 等语料。

ChainCatcher 消息，据 X 用户 synthwavedd 披露，OpenAI 近日完成下一阶段预训练，内部代号为“Bel”，系此前“Doug”的继任模型。该模型总参数量超过 10T，规模与 GPT-4.5 相近，预计经进一步强化学习后，将成为 Astra 及 GPT-6 的基础模型，并有望作为后 GPT-6 时代乃至接近 AGI 门槛模型的底座。消息称，这一进展令 Anthropic 感到担忧。OpenAI 方面认为 Anthropic 目前尚无足以应对 Astra 公开发布的有效方案；知情人士称这一判断基本属实，主因在于算力受限。Anthropic 正为今年剩余时间可能由 OpenAI 主导做好准备，但预计明年年初有望重新取得领先。

ChainCatcher 消息，据英国金融时报，随着中国企业继续缩小与美国顶级人工智能实验室之间的差距，字节跳动正在训练一款 AI 模型，其规模可能接近 Anthropic 最先进的 Mythos 系统。据三名知情人士透露，这家中国科技巨头目前正处于训练一款超大规模模型的早期阶段，该模型参数量可能达到 10 万亿级别，是目前中国已发布最大模型月之暗面旗下 Kimi K3 模型的约三倍。 其中一位知情人士表示，字节跳动的模型目前正在进行预训练，这一阶段通常需要三到六个月，如果一切顺利，之后将进行微调并发布。模型的具体规模将在后期确定。Anthropic 并未公开其模型的参数规模，但行业估计显示，其最先进的 Mythos 5 模型参数量约为 8 万亿，Fable 5 约为 5 万亿。 需要注意的是，参数数量决定了模型存储信息的基础容量或记忆上限，但模型实际能力还取决于其他因素，包括数据质量、训练方式等。

ChainCatcher 消息，马斯克在 X 平台发文称，Grok 3 即将推出，预训练现已完成，计算量比 Grok 2 多 10 倍。

ChainCatcher 消息，据 Cointelegraph 报道，OpenAI 联合创始人 Ilya Sutskever 在温哥华 NeurIPS 2024 大会上表示，AI 预训练时代即将结束，AI 超级智能时代即将到来。他将数据比作化石燃料，指出互联网数据增长已达峰值，而算力增长速度已超过可用训练数据总量。 Sutskever 预测，AI 发展的下一阶段将由三大方向主导：自主 AI 代理、合成数据和推理时计算。