gpt-2

ChainCatcher 消息，Dwarkesh Patel 与 Jerry Han 于 2026 年 9 月 8 日发布研究，拆解 2019 至 2025 年预训练进展中数据与模型改进的贡献。研究在较小规模、针对预训练进行，每年对应当年公开的模型配方与公开数据语料，并在最高 1e19 FLOPs 的训练计算规模上组合训练。结果显示，在 1e19 FLOPs 计算预算下，数据改进带来的计算效率增益为 12.0 倍，模型改进为 3.7 倍，数据侧增益约为模型侧的 3.24 倍。数据与模型改进的增益大体独立、几乎不交互，线性模型下二者加性效应可解释 OLMES 分数 88% 的方差。模型侧从 GPT-2 演进至 OLMo-2，涵盖优化器、位置编码、归一化、激活函数与初始化等。数据侧从 2019 年约 90 亿 token 的 OpenWebText，演进至 2025 年规模更大、过滤更精细的 UltraFineWeb 等语料。

ChainCatcher 消息，据 Cointelegraph 报道，OpenAI 创始人 Sam Altman 发文称，将在未来几个月内发布具有推理能力的“新型开源权重语言模型”，但首先希望收集“如何使其发挥最大效用”的反馈。开源权重语言模型是指可公开使用、下载、修改或部署的模型，虽不及完全开源模式开放，但相比完全封闭的 GPT-3 和 GPT-4 已是重大转变。 OpenAI 曾于 2019 年 2 月部分开源了 GPT-2 模型，同年 11 月完成全面开源。今年 2 月 12 日 Sam Altman 曾表示，公司计划在未来数周或数月内推出 GPT-4.5 和 GPT-5。