模型蒸馏

ChainCatcher 消息，字节跳动创始人张一鸣上月在 Seed 团队全员会上明确表示，公司不会将模型蒸馏作为追赶大模型的捷径，即使因此暂时落后于国内竞争对手。他要求团队愿意牺牲短期收益以换取长期目标。 蒸馏是指让新模型学习更强模型的输出，可节省训练时间和算力。字节内部认为，这一选择将使 Seed 的语言模型在短期内更难追上 DeepSeek、Kimi 及千问等国内同行。但字节更担心的在于政治风险：公司长期因 TikTok 接受美国政府审查，一旦被指控大规模提取美国前沿模型能力，华盛顿可能重新向 TikTok 施压。此前 Anthropic 曾指控 DeepSeek、月之暗面、MiniMax、智谱及阿里巴巴大规模提取 Claude 的能力，但未点名字节。

ChainCatcher 消息，美国白宫科技政策办公室主任 Michael Kratsios 发文称，已掌握信息显示 Moonshot AI 通过搭建大规模内部平台，对 Anthropic 的 Fable 模型进行蒸馏，用于开发其 K3 模型，并多次切换访问方式以规避检测。他还指出，Moonshot AI 已采购 GB300 服务器并访问了泰国的 GB300 设备，可能用于训练 AI 模型。Kratsios 表示，美方支持合法蒸馏与开放创新，但反对以大规模秘密工业蒸馏手段窃取美国技术。目前 Moonshot AI 尚未就此公开回应。