蒸餾

ChainCatcher 消息，X 用戶 choblin29 發文稱，OpenAI 應用研究負責人 Boris Power 表示，公司已有 80% 至 90% 的研究聚焦於 GPT-7、GPT-8 及後續模型。Power 認為，同一代模型內部的改進在內部被視為極短期投入，可用於加快當下學習，但並非長期策略。據該帖整理，相關路徑是先構建大型前沿模型，再將其作為教師模型，蒸餾為更小、更便宜的模型。Power 提到，GPT-6 Astra 可被蒸餾為 Luna 等模型，並認為構建小型專用模型的較好方式，可能是先訓練能力更強的通用模型。他還稱，當前最大問題並非模型性能，多數用戶仍不了解現有 AI 已經能夠完成的工作。

ChainCatcher 消息，据 CNBC 報導，Y Combinator 首席執行官 Garry Tan 在 YC 年度 Demo Day 上表示，對於 OpenAI、Anthropic 模型遭中國企業（包括 DeepSeek、Moonshot AI、MiniMax 等）蒸餾一事，他選擇"什麼都不做"，並建議監管者轉而聚焦於維持開放權重模型與前沿模型之間的商業平衡。Tan 同時對 AI 末日論持保留態度，認為網絡安全才是當前最緊迫的風險，而 AI 引發的就業衝擊和經濟變革則需數十年才會真正滲透至社會。

ChainCatcher 消息，美國國家安全局、FBI 和 CISA 發布聯合報告，點名 DeepSeek、月之暗面、阿里、MiniMax、階躍星辰和智譜。美方指控上述公司自至少 2024 年底起，批量調用 Claude、GPT、Gemini 和 Grok 的輸出訓練自家模型，累計涉及數百萬次請求、數十億 Token。報告列出具體模型，DeepSeek 被指用多款 Claude、GPT、Gemini 和 Grok 為 R1、V3 生成訓練數據；月之暗面被指用 Claude Fable 5 數據訓練 Kimi K3，用 GPT-4o 數據訓練 Kimi K2。美方稱這些公司還通過大量帳號、第三方 API 聚合商和灰色中轉站繞過地區限制，並用提示詞嘗試套出模型隱藏的推理過程，將此類行為稱為惡意蒸餾。

ChainCatcher 消息，字節跳動創始人張一鳴上月在 Seed 團隊全員會上明確表示，公司不會將模型蒸餾作為追趕大模型的捷徑，即使因此暫時落後於國內競爭對手。他要求團隊願意犧牲短期收益以換取長期目標。蒸餾是指讓新模型學習更強模型的輸出，可節省訓練時間和算力。字節內部認為，這一選擇將使 Seed 的語言模型在短期內更難追上 DeepSeek、Kimi 及千問等國內同行。但字節更擔心的在於政治風險：公司長期因 TikTok 接受美國政府審查，一旦被指控大規模提取美國前沿模型能力，華盛頓可能重新向 TikTok 施壓。此前 Anthropic 曾指控 DeepSeek、月之暗面、MiniMax、智譜及阿里巴巴大規模提取 Claude 的能力，但未點名字節。

ChainCatcher 消息，据 The Information 報導，字節跳動創始人張一鳴在上月的一次會議上告訴員工，公司不會使用蒸餾技術來推進其人工智慧模型能力，即使這意味著公司暫時落後於國內競爭對手。

ChainCatcher 消息，針對美國白宮科技政策辦公室主任 Michael Kratsios 關於 Moonshot AI（Kimi）在開發 K3 模型時參考 Anthropic Fable 並搭建大規模蒸餾平台的指控，Moonshot AI 團隊成員 Randy Xia 回應稱，Fable 於 7 月 1 日 發布，K3 於 7 月 15 日 上線，按此時間線相當於在 15 天 內完成了模型研究、蒸餾、訓練和發布。他調侃道："我們僅用 15 天就訓練出了一個全新的前沿模型，這簡直是創造了吉尼斯世界紀錄啊。"Kratsios 此前發文稱，Moonshot AI 建立了一套能夠針對美國模型進行大規模蒸餾的內部平台，通過多種訪問方式切換以規避檢測，並已採購 GB300 伺服器及訪問泰國相關設備用於訓練。美方表示支持合法蒸餾，但反對以秘密工業蒸餾手段竊取技術。

ChainCatcher 消息，美國白宮科技政策辦公室主任 Michael Kratsios 發文稱，已掌握資訊顯示 Moonshot AI 透過搭建大規模內部平台，對 Anthropic 的 Fable 模型進行蒸餾，用於開發其 K3 模型，並多次切換訪問方式以規避檢測。他還指出，Moonshot AI 已採購 GB300 伺服器並訪問了泰國的 GB300 設備，可能用於訓練 AI 模型。Kratsios 表示，美方支持合法蒸餾與開放創新，但反對以大規模秘密工業蒸餾手段竊取美國技術。目前 Moonshot AI 尚未就此公開回應。