Чжан Иминь: ByteDance не будет использовать упрощенные методы дистилляции моделей, предпочитая временно отставать от больших моделей

Сообщение ChainCatcher, основатель ByteDance Чжан Имин на собрании всей команды Seed в прошлом месяце четко заявил, что компания не будет использовать дистилляцию моделей как кратчайший путь к большим моделям, даже если из-за этого временно отстанет от отечественных конкурентов. Он потребовал от команды готовности пожертвовать краткосрочной выгодой ради долгосрочных целей.

Дистилляция означает, что новая модель учится на выходах более сильной модели, что может сэкономить время на обучение и вычислительные ресурсы. Внутри ByteDance считают, что этот выбор сделает языковую модель Seed более трудной для догоняния таких отечественных конкурентов, как DeepSeek, Kimi и Цяньвэнь в краткосрочной перспективе. Однако ByteDance больше беспокоит политический риск: компания долгое время подвергается проверке со стороны правительства США из-за TikTok, и если ее обвинят в массовом извлечении возможностей передовых моделей США, Вашингтон может снова оказать давление на TikTok. Ранее Anthropic обвинял DeepSeek, Лунную Тень, MiniMax, Zhìpǔ и Alibaba в массовом извлечении возможностей Claude, но не упоминал ByteDance.