바이트토크가 5조 개 이상의 매개변수 모델 훈련을 논의하고, 시드 기반 팀이 아키텍처를 조정합니다
저녁 점 LatePost 보도에 따르면, 바이트댄스는 5조 이상의 훈련 매개변수를 가진 대형 모델을 논의 중이며, 이는 알리 Qwen 3.8-Max(2.4조)와 월의 어두운 면 K3(2.8조)를 초과하여 현재 국내에서 알려진 최대 규모의 계획이다. 이 계획은 아직 초기 단계에 있으며, 최종적으로 발표될 것이라는 보장은 없다. 새로운 모델은 Seed Foundation 책임자 샹량이 주도하며, 대형 언어 모델 사전 훈련 데이터 책임자 션커와 협력할 예정이다. Seed는 이를 바탕으로 조직을 재정비하고, 책임을 분담하며, 자원을 배분하고 있다.2주 전, 바이트댄스 창립자 장이밍과 Seed 책임자 우융후이가 전원 회의를 개최했다. 장이밍은 팀을 안심시키며 대형 모델 훈련이 본래 어렵다는 점을 강조하고, 일정 기간 동안 뒤처지는 것을 수용할 수 있으며, 지능의 한계를 추구하여 세계 1위 대열에 진입할 목표를 세우고자 한다고 말했다. 그는 프로그래밍이 현재의 핵심 방향이라고 인정하며, 화산 엔진, 페이서 및 두부 자원을 통합하여 컴퓨팅 파워와 데이터 우위를 구축할 것을 주장했다. 동시에 단일 핫스팟에 휘둘리지 말 것을 경고했다. 그는 Seedance의 차별화된 선두를 칭찬하며, 증류에 명확히 반대한다고 밝혔고, 이는 진정으로 초월하기 어렵다고 생각하며, 더 근본적인 AGI 장벽을 구축해야 한다고 말했다. 또한 회사는 AI에 대한 투자를 지속적으로 늘릴 것이라고 밝혔다.지난 6개월 동안 Seed의 다중 모달 성과가 두드러졌으며, Seedance 2.0, Seedream 등이 화산 엔진 MaaS를 이끌었다. 그러나 언어 모델 Seed 2.0의 시장 반응은 제한적이며, 코딩 능력의 부족이 수익 구조에 영향을 미치고 있다. 바이트는 고액 연봉으로 궈다야를 코딩 전문으로 영입하고, 관련 자원을 통합했다. 업계가 대형 모델 크기를 키우는 일반적인 추세에 직면하여, 바이트는 더 큰 규모로 곡선 추월을 목표로 하며, 경마를 취소하고 부서 장벽을 허물어 집중적으로 문제를 해결하고자 한다.
