Mô hình mới của Zhipu bị rò rỉ có tối đa 35 triệu tỷ tham số, có khả năng đạt cấp độ Claude Fable

Theo thông tin từ Beating AI, một biên bản phỏng vấn chuyên gia đang lưu hành trong cộng đồng đầu tư cho biết, mô hình nền tảng thế hệ tiếp theo của công ty trí tuệ nhân tạo Tri Phú không phải là 16 nghìn tỷ tham số như tin đồn trước đó, mà là từ 25 nghìn tỷ đến 35 nghìn tỷ tham số. Mô hình GLM-5.3 mà Tri Phú phát hành vào tháng 8 năm nay vẫn sử dụng nền tảng thế hệ trước, với tổng tham số khoảng 744 tỷ; nếu thông tin này là chính xác, quy mô nền tảng mới khoảng 3,4 đến 4,7 lần so với hiện tại.

Biên bản cũng cho biết, việc huấn luyện không diễn ra suôn sẻ, Tri Phú đã áp dụng kiến trúc mô hình táo bạo hơn, trong thời gian tiền huấn luyện đã có lúc xuất hiện Loss không giảm, tức là liên tục đầu tư sức mạnh tính toán nhưng các chỉ số huấn luyện không thể cải thiện. Người được phỏng vấn cho rằng vấn đề này gần đây đã được giải quyết, dự kiến sẽ hoàn thành huấn luyện sớm và dự đoán mô hình mới có thể đạt được cấp độ flagship tương đương Claude Fable.

Biên bản cũng cho biết, mô hình mới từ giai đoạn thiết kế kiến trúc đã đặt tốc độ suy diễn và chi phí là những ràng buộc cứng, mục tiêu là có thể cung cấp dịch vụ quy mô lớn ngay trong ngày phát hành đầu tiên. Đồng thời, đã có nhiều nhà cung cấp đám mây đang thảo luận về việc chia sẻ doanh thu để đối phó với vấn đề mô hình lớn phát triển ra nhưng không đủ cung cấp.