ByteDance huấn luyện mô hình AI 10 triệu tỷ tham số, nhắm đến trình độ hàng đầu toàn cầu

Theo thông tin từ ChainCatcher, theo Financial Times của Anh, khi các doanh nghiệp Trung Quốc tiếp tục thu hẹp khoảng cách với các phòng thí nghiệm trí tuệ nhân tạo hàng đầu của Mỹ, ByteDance đang huấn luyện một mô hình AI có quy mô có thể gần với hệ thống Mythos tiên tiến nhất của Anthropic. Theo ba nguồn tin thân cận, gã khổng lồ công nghệ Trung Quốc này hiện đang ở giai đoạn đầu trong việc huấn luyện một mô hình siêu quy mô, với số lượng tham số có thể đạt tới 10 triệu tỷ, gấp khoảng ba lần mô hình Kimi K3 thuộc thương hiệu Moonlight đã được công bố lớn nhất tại Trung Quốc.

Một trong những nguồn tin cho biết, mô hình của ByteDance hiện đang trong giai đoạn tiền huấn luyện, giai đoạn này thường mất từ ba đến sáu tháng, nếu mọi thứ diễn ra suôn sẻ, sau đó sẽ tiến hành tinh chỉnh và phát hành. Quy mô cụ thể của mô hình sẽ được xác định sau. Anthropic chưa công khai quy mô tham số của mô hình của họ, nhưng ước tính trong ngành cho thấy, mô hình Mythos 5 tiên tiến nhất của họ có số lượng tham số khoảng 8 triệu tỷ, còn Fable 5 khoảng 5 triệu tỷ.

Cần lưu ý rằng, số lượng tham số quyết định dung lượng cơ bản để mô hình lưu trữ thông tin hoặc giới hạn bộ nhớ, nhưng khả năng thực tế của mô hình còn phụ thuộc vào các yếu tố khác, bao gồm chất lượng dữ liệu, phương pháp huấn luyện, v.v.