Tencent Hỗn Nguyên Mở Hy4 Trọng Số, Hỗ Trợ Triệu Token Ngữ Cảnh
Đội ngũ Hỗn Nguyên của Tencent đã công bố trọng số mô hình của mô hình đa phương thức gốc Hy4. Hy4 sử dụng kiến trúc chuyên gia hỗn hợp (MoE), với tổng số tham số là 770 tỷ, mỗi Token kích hoạt 49 tỷ tham số, độ dài ngữ cảnh là 1 triệu Token.
Đội ngũ Hỗn Nguyên của Tencent cũng phát hành thẻ hệ thống Hy4, trong đó bao gồm báo cáo đánh giá an toàn, và dự kiến sẽ tổ chức một buổi hỏi đáp trực tuyến trên cộng đồng r/LocalLLaMA của Reddit vào sáng thứ Sáu theo giờ Thái Bình Dương từ 8 giờ đến 10 giờ, để trả lời các câu hỏi liên quan đến mô hình dòng Hy.
Thẻ liên quan






