Baidu Open Source Wenxin 5.5 Flash, tổng tham số 2800 tỷ
Mô hình trọng số ERNIE-5.5-Flash-Base được Baidu mở nguồn. Sau khi phát hành loạt mô hình Wenxin 4.5 vào tháng 6 năm 2025, Baidu đã mở nguồn lại mô hình lớn với hàng trăm tỷ tham số sau khoảng 16 tháng, trong thời gian này, các phiên bản Wenxin 5.0 và 5.1 đều không được mở nguồn. Wenxin 5.5 Flash chủ yếu tập trung vào hiệu suất suy diễn, với tổng số tham số là 2800 tỷ, chỉ kích hoạt 140 tỷ tham số cho mỗi Token được tạo ra, và sử dụng 33,5 triệu tỷ Token để huấn luyện từ đầu.Mô hình này hỗ trợ ngữ cảnh suy diễn tối đa 1 triệu Token. Baidu đã thiết kế lại cơ chế xử lý văn bản dài, trong 43 lớp mạng có 37 lớp nén mỗi 128 Token lịch sử thành một bản ghi bộ nhớ đệm, 6 lớp còn lại giữ lại khả năng tìm kiếm tinh vi đối với nội dung gốc, nhằm giảm thiểu chi phí bộ nhớ và tính toán trong việc xử lý văn bản dài. Chính thức, nó đã được đánh giá đồng nhất với DeepSeek-V4-Flash-Base, Tencent Hy3-preview-Base, Xiaomi MiMo-V2.5-Base, trong 30 bài kiểm tra chuẩn, có 24 bài đứng đầu.Lần này mở cửa là mô hình Base văn bản thuần chưa qua huấn luyện và hậu huấn luyện, chủ yếu dành cho các nhà phát triển tiếp tục thực hiện tinh chỉnh lĩnh vực, huấn luyện theo chỉ dẫn và học tăng cường. Baidu cho biết, phiên bản Wenxin 5.5 Flash đã qua hậu huấn luyện sẽ được phát hành sau. Giấy phép nghiêm ngặt hơn so với thế hệ trước, Wenxin 4.5 áp dụng giấy phép Apache 2.0, 5.5 Flash chuyển sang giấy phép tùy chỉnh, không cho phép sử dụng tại Liên minh Châu Âu, Vương quốc Anh và Hàn Quốc; các sản phẩm hoặc dịch vụ liên quan có doanh thu liên tục trên 50 triệu USD trong 12 tháng qua, trước khi thương mại phải có sự cho phép bằng văn bản của Baidu.
