Kimi K3 mã nguồn mở hỗ trợ nhiều thành phần cốt lõi cho việc đào tạo trí tuệ nhân tạo quy mô lớn
Tin tức từ ChainCatcher, đội ngũ Kimi.ai đã mở nguồn trọng số mô hình Kimi K3 và báo cáo kỹ thuật, đồng thời lần lượt mở nguồn nhiều hạ tầng cơ sở: bao gồm thư viện giao tiếp hiệu suất cao MoonEP cho đào tạo MoE phân tán, hệ thống môi trường phân tán AgentENV hướng tới quy trình làm việc của các tác nhân quy mô lớn (hợp tác với kvcache-ai), cũng như nhân FlashKDA hiệu suất cao Kimi Delta Attention dựa trên CUTLASS.Chính thức cho biết, các thành phần này có thể giảm thiểu chi phí giao tiếp và suy diễn trong đào tạo MoE quy mô lớn và học tăng cường tác nhân, đồng thời được sử dụng như một backend cắm và chạy cho flash-linear-attention.
