Kimi K3 và chiến lược định tuyến Fable đạt được độ chính xác 93%, chi phí có thể giảm tới 50 lần

Tin tức từ ChainCatcher, Fireworks AI đã phát hành báo cáo đánh giá cho biết, đã tiến hành so sánh giữa mô hình mã nguồn mở Kimi K3 và mô hình mã nguồn đóng Fable 5 trên khoảng 1030 nhiệm vụ đại lý (bao gồm các lĩnh vực như SWE, vận hành cuối, thuật toán, mã hóa đa ngôn ngữ và pháp lý). Kết quả cho thấy, độ chính xác của hai mô hình trên chuẩn SWE lần lượt là 92.4% và 92.6%, hiệu suất tổng thể gần như tương đương, nhưng trong các lĩnh vực cụ thể thì mỗi mô hình có thế mạnh riêng: K3 dẫn đầu trong lĩnh vực toán học ký hiệu và công cụ phát triển, trong khi Fable vượt trội trong lĩnh vực Web và trực quan hóa dữ liệu; trong các nhiệm vụ dài hạn ở cuối, K3 đã độc lập giải quyết được 11 nhiệm vụ mà Fable không thể hoàn thành.

Báo cáo chỉ ra rằng, việc áp dụng chiến lược định tuyến theo nhiệm vụ có thể phân bổ động giữa hai mô hình, đạt được độ chính xác 93%, vượt qua bất kỳ mô hình đơn lẻ nào. Đồng thời, do K3 có lợi thế chi phí đáng kể trên nền tảng Fireworks, chi phí cho các nhiệm vụ đại lý dài hạn có thể thấp hơn Fable tới 50 lần. Báo cáo khuyến nghị sử dụng mô hình mã nguồn mở làm tùy chọn mặc định, thông qua bộ định tuyến để liên tục học hỏi sự phù hợp tối ưu giữa nhiệm vụ và mô hình, nhằm cân bằng giữa chất lượng và chi phí.