Coinbase: đã giảm chi tiêu cho AI gần 50%, đang cố gắng áp dụng mô hình trọng số mở theo mặc định

Tin tức từ ChainCatcher, CEO của Coinbase, Brian Armstrong, đã đăng bài giới thiệu về những tiến triển mới nhất của công ty trong việc tối ưu hóa chi phí AI.

Armstrong cho biết, khi lượng sử dụng AI và tiêu thụ Token tiếp tục tăng, chìa khóa để kiểm soát chi phí không phải là hạn chế nhân viên sử dụng hoặc thường xuyên gửi nhắc nhở về ngân sách, mà là tối ưu hóa lựa chọn mô hình mặc định, cơ chế định tuyến nhiệm vụ và chiến lược bộ nhớ đệm.

Ông tiết lộ, Coinbase đang thử nghiệm các mô hình trọng số mở như GLM 5.2, Kimi 2.7 làm tùy chọn mặc định thông qua cổng LLM nội bộ, đồng thời vẫn cho phép kỹ sư chọn các mô hình khác dựa trên nhu cầu nhiệm vụ cụ thể. Dữ liệu cho thấy, 91% nhân viên của công ty chưa bao giờ đạt đến giới hạn sử dụng AI, vì vậy Coinbase không chọn thắt chặt hạn ngạch, mà thay vào đó nâng cao hiệu quả tổng thể thông qua các giải pháp mô hình có chi phí thấp hơn.

Về định tuyến mô hình, Coinbase sẽ xử lý trước các từ gợi ý và kết hợp tỷ lệ trúng đích bộ nhớ đệm cũng như tình hình định giá của các mô hình khác nhau, tự động phân bổ nhiệm vụ cho mô hình phù hợp nhất. Armstrong cho rằng, các nhiệm vụ phức tạp như lập kế hoạch và suy luận có thể cần hỗ trợ từ các mô hình tiên tiến, nhưng các nhiệm vụ thực thi chưa chắc đã cần gọi các mô hình có chi phí cao hơn. Trong tương lai, quá trình lựa chọn mô hình nên được thực hiện nhiều hơn bởi AI tự động, thay vì phụ thuộc vào quyết định của con người.

Ngoài ra, ông chỉ ra rằng tỷ lệ trúng đích bộ nhớ đệm là một trong những yếu tố quan trọng ảnh hưởng đến chi phí AI. Coinbase đã tích hợp cơ chế nhận thức bộ nhớ đệm vào quy trình yêu cầu để nâng cao tỷ lệ tái sử dụng kết quả lịch sử. Lấy ví dụ về LibreChat, sau khi tối ưu hóa giải pháp bộ nhớ đệm, tỷ lệ trúng đích bộ nhớ đệm của nó đã tăng từ 5% lên 60%.

Armstrong cũng cho biết, công ty yêu cầu các kỹ sư cố gắng giữ cho ngữ cảnh ngắn gọn, bao gồm việc mở phiên mới khi chuyển đổi nhiệm vụ, thu hẹp phạm vi ngữ cảnh tệp và tắt các công cụ không sử dụng, nhằm giảm thiểu tiêu thụ Token không cần thiết.

Theo ông tiết lộ, thông qua các biện pháp trên, Coinbase đã thành công trong việc giảm chi tiêu cho AI gần 50%, trong khi lượng sử dụng Token vẫn giữ được đà tăng trưởng.