Báo cáo trắng của Microsoft chứng minh: Thay thế Harness, hiệu suất của Claude kém hơn một bậc

Tác giả｜Tiểu Tĩnh

Biên tập｜Từ Thanh Dương

Vào ngày 7 tháng 11, Microsoft đã phát hành một tài liệu kỹ thuật về hệ thống thực thi Agent, bao gồm một loạt kết quả thử nghiệm có phần bất ngờ: sử dụng cùng Claude Opus 4.8, chỉ cần thay đổi Harness đứng sau Copilot Studio, tỷ lệ hoàn thành nhiệm vụ phức tạp đã tăng 22,1 điểm phần trăm. Hệ thống mới gọi mô hình gần như gấp đôi số lần cho mỗi nhiệm vụ, nhưng lượng Token đầu vào đã giảm 21%.

Chỉ mười ngày trước, Microsoft vừa thông báo sẽ triển khai Copilot Harness thống nhất cho nhiều sản phẩm của mình và bán dịch vụ lưu trữ cho các nhà phát triển thông qua nền tảng đám mây.

Vào ngày 5 tháng 11, Mặt Trăng Tối vừa phát hành Kimi Hosted Agents (Agent được lưu trữ), chính thức đề xuất Harness as a Service. Vào tháng 8, DeepSeek đã mã nguồn mở Harness của mình; OpenAI, Anthropic đã sớm biến hệ thống vận hành nội bộ thành dịch vụ mà các nhà phát triển có thể gọi.

Hệ thống "vận hành" đứng sau mô hình lớn bắt đầu trở thành nhân tố quan trọng trong mắt các công ty mô hình.

Hình ảnh do AI tạo ra

01 Xâm nhập Harness

Harness có thể hiểu là một hệ thống vận hành Agent được xây dựng xung quanh mô hình lớn. Nó cho phép mô hình sử dụng các công cụ bên ngoài, thực hiện các nhiệm vụ nhiều bước liên tục và điều chỉnh hành động tiếp theo dựa trên kết quả thực hiện. Đối với các Agent cần hoạt động trong thời gian dài, Harness còn chịu trách nhiệm lưu trữ trạng thái nhiệm vụ, giúp công việc có thể tiếp tục sau khi bị gián đoạn.

Nó nằm ở một cấp độ khác so với các ứng dụng AI. Ví dụ, các sản phẩm như Claude Code, WorkBuddy trực tiếp hướng đến người dùng, trong khi Harness ở cấp độ cơ sở có thể được tái sử dụng cho các ứng dụng khác nhau, cũng có thể được cung cấp như một dịch vụ độc lập cho các nhà phát triển. Khi công việc mà Agent đảm nhận ngày càng phức tạp, Harness dần trở thành yếu tố quan trọng ảnh hưởng đến tỷ lệ thành công của nhiệm vụ, hiệu quả thực hiện và chi phí vận hành.

Anthropic là một trong những công ty mô hình sớm đầu tư vào nghiên cứu Harness, ban đầu là để giải quyết các vấn đề mà Claude Code gặp phải trong các nhiệm vụ lập trình kéo dài.

Cuối năm 2025, Anthropic phát hiện rằng, khi cửa sổ ngữ cảnh của Claude cạn kiệt, các cuộc đối thoại mới thường không thể tiếp nối công việc trước đó. Kỹ sư đã cải tiến Harness đứng sau Claude Code, cho phép Agent lưu trữ tiến độ trước khi kết thúc mỗi giai đoạn, và trong vòng tiếp theo, đọc lại các ghi chép này để tiếp tục hoàn thành nhiệm vụ chưa kết thúc. Như vậy, ngay cả khi một phiên làm việc của mô hình kết thúc, toàn bộ nhiệm vụ lập trình vẫn có thể tiếp tục tiến triển.

Vào tháng 4 năm nay, Anthropic đã ra mắt Managed Agents, cung cấp khả năng vận hành Agent này như một dịch vụ đám mây cho các nhà phát triển. Để các doanh nghiệp có thể vận hành Agent một cách lâu dài và ổn định, Anthropic cũng đã điều chỉnh kiến trúc cơ sở: Harness chịu trách nhiệm thúc đẩy thực hiện nhiệm vụ, lịch sử có thể được lưu trữ riêng, và sandbox của chương trình AI cũng có thể được thay thế bất cứ lúc nào. Ngay cả khi sandbox gặp sự cố, Agent vẫn có thể khôi phục công việc trước đó.

Từ hệ thống vận hành bên trong Claude Code đến dịch vụ lưu trữ hướng đến các nhà phát triển bên ngoài, Anthropic đã biến khả năng harness tích lũy nhiều năm thành sản phẩm độc lập.

OpenAI cũng chọn mở Harness đứng sau Codex cho nhiều nhà phát triển hơn. Vào tháng 2 năm nay, OpenAI tiết lộ rằng, phiên bản web của Codex, dòng lệnh và plugin IDE thực tế sử dụng cùng một hệ thống vận hành Agent. Vào tháng 8, Codex được định vị là nền tảng Harness mở, cho phép các ứng dụng bên thứ ba kết nối trực tiếp. API Agents được phát hành vào tháng 9, do OpenAI chịu trách nhiệm lưu trữ và bảo trì hệ thống này, các nhà phát triển có thể kết nối trực tiếp với môi trường vận hành của Agent.

Con đường này cho phép OpenAI vừa phục vụ người dùng trực tiếp thông qua Codex, vừa cung cấp khả năng thực hiện cơ sở cho các công ty phần mềm khác. Các nhà phát triển có thể giữ giao diện sản phẩm và quy trình kinh doanh của riêng mình, để Codex hoàn thành các nhiệm vụ cụ thể ở phía sau.

DeepSeek đã mã nguồn mở toàn bộ mã khung của Harness vào ngày 13 tháng 8 theo giấy phép MIT, họ đã đề xuất "Mọi thứ đều là Plugin", gần như tách toàn bộ hệ thống vận hành Agent thành các plugin có thể kết hợp tự do. Các nhà phát triển không chỉ có thể thay thế mô hình và công cụ bên ngoài, mà còn có thể điều chỉnh cách Agent gọi mô hình và thực hiện nhiệm vụ, thậm chí cho phép Agent tự viết và cài đặt các plugin mới.

Hệ thống dựa trên kiến trúc Cordis này hy vọng giúp các nhà phát triển không cần phải xây dựng hệ thống vận hành từ đầu, mà vẫn có thể phát triển các loại Agent khác nhau theo nhu cầu của mình.

Vào ngày 5 tháng 11, Kimi đã công bố Hosted Agents cung cấp môi trường đám mây 24/7, các doanh nghiệp có thể đưa Agent vào hệ thống nội bộ, cũng có thể nhúng vào sản phẩm bán ra bên ngoài, và rõ ràng đề xuất Harness as a service.

02 Sự tiến hóa của Harness

Trên thực tế, độ nóng của Harness không phải do các công ty mô hình khởi xướng.

Đầu năm nay, sự nổi bật của OpenClaw đã cho ngành thấy rằng, một công ty không có mô hình cơ bản cũng có thể thu hút một lượng lớn người dùng nhờ vào hệ thống vận hành Agent. Vào tháng 2, OpenAI đã tuyển dụng người sáng lập OpenClaw, Peter Steinberger, tham gia vào nghiên cứu phát triển Agent cá nhân thế hệ tiếp theo.

Sau đó, Nous Research đã ra mắt Hermes Agent, cố gắng để Agent lưu trữ kinh nghiệm tích lũy trong công việc thành các Kỹ năng có thể tái sử dụng và cải tiến trong các nhiệm vụ tiếp theo.

Cuối tháng 3, Đại học Stanford và các tổ chức khác đã đề xuất Meta-Harness, cho phép AI sửa đổi mã Harness trực tiếp dựa trên các ghi chép thất bại và xác minh hiệu quả thông qua thử nghiệm. Trong một thí nghiệm phân loại văn bản, độ chính xác đã tăng 7,7%, lượng Token ngữ cảnh giảm xuống còn một phần tư so với ban đầu.

Tại sao những khám phá này lại đáng để các công ty mô hình đầu tư? Vào tháng 10, Đại học Công nghệ Nanyang Singapore đã thử nghiệm 66 loại mô hình kết hợp với Harness, phát hiện rằng việc thay đổi Harness thậm chí có thể thay đổi thứ hạng hiệu suất giữa các mô hình.

FrontierHarness Eval cũng phát hiện rằng, cùng một Kimi K3, tỷ lệ hoàn thành nhiệm vụ khi sử dụng Codex là 66,7%, khi sử dụng DeepSeek Harness Creator là 63,3%, và khi sử dụng Kimi Code là 56,7%.

Đối với các công ty mô hình cơ bản, việc nâng cao hiệu suất mô hình không chỉ phụ thuộc vào việc cải tiến mô hình mà còn ngày càng phụ thuộc vào thiết kế và tối ưu hóa của Harness.

Các nhà nghiên cứu cũng đang cố gắng sử dụng kinh nghiệm tích lũy từ Harness cho việc đào tạo mô hình. Co-Harness được đề xuất vào tháng 7, trước tiên cải thiện Harness thông qua các ghi chép thất bại, sau đó sử dụng dữ liệu thực hiện đã được tối ưu hóa để đào tạo mô hình. HarnessFlow được công bố vào tháng 11 cố gắng tự động tìm kiếm thiết kế Harness tốt hơn, trong sáu loại nhiệm vụ đã nâng cao điểm trung bình lên 10,89 điểm phần trăm.

Tuy nhiên, việc tối ưu hóa tự động cũng có rủi ro. Một nghiên cứu vào đầu tháng 11 phát hiện rằng, trong một thí nghiệm cụ thể, một Harness sau khi được tối ưu hóa cho nhiệm vụ mới, điểm số trước đó trên SWE-bench đã giảm từ 94% xuống 32%. Việc nâng cấp mô hình cũng có thể khiến các thiết kế trước đó hiệu quả trở nên vô dụng.

Điều này có nghĩa là, việc tích lũy công nghệ của Harness rất khó để đạt được một lần cho mãi mãi. Làm thế nào để duy trì sự ổn định của các nhiệm vụ khác nhau trong quá trình cải tiến liên tục vẫn là một bài toán chưa được giải quyết.

Một số người trong ngành cho rằng, đây cũng là một điểm đau lớn trong việc triển khai mô hình mã nguồn mở. Do đó, các công ty mô hình đã bắt đầu bán dịch vụ Harness. Các khung mã nguồn mở có thể được nhận miễn phí, nhưng nếu doanh nghiệp muốn vận hành Agent một cách lâu dài và ổn định, vẫn cần phải chịu chi phí triển khai và bảo trì. Kimi, Anthropic và các công ty khác đã nhìn thấy cơ hội tiếp nhận những công việc này, biến Harness thành một ngành kinh doanh độc lập, nhưng cách làm của các công ty khác nhau rất lớn.

03 Giá trị ẩn của Harness

Harness bắt đầu trở thành một dịch vụ có thể tính phí riêng, nhưng bảng giá hiện tại cho thấy, suy luận mô hình vẫn là nguồn thu chính.

Managed Agents của Anthropic tính phí 0,08 đô la cho mỗi giờ phiên hoạt động, Token tính riêng, theo ví dụ nhiệm vụ lập trình một giờ được công bố chính thức, tổng chi phí là 0,58 đô la, trong đó phí lưu trữ chỉ chiếm khoảng 14%.

Phí của Kimi được chia thành Token mô hình, phí chạy sandbox và plugin trả phí. Một nhiệm vụ phân tích pháp lý cho một ngân hàng đầu tư mà họ công bố ước tính chi phí khoảng 30 nhân dân tệ, phí sandbox chưa đến 0,1 nhân dân tệ. OpenAI miễn phí phí dịch vụ bổ sung trong thời gian thử nghiệm công khai API Agents, chủ yếu tính phí theo lượng sử dụng mô hình và công cụ. DeepSeek đã mã nguồn mở Harness theo giấy phép MIT và không có logic tính phí trực tiếp.

Vì vậy, có thể nói, doanh thu trực tiếp mà các công ty mô hình đạt được từ harness ở giai đoạn hiện tại có thể rất ít ỏi.

Vậy tại sao vẫn phải đầu tư nhiều tài nguyên nghiên cứu phát triển?

Một lý do quan trọng là, khi doanh nghiệp thực sự triển khai Agent, nhu cầu về Harness có thể ổn định hơn so với một mô hình cụ thể nào đó.

Công ty dịch vụ pháp lý ABC Legal của Mỹ ban đầu đã triển khai Agent trên máy tính của nhân viên, thông qua các nhiệm vụ định kỳ. Khi phạm vi sử dụng mở rộng, CTO Brandon Fuller bắt đầu tìm kiếm một nền tảng có thể quản lý đồng nhất các Agent này. Ông đã so sánh nhiều giải pháp và cuối cùng chọn Managed Agents của Anthropic, vì doanh nghiệp không muốn tiếp tục duy trì môi trường vận hành phân tán.

Theo thông tin từ Anthropic, ABC Legal đã đưa hơn 50 Agent vào sản xuất chỉ trong một tháng, khoảng 310 nhân viên thường xuyên sử dụng Claude. Nhân viên thậm chí không cần phải nắm vững kiến thức phát triển phần mềm, mà có thể tạo Agent mới thông qua cấu hình.

Điều này cho thấy, sức hấp dẫn của việc lưu trữ Harness đến từ nhu cầu thực tế của doanh nghiệp. So với việc phát triển, triển khai và bảo trì hệ thống vận hành từ đầu, doanh nghiệp có thể sẵn sàng mua dịch vụ có sẵn, để tài nguyên kỹ thuật được dồn vào công việc kinh doanh của mình.

Nhưng doanh nghiệp không nhất thiết phải muốn gắn bó với một công ty mô hình nào đó.

Vào tháng 8 năm nay, VentureBeat đã công bố một cuộc khảo sát đối với 107 doanh nghiệp. 85% doanh nghiệp được khảo sát đang sử dụng hai hoặc nhiều nền tảng điều phối Agent cùng một lúc. Khi chọn nền tảng, 29% doanh nghiệp đánh giá cao tính linh hoạt của mô hình và công cụ, chỉ có 10% ưu tiên xem xét sự tương thích nguyên bản với một mô hình hàng đầu nào đó. Mặc dù mẫu khảo sát nghiêng về các doanh nghiệp công nghệ lớn, nhưng đã phản ánh một xu hướng mua sắm: khách hàng muốn giữ quyền tự do thay đổi mô hình.

Điều này cung cấp một logic kinh doanh khác cho sự cạnh tranh của Harness. Nếu doanh nghiệp sẵn sàng sử dụng một hệ thống vận hành trong thời gian dài, nhà cung cấp dù không thể độc quyền việc gọi mô hình, cũng có thể tiếp tục thu được doanh thu từ dịch vụ lưu trữ, bảo trì và phát triển doanh nghiệp, đồng thời thiết lập mối quan hệ hợp tác ổn định hơn với khách hàng.

Như vậy, Harness có thể tiếp cận quá trình thực hiện công việc thực tế của doanh nghiệp. So với API mô hình đơn thuần, Harness có thể ghi lại quỹ đạo công việc của một nhiệm vụ từ lúc bắt đầu đến khi hoàn thành, bao gồm việc gọi mô hình, thực thi công cụ, thử lại khi thất bại và kết quả cuối cùng. Những ghi chép này không chỉ giúp doanh nghiệp kiểm tra sự cố mà còn cung cấp phản hồi có giá trị cho việc phát triển mô hình.

Nếu có thể liên tục nhận được phản hồi từ các nhiệm vụ thực tế đã được xác minh, các công ty mô hình sẽ có cơ hội phát hiện nhanh hơn các vấn đề của mô hình trong môi trường sản xuất. Tuy nhiên, lợi thế này cũng sẽ bị giới hạn rõ ràng bởi quyền dữ liệu.

Điều này cũng đặt ra một câu hỏi mới cho các công ty mô hình: Nếu doanh nghiệp có thể tự do thay đổi mô hình cơ sở và vẫn giữ quyền kiểm soát dữ liệu của mình, thì Harness có thể xây dựng được lợi thế lâu dài lớn đến mức nào?

Đối với các công ty mô hình, Harness có thể mang lại giá trị lâu dài hơn so với việc thu phí trực tiếp. Khi doanh nghiệp giao ngày càng nhiều công việc cho Agent, ai có thể cung cấp hệ thống vận hành đáng tin cậy, người đó sẽ có cơ hội ảnh hưởng đến sự lựa chọn mô hình, cũng như cách AI tham gia vào các hoạt động kinh doanh thực tế.

Một từ quen thuộc nhưng cũ kỹ: cổng vào.

Tuy nhiên, từ này, vốn đã ăn sâu vào thời đại internet, luôn tác động đến những dây thần kinh nhạy cảm trong sự cạnh tranh của thời đại AI. Hiện tại, Harness từ một mức độ nào đó đã đảm nhận được sự kỳ vọng này, cũng như trí tưởng tượng.