마이크로소프트 백서 실증: Harness를 교체하면, 같은 Claude의 성능이 크게 떨어진다

문｜샤오징

편집｜쉬칭양

11월 7일, 마이크로소프트는 에이전트 실행 시스템에 대한 기술 백서를 발표했으며, 예상치 못한 테스트 결과를 포함하고 있습니다: 동일하게 Claude Opus 4.8을 사용하였지만 Copilot Studio 뒤의 Harness만 교체했을 때, 복잡한 작업의 통과율이 22.1% 증가했습니다. 새로운 시스템은 각 작업에서 모델 호출 횟수가 거의 두 배로 증가했지만, 환산된 입력 토큰 소모는 21% 감소할 수 있었습니다.

10일 전, 마이크로소프트는 통합된 Copilot Harness를 여러 제품에 배포하고, 클라우드 플랫폼을 통해 개발자에게 호스팅 서비스를 판매하겠다고 발표했습니다.

11월 5일, 월의 어두운 면에서 Kimi Hosted Agents(호스팅 인공지능)를 발표하며 Harness as a Service를 공식적으로 제안했습니다. 8월, DeepSeek는 자신의 Harness를 오픈소스로 공개했습니다; OpenAI와 Anthropic은 더 일찍 내부 운영 시스템을 개발자가 호출할 수 있는 서비스로 전환했습니다.

그 대형 모델 뒤의 "운영 시스템"은 모델 회사들이 주목하는 핵심 요소가 되기 시작했습니다.

이미지는 AI에 의해 생성됨

01 Harness의 선점

Harness는 대형 모델을 중심으로 구축된 에이전트 실행 시스템으로 이해할 수 있습니다. 이 시스템은 모델이 외부 도구를 사용하고, 여러 단계의 작업을 지속적으로 수행하며, 실행 결과에 따라 후속 행동을 조정할 수 있게 합니다. 장시간 실행이 필요한 에이전트의 경우, Harness는 작업 상태를 저장하여 중단 후에도 작업을 계속할 수 있도록 합니다.

이 시스템은 AI 애플리케이션과는 다른 차원에 있습니다. 예를 들어 Claude Code, WorkBuddy와 같은 제품은 사용자에게 직접 제공되지만, 하위 Harness는 다양한 애플리케이션에서 재사용될 수 있으며, 독립 서비스로 개발자에게 제공될 수 있습니다. 에이전트가 수행하는 작업이 점점 복잡해짐에 따라, Harness는 작업 성공률, 실행 효율성 및 운영 비용에 중요한 영향을 미치는 요소로 자리 잡고 있습니다.

Anthropic은 Harness 개발에 일찍이 투자한 모델 회사 중 하나로, 처음에는 Claude Code가 장시간 프로그래밍 작업에서 겪는 문제를 해결하기 위해 시작했습니다.

2025년 말, Anthropic은 Claude의 컨텍스트 창이 소진되면 새로운 대화가 이전 작업을 이어받기 어려운 경우가 많다는 것을 발견했습니다. 엔지니어들은 Claude Code 뒤의 Harness를 개선하여 에이전트가 각 단계가 끝나기 전에 진행 상황을 저장하고, 다음 라운드에서 이 기록을 읽어 아직 끝나지 않은 작업을 계속할 수 있도록 했습니다. 이렇게 하면 한 번의 모델 세션이 종료되더라도 전체 프로그래밍 작업은 계속 진행될 수 있습니다.

올해 4월, Anthropic은 Managed Agents를 출시하여 이 에이전트 실행 능력을 클라우드 서비스로 개발자에게 제공했습니다. 기업이 에이전트를 장기적이고 안정적으로 운영할 수 있도록 하기 위해, Anthropic은 하위 구조를 조정했습니다: Harness는 작업 실행을 촉진하고, 역사 기록은 별도로 저장할 수 있으며, AI 실행 프로그램의 샌드박스도 언제든지 교체할 수 있습니다. 샌드박스에 문제가 발생하더라도 에이전트는 이전 작업을 복구할 수 있습니다.

Claude Code 내부의 운영 시스템에서 외부 개발자를 위한 호스팅 서비스로, Anthropic은 수년간 축적한 Harness 능력을 독립 제품으로 전환했습니다.

OpenAI도 Codex 뒤의 Harness를 더 많은 개발자에게 개방하기로 선택했습니다. 올해 2월, OpenAI는 Codex 웹 버전, 명령줄 및 IDE 플러그인이 실제로 동일한 에이전트 실행 시스템을 공유한다고 밝혔습니다. 8월에는 Codex를 개방된 Harness 플랫폼으로 설정하여 제3자 애플리케이션이 직접 연결할 수 있도록 했습니다. 9월에 출시된 Agents API는 OpenAI가 이 시스템을 호스팅하고 유지 관리하며, 개발자는 에이전트의 실행 환경에 직접 연결할 수 있습니다.

이 경로는 OpenAI가 Codex를 통해 사용자에게 직접 서비스를 제공할 수 있게 하며, 하위 실행 능력을 다른 소프트웨어 회사에 제공할 수 있게 합니다. 개발자는 자신의 제품 인터페이스와 비즈니스 프로세스를 유지하면서 Codex가 뒤에서 구체적인 작업을 수행하도록 할 수 있습니다.

DeepSeek는 8월 13일 MIT 라이선스 하에 Harness의 모든 프레임워크 코드를 공개했으며, "모든 것이 플러그인이다"라는 개념을 제안하여 전체 에이전트 실행 시스템을 자유롭게 조합할 수 있는 플러그인으로 분해했습니다. 개발자는 모델과 외부 도구를 교체할 뿐만 아니라, 에이전트가 모델을 호출하고 작업을 수행하는 방식을 수정하거나, 심지어 에이전트가 스스로 새로운 플러그인을 작성하고 설치하도록 할 수 있습니다.

이 Cordis 기반 아키텍처는 개발자가 처음부터 실행 시스템을 구축하지 않고도 자신의 필요에 따라 다양한 유형의 에이전트를 개발할 수 있도록 하기를 희망합니다.

11월 5일, Kimi는 Hosted Agents가 24시간 클라우드 환경을 제공한다고 발표하며, 기업이 에이전트를 내부 시스템에 배치하거나 외부 판매 제품에 통합할 수 있도록 하며, Harness as a Service를 명확히 제안했습니다.

02 Harness의 진화

실제로 Harness의 인기는 모델 회사에서 시작된 것이 아닙니다.

올해 초, OpenClaw의 인기는 기본 모델이 없는 회사도 에이전트 실행 시스템을 통해 많은 사용자를 끌어들일 수 있음을 보여주었습니다. 2월, OpenAI는 OpenClaw의 창립자 Peter Steinberger를 모집하여 차세대 개인 에이전트 개발에 참여하게 했습니다.

이후 Nous Research는 Hermes Agent를 출시하여 에이전트가 작업 중 축적한 경험을 재사용 가능한 기술로 저장하고, 후속 작업에서 지속적으로 개선하도록 시도했습니다.

3월 말, 스탠포드 대학교 등 기관은 Meta-Harness를 제안하여 AI가 실패 기록에 따라 Harness 코드를 직접 수정하고, 테스트를 통해 효과를 검증하도록 했습니다. 한 텍스트 분류 실험에서 정확도는 7.7% 향상되었고, 컨텍스트 토큰 소모는 원래의 4분의 1로 줄어들었습니다.

이러한 탐색이 모델 회사들이 투자할 가치가 있는 이유는 무엇일까요? 10월, 싱가포르 난양기술대학교는 66종의 모델과 Harness 조합을 테스트하여, Harness를 교체하는 것만으로도 모델 간 성능 순위가 바뀔 수 있음을 발견했습니다.

FrontierHarness Eval 또한 동일한 Kimi K3에서 Codex를 사용할 때의 작업 통과율이 66.7%, DeepSeek Harness Creator를 사용할 때는 63.3%, Kimi Code를 사용할 때는 56.7%로 나타났습니다.

기본 모델 회사에게 모델 성능을 향상시키는 것은 모델 자체를 개선하는 것 외에도 Harness의 설계 및 최적화에 점점 더 의존하게 됩니다.

연구자들은 또한 Harness에서 축적된 경험을 모델 훈련에 활용하려고 시도하고 있습니다. 7월에 제안된 Co-Harness는 실패 기록을 통해 Harness를 개선한 후, 최적화된 실행 데이터를 활용하여 모델을 훈련합니다. 11월에 발표된 HarnessFlow는 더 나은 Harness 설계를 자동으로 검색하려고 시도하며, 여섯 가지 작업에서 평균 성적을 10.89% 향상시켰습니다.

하지만 자동 최적화에는 위험도 있습니다. 11월 초의 한 연구에서는 특정 실험에서 하나의 Harness가 새로운 작업으로 최적화된 후, 원래 SWE-bench에서의 성적이 94%에서 32%로 떨어졌습니다. 모델 업그레이드는 이전에 효과적이었던 설계를 무용지물로 만들 수 있습니다.

이는 Harness의 기술 축적이 영구적이지 않다는 것을 의미합니다. 지속적인 개선 속에서 다양한 작업의 안정성을 유지하는 방법은 여전히 해결되지 않은 문제입니다.

업계 관계자들은 이것이 오픈소스 모델 배포의 큰 문제점 중 하나라고 언급했습니다. 따라서 모델 회사들은 이미 Harness 서비스를 판매하기 시작했습니다. 오픈소스 프레임워크는 무료로 제공되지만, 기업이 에이전트를 장기적이고 안정적으로 운영하려면 여전히 배포 및 유지 관리 비용을 부담해야 합니다. Kimi, Anthropic 등 회사들은 이러한 작업을 인수할 기회를 보았고, Harness를 독립적인 사업으로 전환했지만, 각 회사의 접근 방식은 매우 다릅니다.

03 Harness의 숨겨진 가치

Harness는 독립적으로 요금을 부과할 수 있는 서비스로 자리 잡기 시작했지만, 현재의 가격표는 모델 추론이 여전히 주요 요금 출처임을 보여줍니다.

Anthropic의 Managed Agents는 활성 세션 시간당 0.08달러를 청구하며, 토큰은 별도로 계산됩니다. 공식적으로 발표된 한 시간 프로그래밍 작업 예시를 기준으로 총 비용은 0.58달러이며, 이 중 호스팅 실행 비용은 약 14%에 불과합니다.

Kimi의 요금은 모델 토큰, 샌드박스 실행 및 유료 플러그인으로 나뉩니다. 발표된 한 투자은행 법률 분석 작업의 비용은 약 30위안으로 추정되며, 샌드박스 비용은 0.1위안도 되지 않습니다. OpenAI는 Agents API 공공 테스트 기간 동안 추가 서비스 요금을 면제하며, 주로 모델과 도구 사용량에 따라 요금을 부과합니다. DeepSeek는 Harness를 MIT 라이선스 하에 오픈소스로 제공하며, 직접적인 요금 논리는 없습니다.

따라서 현재 모델 회사들이 Harness를 통해 얻는 직접 수익은 미미할 수 있습니다.

그렇다면 왜 여전히 많은 연구 개발 자원을 투자해야 할까요?

중요한 이유 중 하나는 기업이 실제로 에이전트를 배포한 후, Harness에 대한 수요가 특정 모델에 대한 수요보다 더 안정적일 수 있기 때문입니다.

미국 법률 서비스 회사 ABC Legal은 원래 에이전트를 직원 컴퓨터에 배치하고 정기 작업을 통해 실행했습니다. 사용 범위가 확대됨에 따라 CTO Brandon Fuller는 이러한 에이전트를 통합 관리할 수 있는 플랫폼을 찾기 시작했습니다. 그는 여러 솔루션을 비교한 후, 분산된 실행 환경을 계속 유지하고 싶지 않았기 때문에 Anthropic의 Managed Agents를 선택했습니다.

Anthropic에 따르면, ABC Legal은 한 달 만에 50개 이상의 에이전트를 생산에 투입했으며, 약 310명의 직원이 일상적으로 Claude를 사용하고 있습니다. 직원들은 소프트웨어 개발 지식이 없어도 구성을 통해 새로운 에이전트를 생성할 수 있습니다.

이는 호스팅 Harness의 매력이 실제 기업의 수요에서 비롯된다는 것을 보여줍니다. 처음부터 배포하고 장기적으로 운영 시스템을 유지하는 것보다, 기업은 기존 서비스를 구매하고 엔지니어링 자원을 자신의 비즈니스에 집중하는 것을 더 선호할 수 있습니다.

하지만 기업이 반드시 한 모델 회사에 묶여 있기를 원하지는 않을 것입니다.

올해 8월, VentureBeat는 107개 기업에 대한 조사를 발표했습니다. 85%의 응답 기업은 동시에 두 개 이상의 에이전트 오케스트레이션 플랫폼을 사용하고 있습니다. 플랫폼 선택 시, 29%의 기업은 모델과 도구의 유연성을 가장 중요하게 생각하며, 단 10%만이 특정 선도 모델과의 원활한 호환성을 우선 고려합니다. 샘플이 대형 기술 기업에 편향되어 있지만, 이미 구매 경향을 반영하고 있습니다: 고객은 모델 변경의 자유를 유지하고 싶어합니다.

이는 Harness 경쟁의 또 다른 비즈니스 논리를 제공합니다. 기업이 장기적으로 하나의 운영 시스템을 사용하고자 한다면, 공급자가 모델 호출을 독점할 수 없더라도 지속적으로 호스팅, 유지 관리 및 기업 개발 서비스 수익을 얻고 고객과 더 안정적인 협력 관계를 구축할 수 있습니다.

이렇게 되면, Harness는 기업의 실제 작업 실행 과정에 접근할 수 있습니다. 단순한 모델 API와 비교할 때, Harness는 작업이 시작부터 완료까지의 작업 궤적을 기록할 수 있으며, 여기에는 모델 호출, 도구 실행, 실패 재시도 및 최종 결과가 포함됩니다. 이러한 기록은 기업이 문제를 해결하는 데 도움을 줄 수 있을 뿐만 아니라 모델 개발에 귀중한 피드백을 제공할 수 있습니다.

검증된 실제 작업 피드백을 지속적으로 받을 수 있다면, 모델 회사는 생산 환경에서 모델의 문제를 더 빨리 발견할 기회를 가질 수 있습니다. 그러나 이러한 이점은 데이터 권리에 의해 명확히 제한될 수 있습니다.

이것은 모델 회사에 새로운 질문을 제기합니다: 기업이 자유롭게 기본 모델을 변경할 수 있고, 자신의 데이터를 통제하려 한다면, Harness는 얼마나 큰 장기적 이점을 구축할 수 있을까요?

모델 회사에게 Harness는 직접 요금보다 더 장기적인 가치를 가져올 수 있습니다. 기업이 점점 더 많은 작업을 에이전트에게 맡길 때, 신뢰할 수 있는 운영 시스템을 제공하는 사람이 모델 선택에 영향을 미칠 수 있으며, AI가 실제 비즈니스에 어떻게 참여할지를 결정할 수 있습니다.

익숙하고 진부한 단어: 진입점.

하지만, 이 단어는 인터넷 시대에 뿌리 깊게 자리 잡고 있으며, AI 시대 경쟁의 민감한 신경을 자극합니다. 현재, Harness는 어느 정도 이러한 기대와 상상력을 담당하고 있습니다.