Белая книга Microsoft: замена Harness приводит к значительно худшим результатам Claude

Вэнь｜Сяо Цзинь

Редактор｜Сюй Циньянь

7 ноября Microsoft выпустила технический документ о системе выполнения Agent, который содержит набор несколько неожиданных результатов тестирования: при использовании Claude Opus 4.8, просто заменив Harness, стоящий за Copilot Studio, процент успешного выполнения сложных задач увеличился на 22,1 процентных пункта. Новая система почти удвоила количество вызовов модели для каждой задачи, но потребление токенов на входе уменьшилось на 21%.

Всего за десять дней до этого Microsoft объявила о продвижении унифицированного Copilot Harness в несколько своих продуктов и продаже услуг хостинга разработчикам через облачную платформу.

5 ноября Moon's Dark Side только что выпустила Kimi Hosted Agents и официально представила Harness as a Service. В августе DeepSeek открыла свой Harness; OpenAI и Anthropic еще раньше превратили свои внутренние операционные системы в услуги, доступные для разработчиков.

"Операционная система" за большим моделью начинает становиться ключевым игроком в глазах компаний, занимающихся моделями.

Изображение сгенерировано ИИ

01 Захват Harness

Harness можно рассматривать как набор систем выполнения Agent, построенных вокруг больших моделей. Он позволяет моделям использовать внешние инструменты, выполнять многошаговые задачи и корректировать последующие действия на основе результатов выполнения. Для Agent, которым требуется длительное время для работы, Harness также отвечает за сохранение состояния задач, чтобы работа могла продолжаться после прерывания.

Он находится на другом уровне по сравнению с AI-приложениями. Например, такие продукты, как Claude Code и WorkBuddy, напрямую ориентированы на пользователей, в то время как базовый Harness может быть повторно использован различными приложениями или предоставлен как независимая услуга для разработчиков. Поскольку работа, выполняемая Agent, становится все более сложной, Harness постепенно становится важным фактором, влияющим на процент успешного выполнения задач, эффективность выполнения и затраты на эксплуатацию.

Anthropic является одной из первых компаний, инвестировавших в разработку Harness, изначально для решения проблем, с которыми сталкивался Claude Code при длительных программных задачах.

К концу 2025 года Anthropic обнаружила, что когда контекстное окно Claude исчерпывается, новая волна диалога часто не может продолжить предыдущую работу. Инженеры улучшили Harness, стоящий за Claude Code, чтобы Agent сохранял прогресс перед завершением каждого этапа, а затем считывал эти записи в следующем раунде, продолжая выполнять незавершенные задачи. Таким образом, даже если одна сессия модели заканчивается, вся программная задача может продолжать продвигаться.

В апреле этого года Anthropic дополнительно выпустила Managed Agents, предоставив эту способность выполнения Agent как облачную услугу для разработчиков. Чтобы предприятия могли долго и стабильно запускать Agent, Anthropic также скорректировала базовую архитектуру: Harness отвечает за выполнение задач, исторические записи могут быть сохранены отдельно, а песочница для выполнения AI-программ может быть заменена в любое время. Даже если песочница выходит из строя, Agent может восстановить предыдущую работу.

От внутренней операционной системы Claude Code до хостинговой услуги для внешних разработчиков, Anthropic превратила многолетний опыт в области harness в независимый продукт.

OpenAI также выбрала открыть Harness, стоящий за Codex, для большего числа разработчиков. В феврале OpenAI раскрыла, что веб-версия Codex, командная строка и плагины IDE на самом деле используют одну и ту же систему выполнения Agent. В августе Codex была дополнительно позиционирована как открытая платформа Harness, позволяющая сторонним приложениям напрямую подключаться. API Agents, выпущенный в сентябре, управляется и поддерживается OpenAI, и разработчики могут напрямую подключаться к среде выполнения Agent.

Этот путь позволяет OpenAI как напрямую обслуживать пользователей через Codex, так и предоставлять базовые возможности выполнения другим программным компаниям. Разработчики могут сохранить свои интерфейсы продуктов и бизнес-процессы, позволяя Codex выполнять конкретные задачи в фоновом режиме.

DeepSeek 13 августа открыла весь код фреймворка Harness под лицензией MIT, предложив "Все — это плагин", фактически разбив всю систему выполнения Agent на свободно комбинируемые плагины. Разработчики могут не только заменять модели и внешние инструменты, но и изменять способ вызова модели Agent и выполнения задач, даже позволяя Agent самостоятельно писать и устанавливать новые плагины.

Эта архитектура на основе Cordis надеется позволить разработчикам разрабатывать различные типы Agent в соответствии с их потребностями, не создавая систему выполнения с нуля.

5 ноября Kimi официально объявила, что Hosted Agents предоставляют круглосуточную облачную среду, где предприятия могут интегрировать Agent в свои внутренние системы или встраивать их в продукты для внешней продажи, четко заявив о Harness as a Service.

02 Эволюция Harness

На самом деле, популярность Harness не была инициирована компаниями, занимающимися моделями.

В начале этого года успех OpenClaw уже показал отрасли, что компания без базовой модели также может привлечь большое количество пользователей благодаря системе выполнения Agent. В феврале OpenAI наняла основателя OpenClaw Питера Штайнбергера для участия в разработке следующего поколения личных Agent.

Затем Nous Research выпустила Hermes Agent, пытаясь позволить Agent сохранять накопленный опыт работы в виде повторно используемых Skills и постоянно улучшать их в последующих задачах.

В конце марта Стэнфордский университет и другие учреждения предложили Meta-Harness, позволяя AI напрямую изменять код Harness на основе записей о неудачах и проверять эффективность через тестирование. В одном из экспериментов по классификации текста точность увеличилась на 7,7%, а потребление токенов контекста снизилось до одной четвертой от первоначального.

Почему эти исследования стоят инвестиций со стороны компаний, занимающихся моделями? В октябре Наньянский технологический университет Сингапура протестировал 66 моделей в сочетании с Harness и обнаружил, что замена Harness может даже изменить рейтинг производительности между моделями.

FrontierHarness Eval также обнаружил, что для одного и того же Kimi K3 процент успешного выполнения задач с использованием Codex составляет 66,7%, с использованием DeepSeek Harness Creator — 63,3%, а с использованием Kimi Code — 56,7%.

Для компаний, занимающихся базовыми моделями, повышение производительности модели, помимо улучшения самой модели, все больше зависит от дизайна и оптимизации Harness.

Исследователи также пытаются использовать накопленный опыт Harness для обучения моделей. Co-Harness, предложенный в июле, сначала улучшает Harness на основе записей о неудачах, а затем использует оптимизированные данные выполнения для обучения модели. HarnessFlow, опубликованный в ноябре, пытается автоматически искать лучшие дизайны Harness, увеличивая средний результат на 10,89 процентных пункта в шести категориях задач.

Однако автоматическая оптимизация также несет риски. Исследование, проведенное в начале ноября, показало, что в определенных экспериментах один Harness, оптимизированный для новой задачи, показал снижение результатов с 94% до 32% на SWE-bench. Обновление модели также может сделать ранее эффективный дизайн неработоспособным.

Это означает, что технические накопления Harness трудно сделать окончательными. Как сохранить стабильность различных задач в процессе постоянного улучшения остается нерешенной задачей.

Некоторые специалисты отрасли утверждают, что это также является одной из основных проблем развертывания открытых моделей. Поэтому компании, занимающиеся моделями, уже начали продавать услуги Harness. Открытые фреймворки можно получить бесплатно, но предприятия, желающие долго и стабильно запускать Agent, все равно должны нести затраты на развертывание и обслуживание. Компании, такие как Kimi и Anthropic, увидели возможность взять на себя эти задачи, превратив Harness в независимый бизнес, но подходы различных компаний сильно различаются.

03 Скрытая ценность Harness

Harness начинает становиться услугой, за которую можно взимать отдельную плату, но текущий прайс-лист показывает, что модели вывода по-прежнему являются основным источником дохода.

Managed Agents от Anthropic взимают 0,08 доллара за каждый активный час сессии, токены оплачиваются отдельно, согласно официальному примеру часовой программной задачи общая стоимость составляет 0,58 доллара, из которых плата за хостинг составляет всего около 14%.

Плата Kimi делится на токены модели, выполнение в песочнице и платные плагины. В опубликованной задаче по юридическому анализу инвестиционного банка оценка стоимости составляет около 30 юаней, а стоимость песочницы менее 0,1 юаня. OpenAI во время публичного тестирования API Agents не взимает дополнительных сборов, в основном взимая плату в зависимости от использования модели и инструментов. DeepSeek открыла Harness под лицензией MIT и не имеет прямой логики взимания платы.

Таким образом, можно сказать, что прямой доход, который компании, занимающиеся моделями, получают от harness на данном этапе, может быть незначительным.

Так почему же они продолжают вкладывать значительные ресурсы в исследования и разработки?

Одной из важных причин является то, что после реального развертывания Agent потребность в Harness может быть более стабильной, чем в какой-либо конкретной модели.

Американская юридическая компания ABC Legal изначально развернула Agent на компьютерах сотрудников, выполняя задачи по расписанию. С расширением области использования CTO Брендон Фуллер начал искать платформу, которая могла бы централизованно управлять этими Agent. Он сравнил несколько решений и в конечном итоге выбрал Managed Agents от Anthropic, поскольку компания не хотела продолжать поддерживать разрозненную среду выполнения.

По данным Anthropic, ABC Legal за месяц ввела в эксплуатацию более 50 Agent, около 310 сотрудников ежедневно используют Claude. Сотрудникам даже не нужно обладать знаниями в области разработки программного обеспечения, чтобы создавать новых Agent через конфигурацию.

Это показывает, что привлекательность хостинга Harness исходит из реальных потребностей бизнеса. Вместо того чтобы разрабатывать, развертывать и поддерживать систему выполнения с нуля, предприятия могут предпочесть покупку готовой услуги, направляя инженерные ресурсы на свой бизнес.

Но предприятия не всегда готовы связывать себя с одной компанией, занимающейся моделями.

В августе этого года VentureBeat опубликовал исследование 107 компаний. 85% опрошенных компаний одновременно используют две или более платформы для оркестрации агентов. При выборе платформы 29% компаний больше всего ценят гибкость моделей и инструментов, только 10% отдают предпочтение нативной совместимости с какой-либо ведущей моделью. Хотя выборка склоняется к крупным технологическим компаниям, это уже отражает определенную тенденцию к закупкам: клиенты хотят сохранить свободу смены моделей.

Это как раз предоставляет Harness другую бизнес-логику для конкуренции. Если компании готовы долго использовать одну операционную систему, поставщик, даже если не может монополизировать вызовы моделей, может продолжать получать доход от хостинга, обслуживания и корпоративных разработок, а также устанавливать более стабильные отношения с клиентами.

Таким образом, Harness может получить доступ к фактическому процессу выполнения работы в компании. В отличие от простого API моделей, Harness может записывать рабочую траекторию задачи от начала до завершения, включая вызовы моделей, выполнение инструментов, повторные попытки при сбоях и конечные результаты. Эти записи могут помочь компаниям выявлять неисправности и предоставлять ценную обратную связь для разработки моделей.

Если компании смогут постоянно получать проверенную обратную связь по реальным задачам, у компаний, занимающихся моделями, появится возможность быстрее выявлять проблемы моделей в производственной среде. Однако это преимущество также будет ограничено четким определением прав на данные.

Это также ставит перед компаниями, занимающимися моделями, новый вопрос: если компании могут свободно менять базовые модели и настаивают на контроле над своими данными, насколько большим может быть долгосрочное преимущество Harness?

Для компаний, занимающихся моделями, Harness может принести более долгосрочную ценность, чем прямые сборы. Когда компании передают все больше работы агентам, кто может предоставить надежную операционную систему, тот имеет возможность влиять на выбор моделей и на то, как ИИ будет участвовать в реальном бизнесе.

Знакомое и банальное слово: вход.

Однако это слово, глубоко укоренившееся в эпоху Интернета, всегда будет затрагивать чувствительные нервы конкуренции в эпоху ИИ. Сейчас Harness в определенной степени берет на себя эти ожидания и воображение.