Kimi K3 и Fable реализуют стратегию маршрутизации с точностью 93%, стоимость может снизиться до 50 раз

Сообщение ChainCatcher, Fireworks AI опубликовала отчет о тестировании, в котором сравнивались открытая модель Kimi K3 и закрытая модель Fable 5 в примерно 1030 задачах-агента (включая SWE, эксплуатацию терминалов, алгоритмы, многоязычное кодирование и юридические сценарии). Результаты показали, что обе модели имеют точность 92.4% и 92.6% соответственно по бенчмарку SWE, общие результаты близки, но в узких областях каждая имеет свои сильные стороны: K3 лидирует в области символической математики и инструментов разработки, в то время как Fable превосходит в вебе и визуализации данных; в долгосрочных задачах терминала K3 самостоятельно справилась с 11 задачами, которые Fable не смогла решить.

В отчете отмечается, что использование стратегии маршрутизации на уровне задач позволяет динамически распределять задачи между двумя моделями, достигая 93% точности, что превосходит любую из моделей по отдельности. Кроме того, поскольку K3 имеет значительное преимущество по стоимости на платформе Fireworks, стоимость долгосрочных задач-агентов может быть в 50 раз ниже, чем у Fable. В отчете рекомендуется использовать открытую модель в качестве стандартного варианта, продолжая обучение маршрутизатора для оптимального соответствия задачам и моделям, чтобы сбалансировать качество и стоимость.