Alibaba Cloud помогает Jueyue Xingchen создать вычислительную фабрику, создавая 30 000 песочниц за минуту

Статья в официальном аккаунте Alibaba Cloud сообщает, что компания Step Star, занимающаяся большими моделями, выпустила флагманскую открытую модель Step 5 Preview для глобального рынка, позиционируя её как основную рабочую модель для задач интеллектуальных агентов в реальном мире, специализирующуюся на AI-программировании, программной инженерии, профессиональных знаниях и финансах. Эта модель имеет общее количество параметров 600B, активных параметров 27B, использует разреженный MoE, максимальный контекстный окно составляет 1M и может обрабатывать текст, изображения и видео. В статье говорится, что она недавно заняла второе место в мире по количеству вызовов в OpenRouter как за неделю, так и за день. В день выпуска Alibaba Cloud объявила о завершении адаптации DAY0, основанной на чипах, суперузловых экземплярах и совместной оптимизации вывода модели, предоставляемой суперузлом Lingjun.

Платформа обучения с подкреплением для интеллектуальных агентов Step Star разрабатывается самостоятельно, а песочница управляется Alibaba Cloud. Решение основано на песочнице для агентов Alibaba Cloud Agent Sandbox и контейнерной службе Kubernetes, ориентировано на эластичные вычислительные мощности в режиме обучения, заявляя, что может создавать десятки тысяч песочниц за минуту, с максимальной одновременной загрузкой до миллиона, совместимо с E2B API и предоставляет нативный интерфейс Kubernetes. Благодаря многоуровенному кэшированию образов, интеллектуальному предраспределению и оптимизации управляющих цепочек достигается время отклика на уровне миллисекунд и создание 30 тысяч песочниц за минуты, а жизненный цикл песочницы управляется единым бэкендом Alibaba Cloud.

Что касается хранения, каждый Pod начинается с 15GB бесплатного временного хранилища, при использовании более 70% оно автоматически увеличивается на 30GB за раз, максимум до 300GB. В области безопасности по умолчанию используется изоляция уровня MicroVM, охватывающая вычисления, сеть, хранение и права доступа, с доступом к облачным продуктам и интерфейсам больших моделей по принципу нулевого доверия. Результаты, приведенные в статье, включают: сокращение времени запуска образов на 90%, сокращение периода оценки модели с недельного до дневного, средняя экономия на EBS-хранилище около 40%; благодаря ACK One Fleet возможно поддерживать стабильную работу сотен тысяч песочниц одновременно.