ByteDance тренирует AI модель с 10 триллионами параметров, нацеленную на мировой уровень

Сообщение ChainCatcher, по данным Financial Times, с учетом того, что китайские компании продолжают сокращать разрыв с ведущими лабораториями искусственного интеллекта в США, ByteDance тренирует модель ИИ, масштаб которой может приблизиться к самой продвинутой системе Mythos компании Anthropic. По словам трех осведомленных источников, этот китайский технологический гигант в настоящее время находится на ранней стадии тренировки модели огромного масштаба, количество параметров которой может достигать уровня в 10 триллионов, что примерно в три раза больше, чем у самой большой модели, выпущенной в Китае, Kimi K3 от компании Темная сторона Луны.

Один из источников сообщил, что модель ByteDance в настоящее время проходит предварительное обучение, этот этап обычно занимает от трех до шести месяцев, и если все пройдет успешно, затем будет проведена доработка и выпущена. Конкретный масштаб модели будет определен позже. Anthropic не раскрывает количество параметров своей модели, но оценки в отрасли показывают, что количество параметров их самой продвинутой модели Mythos 5 составляет около 8 триллионов, а Fable 5 — около 5 триллионов.

Важно отметить, что количество параметров определяет базовую емкость хранения информации модели или предел памяти, но фактические возможности модели также зависят от других факторов, включая качество данных, методы обучения и т. д.