CPO Western Digital: Обработка флеш-памяти в данный момент, обработка HDD на протяжении всего жизненного цикла
Сообщение ChainCatcher, главный директор по продуктам Western Digital Ахмед Шихаб заявил, что ключ к конкуренции в области хранения данных с использованием ИИ заключается не только в стремлении к самым быстрым носителям, а в том, можно ли постоянно расширять емкость при приемлемых затратах. Он считает, что многие архитектуры работают нормально на ранних этапах, но когда объем данных увеличивается с нескольких ПБ до сотен ПБ или даже ЭБ, могут возникнуть проблемы из-за неконтролируемых затрат.Флеш-память подходит для высокопроизводительных и низколатентных сценариев, таких как веса моделей, переполнение GPU, KV-кэш и контекст сеанса; HDD же лучше подходит для хранения больших объемов данных, таких как обучающие корпуса, журналы, контрольные точки, записи о соблюдении норм, синтетические данные и выводы вывода, которые требуют долгосрочного хранения и чувствительны к затратам. Он подводит итог: "Флеш-память обрабатывает текущие задачи, HDD обрабатывает весь жизненный цикл."В условиях масштабирования ИИ стоимость хранения сама по себе станет архитектурной проблемой. Долгосрочное хранение больших объемов данных на высокопроизводительных носителях будет занимать бюджет на вычисления, сеть, электроэнергию и персонал. Для многих нагрузок на массовое хранение проблема заключается не в том, может ли флеш-память хранить данные, а в том, может ли клиент долгое время нести все затраты на использование флеш-памяти.В будущем хранение данных для ИИ не будет доминироваться одной технологией, а должно быть спроектировано с учетом производительности, стоимости, энергопотребления, плотности, надежности и жизненного цикла данных. Он подчеркивает, что это не конкуренция между флеш-памятью и HDD, а необходимость с самого начала подбирать подходящие носители для различных рабочих нагрузок, иначе архитектура может повлиять на устойчивость бизнеса при увеличении масштаба.
