От горячего хранения к холодной памяти: децентрализованное хранение в эпоху AI и бум хранения

Автор: Jacob Zhao @ IOSG

Сегодня "первая отечественная акция в сфере хранения данных" Changxin Storage официально вышла на рынок стартапов и взорвала всех своим удивительным ростом на 500%. Несмотря на то, что в последнее время сектор хранения данных все еще испытывает последствия коррекции, AI-хранение продолжает подвергаться безумной переоценке капиталом в текущей волне технологического нарратива. В то же время децентрализованное хранение в области Web3 погрузилось в длительное молчание и утрату. Почему, несмотря на то, что оба называются "хранением", рыночные показатели так сильно различаются? Основная причина заключается в глубоком разделении базовых функций ценности.

Переоценка хранения в эпоху AI по сути является праздником "эффективности горячих данных", который служит максимизации использования вычислительных мощностей и коммерческой реализации; в то время как децентрализованное хранение отстаивает ценностное утверждение "достоверности холодных данных", защищая справедливость данных, антикоррупцию и долгосрочную память человеческой цивилизации. Первое является системой эффективности горячих данных, второе — системой достоверности холодных данных. Текущий капиталистический рынок, безусловно, твердо стоит на стороне "эффективности", но человеческая цивилизация в конечном итоге все равно нуждается в неизменяемом основании памяти. Долгосрочная ценность достоверного холодного хранения никогда не исчезала, она просто скрыта на темной стороне циклов, ожидая, когда будет переоценена эпохой.

Почему хранение снова стало центром внимания в цепочке AI-индустрии

В традиционную эпоху IT хранение было "бизнесом емкости". CIO компаний обращали внимание на стоимость единицы емкости, надежность жестких дисков, планы по восстановлению после катастроф, стратегии архивирования и циклы обновления оборудования, которые длились от 3 до 5 лет. Хранение рассматривалось как вспомогательный элемент, следящий за закупками серверов.

Текущий бум хранения не является восстановлением традиционного цикла, а переоценкой способности AI к движению данных. В эпоху больших моделей логика хранения изменилась с "приоритета емкости" на "приоритет эффективности", сосредоточившись на таких предельных показателях, как насыщение GPU, запись контрольных точек и крайне низкая задержка RAG. Это знаменует собой то, что ценность хранения переходит от "конечного места хранения данных" к "высокоскоростному каналу входа данных в вычисления".

Эволюция ресурсных узких мест в инфраструктуре AI по сути является борьбой за "эффект бочки". Реальная эффективность использования вычислительных мощностей не является линейной суммой отдельных активов, а представляет собой строгий мультипликативный эффект: реальная эффективность использования вычислительных мощностей = GPU × HBM × DRAM × SSD × сеть × файловая система; любой недостаток в одной из цепей приведет к краху общей эффективности использования вычислительных мощностей. В эпоху AI хранение впервые стало "двигателем эффективности". Это и есть основная логика переоценки хранения.

Панорама архитектуры AI-хранения: от HBM до базы данных озера данных

AI-хранение — это не просто набор отдельных аппаратных средств, а сложная система с плотной связью и многоуровневым управлением. В этой системе промышленная ценность и капитал сосредоточены на HBM, корпоративных SSD, контроллерах SSD, протоколах NVMe/CXL и высокопроизводительных системах хранения. Чтобы четко разобрать поток ценности, мы делим архитектуру AI-хранения сверху вниз на четыре основных уровня:

• Уровень памяти ближнего вычисления (ядро пропускной способности): с HBM в качестве абсолютного лидера, дополненного DRAM и технологиями пулов памяти CXL. Этот уровень непосредственно соединяется с упаковкой или шиной GPU/CPU и предназначен для преодоления "стены памяти", что является первым барьером, определяющим, может ли вычислительная мощность быть полностью освобождена.

• Уровень высокоскоростного постоянного хранения (узел ввода-вывода): основная логика заключается в том, что корпоративный SSD = NAND-элементы + контроллер SSD + NVMe/PCIe каналы передачи данных. Этот уровень обрабатывает высокочастотные записи контрольных точек, загрузку огромных обучающих наборов и кэширование горячих данных RAG, что является наиболее очевидным увеличением постоянного хранения в AI-центрах данных.

• Уровень низкозатратного большого объема хранения (база емкости): состоит из HDD, холодного хранения и систем архивирования озер данных. В условиях экспоненциального роста многомодальных исходных данных, исторических журналов и соблюдения норм этот уровень по-прежнему предлагает незаменимое преимущество по общим затратам на владение (TCO).

• Системы хранения AI и программное обеспечение для данных (мозг управления): включает высокопроизводительные параллельные файловые системы, распределенное объектное хранилище, векторные базы данных и уровень управления данными RAG. AI на самом деле потребляет не голое оборудование, а доступность данных, эффективно организованную, индексированную и управляемую программным стеком.

В качестве экологического расширения децентрализованное хранение не участвует напрямую в гонке горячих данных AI на уровне миллисекунд, а вместо этого сосредоточивается на удостоверении публичных наборов данных, отслеживании данных для обучения AI (Provenance) и долгосрочном архивировании холодной памяти, устанавливая свою уникальную экологическую нишу как "достоверный холодный уровень". HBM: "орган пропускной способности", наиболее близкий к вычислительной мощности в цепочке хранения AI Высокоскоростная память (High Bandwidth Memory) не является традиционным хранением, а представляет собой уровень высокоскоростной памяти, расположенный ближе к GPU. Ее основная задача не заключается в сохранении данных, а в постоянном "питании" вычислительной мощности данными с очень высокой пропускной способностью. HBM является наиболее близким к вычислительной мощности и наиболее определяющим звеном в цепочке хранения AI, напрямую влияя на то, может ли GPU быть "насыщен", и является текущим самым важным узким местом в цепочке поставок.

Основная архитектура HBM состоит из "3D DRAM стеков + 2.5D передовой упаковки": через вертикальные стеки TSV и гетерогенную интеграцию CoWoS достигается экстремальное сокращение расстояния между хранением и вычислениями, что приводит к скачку пропускной способности на уровень выше. Промышленные барьеры заключаются не только в проектировании DRAM, но и в технологии производства DRAM, TSV, сверхтонкой укладке, упаковке, теплоотведении, тестировании и сертификации клиентов. Любой дефект в одном из звеньев приведет к списанию всего стека HBM.

В настоящее время только SK Hynix, Samsung и Micron могут стабильно производить, создавая тройную защиту на основе передовых технологий производства DRAM, упаковки и сертификации клиентов NVIDIA/AMD. DRAM и CXL: базовый уровень системной памяти и движок пулов памяти HBM решает предельную пропускную способность ближнего GPU, DRAM укрепляет базу системной памяти серверов, а CXL пытается разрушить физические границы и перестроить организацию ресурсов памяти в центрах данных.

• DRAM: в основном отвечает за кэширование на стороне CPU, предварительную обработку данных, временное хранение промежуточных состояний и работу системы, является самым базовым уровнем системной памяти серверов. Глобальный рынок DRAM сильно сосредоточен на трех гигантах: SK Hynix, Samsung и Micron; Changxin Storage (CXMT) является ключевым элементом в замене DRAM в Китае.

• CXL (Compute Express Link): это новый протокол кэширования с согласованностью для центров данных, направленный на преодоление ограничений традиционных слотов DIMM, локальной емкости памяти и изолированных ресурсов памяти серверов, продвигая архитектуру памяти к расширению, пулов и совместному использованию. В настоящее время CXL все еще находится на ранней стадии перехода от поддержки платформы к масштабному развертыванию, с высокой архитектурной ценностью в среднесрочной и долгосрочной перспективе; ключевые компании включают Astera Labs и Lanqi Technology.

Корпоративные SSD: узел данных, построенный на NAND, контроллерах и NVMe Корпоративные SSD являются наиболее важным высокопроизводительным постоянным увеличением в AI-центрах данных, обеспечивая очень высокую пропускную способность, очень низкую задержку и стабильное качество обслуживания (QoS), постоянно "питая" данные GPU на протяжении всего жизненного цикла, включая загрузку обучающих данных, запись контрольных точек, извлечение RAG, кэширование вывода и возврат журналов.

В архитектуре AI-хранения SSD не является изолированным оборудованием, а представляет собой высокосвязанную систему, которую можно выразить в промышленной формуле: корпоративный SSD = NAND-элементы + контроллер SSD + NVMe/PCIe каналы передачи данных. Три уровня представляют собой независимые звенья цепочки поставок:

• NAND-элементы (уровень сырья): определяют плотность хранения и стоимость единицы, контроллер управляет производительностью и управлением сроком службы. Представленные компании: Samsung, SK Hynix (Solidigm), Micron, Kioxia, Western Digital, Yangtze Memory Technologies.

• Контроллер SSD (уровень повышения производительности): определяет производительность, исправление ошибок, стабильность QoS и балансировку износа. Представленные компании: Phison (Цюньлун), Silicon Motion (Хуэйжун), Marvell, Maxio (Лянь Юнь).

• NVMe/PCIe (уровень передачи данных): определяет эффективность передачи данных от хранения к вычислениям. В сочетании с технологией GPUDirect Storage, уменьшается количество буферов памяти CPU и участие CPU, что значительно облегчает узкие места ввода-вывода. Представленные компании: Broadcom, Marvell, Astera Labs.

HDD / Холодное хранение / Архив: низкозатратная база для AI-озера данных AI не уничтожит HDD. С увеличением потребности многомодальных больших моделей в видео и изображениях, а также экспоненциальным ростом корпоративных журналов и исторических наборов данных, спрос на низкозатратное холодное хранение данных также резко возрастает. В архитектуре AI-хранения SSD и HDD работают в слоистой координации по бизнес-ценности: SSD отвечает за горячие данные и высокую пропускную способность, HDD отвечает за низкие затраты и длительное хранение. Представленные компании включают Seagate, Western Digital, Toshiba. Программный стек AI-хранения: центральный узел доступности данных AI на самом деле никогда не потребляет голые диски, а "услуги данных", которые были тщательно организованы программным стеком. Эта архитектура преобразует базовое оборудование в знания, которые AI может напрямую использовать, и делится на четыре уровня:

• Высокопроизводительные системы хранения (система подачи): с акцентом на параллельную пропускную способность и низкую задержку, решает проблему "голода данных" в кластерах GPU, обеспечивая быструю передачу данных для обучения и вывода. Представленные компании: VAST Data, WEKA, Pure Storage.

• Объектное хранилище (озеро исходных данных): с акцентом на управление объектами, ключами и метаданными, хранит огромные объемы неструктурированных данных. Не стремится к экстремально низкой задержке, а создает базу емкости с низкими затратами и облачными характеристиками. Представленная компания: AWS S3.

• Векторная база данных (уровень семантического индексирования): векторная база данных отвечает за хранение, индексирование и извлечение векторов, созданных моделями встраивания, позволяя AI точно находить соответствующий контент среди огромного объема знаний. Представленные компании: Pinecone, Milvus.

• Слой данных RAG (Слой вызова знаний): Превосходя единичный поиск, охватывает срезы данных, очистку, контроль доступа и отслеживание ссылок, обеспечивая безопасный, точный и отслеживаемый доступ к корпоративным данным для больших моделей. Представляющая компания: Databricks

От горячего хранения AI до децентрализованной холодной памяти: максимизация эффективности против максимизации доверия

Хранение AI — это система, движимая крайним уровнем эффективности, ценностная функция которой сосредоточена на максимизации вычислительного выхода. Пропускная способность HBM определяет, может ли GPU быть насыщен, пропускная способность SSD определяет эффективность чтения и записи наборов данных и контрольных точек, низкая задержка важна для RAG и реального опыта вывода. Эти показатели в конечном итоге сводятся к использованию GPU и единичной стоимости токена, что напрямую определяет коммерческую прибыльность AI-приложений. Конечная цель хранения AI — не сохранение, а ускорение, объектом обслуживания является продуктивность.

А ценностная функция децентрализованного хранения совершенно иная. Она задает вопрос, будет ли данные существовать через десять лет, будут ли они изменены, смогут ли они противостоять точечным проверкам. С помощью криптографических доказательств и распределенной сети она создает базу открытого доступа и постоянного хранения публичных данных. Ее конечная цель — защитить абсолютную истинность данных и суверенную независимость, служа справедливости, требованиям против цензуры и цивилизационной памяти. Хранение AI — это «горячее хранение», обеспечивающее топливо для будущей продуктивности, децентрализованное хранение — это «холодная память», сохраняющая недоступные для удаления исторические записи для человеческой цивилизации. Первое служит эффективности, стремится к максимальной скорости; второе служит доверию, защищая молчаливую память. Первое определяет, насколько быстро работает модель, второе определяет, будет ли память удалена. В настоящее время рыночный механизм вознаграждает эффективность продуктивности, хранение AI находится на пике, в то время как децентрализованное хранение, похоже, переживает коллапс оценки и затишье в нарративе.

Видение и реальность децентрализованного хранения

Существует множество проектов децентрализованного хранения, но согласно отраслевому мышлению и экосистемной оседлости, основными представителями всегда остаются Filecoin и Arweave. Хотя оба относятся к «децентрализованному хранению», философия их базовой архитектуры почти совершенно различна — первая приближается к эластичности AWS с помощью рыночных контрактов, в то время как вторая приближается к вечности библиотеки с помощью одноразового социального контракта.

• Filecoin: Построил наиболее полную проверяемую экономическую систему с помощью PoRep и PoSt. Он не должен продолжать конкурировать с AWS на уровне потребительских облачных хранилищ, а должен переключиться на отслеживание данных AI (Provenance), размещение публичных наборов данных и соблюдение норм, предоставляя проверяемую цепочку для аудита моделей и подтверждения авторских прав. Необходимый путь — это упаковка в совместимый с S3 API и поддержка платежей в фиатной валюте, переход от "дешевого рынка хранения" к "инфраструктуре проверяемых вычислений".

• Arweave: С нарративом "один раз платишь, навсегда хранишь", через механизмы Blockweave и SPoRA вынуждает майнеров сохранять и быстро получать как можно больше, особенно дефицитных исторических данных. Его лучшее место — это база публичной памяти человечества — сохранение записей о правах человека, доказательства военных преступлений, культурные произведения, архивирование юридической и финансовой истории, предоставление AI-агентам постоянного доступа к долгосрочной памяти. Ценность Arweave не в скорости, а в способности нести цивилизационную память через циклы.

Проблемы децентрализованных проектов хранения, таких как Filecoin и Arweave, заключаются не в ошибках ценностного предложения, а в долгосрочном несоответствии между продуктами, опытом поиска, реальными потребностями и токенами. Это выявляет огромную пропасть между гиковыми идеями и мейнстримовыми коммерческими приложениями:

• Несоответствие стимулов спроса и предложения: Ранние сети, представленные Filecoin, быстро расширялись с помощью токенов, но не создали достаточно сильной стороны спроса на оплату, что привело к огромной емкости, но недостаточной степени использования и конверсии в оплату. Вознаграждение за "я могу хранить", а не за "мне нужно хранить".

• Отсутствие возможностей для корпоративного обслуживания: Барьер AWS не в жестких дисках, а в "операционной системе данных", состоящей из API, SLA, управления доступом, соблюдения норм и технической поддержки. Корпорации покупают "доверие", а не экспериментальную инфраструктуру, требующую самостоятельной обработки ключей и выбора узлов.

• Недостатки в опыте поиска: "Сохранить" не равно "стабильно и с низкой задержкой извлечь". Распределенные узлы, сложная топология, отсутствие единого SLA затрудняют обработку рабочих потоков горячих данных AI, более подходящих для надежного холодного архивирования и отслеживания данных.

• Недостаток соблюдения конфиденциальности: Частные данные компаний не могут быть просто записаны в публичную постоянную сеть; право на удаление и постоянная неизменяемость находятся в естественном конфликте. Децентрализованное хранение более подходит для публичных данных и долгосрочных архивов, а не для безразличного приема основных частных данных.

• Циклы увеличения токенов: Финансирование в бычьем рынке скрывает недостаток спроса, падение ROI майнеров в медвежьем рынке выявляет коммерческие недостатки. Токены могут быстро запустить предложение, но не могут автоматически создать спрос и устойчивый доход.

Другие проекты децентрализованного хранения в основном сосредоточены на определенных экосистемах или нишевых сегментах: влияние мышления и нарратива Web3 у Storj/Sia менее сильно, чем у Filecoin/Arweave; BNB Greenfield/Walrus привязаны к определенной экосистеме публичной цепи BNB или SUI; Celestia/EigenDA и другие относятся к слою доступности данных (DA), служа для подтверждения транзакций Rollup, а не для долгосрочного архивирования; проекты смешанного нарратива AI/DA, такие как 0G, пытаются интегрировать хранение, доступность данных, вычисления и расчет AI-агентов в единую модульную инфраструктуру, но их реальные потребности, принятие разработчиками и коммерческий замкнутый цикл все еще требуют проверки.

Будущие возможности децентрализованного хранения: долгосрочные колебания между эффективностью и доверием

В период взрыва технологических дивидендов капитал безумно гонится за эффективностью, активы, такие как GPU и HBM, получают крайне высокую премию, и децентрализованное хранение, утверждающее "доверие и справедливость", естественно, оказывается на обочине. Однако исторические колебания не будут вечно оставаться на стороне эффективности. Неправомерные блокировки и удаление контента супер-платформами, вспышки судебных исков по авторским правам AI, давление на доказательства источников данных, вызванное геополитическими конфликтами, борьба за суверенитет данных, исчезновение публичных архивов из-за монополии данных, а также давление регуляторов на соблюдение норм в отношении данных для обучения моделей — все эти события могут подготовить почву для переоценки "доверительного хранения", и будущие возможности децентрализованного хранения все еще могут проявить уникальную ценность в следующих направлениях:

• Provenance данных AI: Создание "доказательства родословной данных" с использованием криптографических доказательств для противодействия давлению со стороны регуляторов и аудита.

• Публичные наборы данных и цивилизационные архивы: Фокусировка на архивированных материалах и культурном наследии, создание незаменимой, недоступной для удаления памяти.

• Достоверное архивирование и соблюдение норм: Достижение надежного самоподтверждения через Hash, предоставление высококачественной цифровой нотариальной услуги.

• Интеграция технологий ZK/TEE/DID: Разрешение напряженности конфиденциальности, переход от единого "протокола хранения" к "достоверной инфраструктуре данных".

• Невидимые продуктовые маршруты: Предоставление совместимого с S3 API и расчетов в фиатной валюте, позволяя пользователям напрямую приобретать услуги "достоверного архивирования".

Хранение AI и децентрализованное хранение: одно стремится к предельной эффективности, обеспечивая нам топливо для будущего; другое защищает молчаливую память, охраняя наше право оглядываться в прошлое. В настоящее время рынок безоговорочно вознаграждает эффективность, и децентрализованное хранение из-за этого кажется тихим или даже коллапсирующим; но когда эпоха AI еще больше увеличит монополию данных, споры по авторским правам и хрупкость исторической памяти, децентрализованное хранение может встретить переоценку ценности в качестве "достоверного холодного слоя". Те воспоминания, которые не могут быть легко стерты платформами, компаниями или любой единственной властью, возможно, превратятся из романтики идеализма и маргинальной веры в необходимую инфраструктуру.