От острова к сотрудничеству: Значение нативных данных Web3

?

Автор: Jay : : FP

Перевод: 深潮 TechFlow

Публикация белой книги Биткойна в 2008 году вызвала переосмысление концепции доверия. Блокчейн затем расширил свое определение, включая концепцию систем без доверия, и быстро развился, считая, что различные типы ценностей, такие как индивидуальный суверенитет, финансовая демократизация и собственность, могут быть применены к существующим системам. Конечно, прежде чем блокчейн сможет быть фактически применен, может потребоваться значительная валидация и обсуждение, поскольку его характеристики могут показаться несколько радикальными по сравнению с различными существующими системами. Тем не менее, если мы будем оптимистично настроены по поводу этих сценариев, создание дата-пайплайнов и анализ ценной информации, содержащейся в блокчейн-хранилищах, могут стать еще одной важной вехой в развитии отрасли, поскольку мы можем наблюдать за ранее не существующей нативной бизнес-аналитикой Web3.

В этой статье рассматривается потенциал нативных дата-пайплайнов Web3 путем проекции существующих в ИТ-рынке дата-пайплайнов в среду Web3. Статья обсуждает преимущества этих пайплайнов, проблемы, которые необходимо решить, и их влияние на отрасль.

1. Сингулярность через информационные инновации

"Язык является одним из самых важных отличий человека от низших животных. Это не просто способность произносить звуки, но и связывать определенные звуки с определенными мыслями и использовать эти звуки как символы для общения мыслей."--- Дарвин

На протяжении истории значительные достижения человеческой цивилизации сопровождались инновациями в области обмена информацией. Наши предки использовали язык, включая устный и письменный, для общения друг с другом и передачи знаний будущим поколениям. Это дало им значительное преимущество перед другими видами. Изобретение письма, бумаги и печатного дела сделало возможным более широкое распространение информации, что привело к значительным достижениям в науке, технологиях и культуре. Особенно печатание Гутенберга Библии с металлическими типами стало поворотным моментом, поскольку оно сделало массовое производство книг и других печатных материалов возможным. Это оказало глубокое влияние на начало Реформации, демократических революций и научного прогресса.

Быстрый рост ИТ-технологий в 2000-х годах позволил нам глубже понять человеческое поведение. Это привело к изменениям в образе жизни, и современное большинство людей принимает различные решения на основе цифровой информации. Именно поэтому мы называем современное общество "эпохой ИТ-инноваций".

Всего через 20 лет после полной коммерциализации интернета технологии искусственного интеллекта снова поразили мир. Появилось множество приложений, способных заменить человеческий труд, и многие обсуждают, как ИИ изменит цивилизацию. Некоторые даже находятся в состоянии отрицания, задаваясь вопросом, как такая технология могла появиться так быстро, что она может подорвать основы нашего общества. Несмотря на "закон Мура", который указывает на то, что производительность полупроводников будет расти экспоненциально со временем, изменения, вызванные появлением GPT, были слишком резкими, чтобы с ними можно было сразу справиться.

Однако, что интересно, сам GPT-модель на самом деле не является очень прорывной архитектурой. С другой стороны, ИТ-отрасль выделяет следующие основные факторы успеха модели GPT: 1) определение бизнес-области, которая может быть нацелена на большую клиентскую базу, и 2) настройка модели через дата-пайплайн ------ от сбора данных до конечного результата и обратной связи на основе результата. Проще говоря, эти приложения могут достигать инноваций, совершенствуя цели предоставления услуг и улучшая процессы обработки данных / информации.

2. Данные, основанные на принятии решений, повсюду

Большинство инноваций, о которых мы говорим, на самом деле основаны на обработке накопленных данных, а не на удаче или интуиции. Как говорится, "в капиталистическом рынке выживают не сильнейшие, а выжившие сильные". Сегодня конкуренция среди предприятий жесткая, рынок насыщен. Поэтому компании собирают и анализируют различные данные, чтобы поймать даже самые маленькие ниши.

Мы, возможно, слишком увлеклись теорией "креативного разрушения" Шумпетера (примечание: Шумпетер, известный экономист) и слишком сильно акцентируем внимание на интуитивном принятии решений. Однако даже выдающаяся интуиция в конечном итоге является продуктом накопленных данных и информации. Цифровой мир будет все глубже проникает в нашу жизнь, и все больше чувствительной информации будет представлено в виде цифровых данных.

Рынок Web3 привлекает широкое внимание благодаря своему потенциалу предоставить пользователям контроль над их данными. Однако в области блокчейна, как основной технологии Web3, в настоящее время больше внимания уделяется решению треугольной проблемы (примечание: треугольная дилемма, то есть проблемы безопасности, децентрализации и масштабируемости). Чтобы новая технология была убедительной в реальном мире, важно разрабатывать приложения и интеллект, которые могут использоваться различными способами. Мы уже наблюдали, как это происходит в области больших данных, с момента значительного прогресса в методологии построения обработки больших данных и дата-пайплайнов с 2010 года. В контексте Web3 необходимо стремиться к развитию отрасли, создавая системы потоков данных, чтобы генерировать основанный на данных интеллект.

3. Возможности на основе потоков данных в блокчейне

Итак, какие возможности мы можем уловить из нативных систем потоков данных Web3 и какие проблемы необходимо решить, чтобы воспользоваться этими возможностями?

3.1 Преимущества

Проще говоря, ценность настройки нативных потоков данных Web3 заключается в том, что можно безопасно и эффективно распределять надежные данные между несколькими субъектами, что позволяет извлекать ценные инсайты.

• Избыточность данных ------ данные в блокчейне маловероятно потеряются, они более устойчивы, поскольку протокол сети хранит фрагменты данных на нескольких узлах.
• Безопасность данных ------ данные в блокчейне имеют защиту от подделки, поскольку они проверяются и согласовываются сетью, состоящей из децентрализованных узлов.
• Суверенитет данных ------ суверенитет данных — это право пользователей владеть и контролировать свои данные. С помощью потоков данных в блокчейне пользователи могут видеть, как используются их данные, и выбирать, с кем делиться только с теми, кто имеет законные основания для доступа.
• Без разрешений и прозрачность ------ данные в блокчейне прозрачны и защищены от подделки. Это гарантирует, что обрабатываемые данные также являются надежным источником информации.
• Стабильная работа ------ когда потоки данных в дистрибутивной среде управляются протоколом, вероятность простоя на каждом уровне значительно снижается, поскольку нет единой точки отказа.

3.2 Примеры применения

Доверие является основой взаимодействия и принятия решений между различными субъектами. Поэтому, когда надежные данные могут быть безопасно распределены, это означает, что многие взаимодействия и решения могут осуществляться через услуги Web3, в которых участвуют различные субъекты. Это помогает максимизировать социальный капитал, и мы можем представить следующие примеры применения.

3.2.1 Приложения / Протоколы услуг

Системы автоматизированного принятия решений на основе правил ------ протокол использует ключевые параметры для работы услуг. Эти параметры регулярно корректируются для стабилизации состояния услуги и обеспечения наилучшего опыта для пользователей. Однако протокол не может постоянно контролировать состояние услуги и своевременно вносить динамические изменения в параметры. Вот здесь и вступают в игру потоки данных в блокчейне. Потоки данных в блокчейне могут использоваться для анализа состояния услуги в реальном времени и предложения наилучшего набора параметров, соответствующего требованиям услуги (например, для применения автоматического механизма плавающей процентной ставки в кредитных протоколах).

• Рост кредитного рынка ------ традиционно кредит используется для измерения способности индивидов к погашению в финансовом рынке. Это помогает повысить эффективность рынка. Однако в рынке Web3 определение кредита все еще неясно. Это связано с тем, что личные данные дефицитны, а в отрасли отсутствует управление данными. Поэтому интеграция и сбор информации становятся сложными. Создавая процесс сбора и обработки фрагментированных данных в блокчейне, можно переопределить кредитный рынок в Web3 (например, рейтинг MACRO (многоактивного кредитного риска) от Spectral).
• Децентрализованные социальные сети / Расширение NFT ------ децентрализованное общество придает приоритет контролю пользователей, защите конфиденциальности, антикоррупции и управлению сообществом. Это предоставляет альтернативную социальную парадигму. Таким образом, можно создать поток для более плавного контроля и обновления различных метаданных и содействия миграции между платформами.
• Обнаружение мошенничества ------ услуги Web3, использующие смарт-контракты, подвержены злонамеренным атакам, которые могут украсть средства, взломать системы и привести к расцеплению и атакам на ликвидность. Создавая систему, способную заранее обнаруживать эти атаки, услуги Web3 могут разработать быстрые планы реагирования и защитить пользователей от вреда.

3.2.2 Инициативы сотрудничества и управления

• Полностью цепочечные DAO ------ децентрализованные автономные организации (DAO) сильно зависят от оффлайн-инструментов для эффективного выполнения управления и общественных фондов. Создавая процесс обработки данных в блокчейне, можно создать прозрачный процесс для операций DAO, что может дополнительно повысить ценность нативных DAO в Web3.
• Снижение усталости от управления ------ решения протоколов Web3 обычно принимаются через управление сообществом. Однако есть множество факторов, которые могут затруднить участие участников в управлении, такие как географические барьеры, давление мониторинга, нехватка специализированных знаний, необходимых для управления, случайные повестки дня управления и неудобный пользовательский опыт. Если можно создать инструмент, который упростит процесс обработки участников от понимания до фактической реализации индивидуальных вопросов повестки дня управления, рамки управления протоколом могут работать более эффективно и результативно.
• Открытая платформа данных для совместных работ ------ в существующих академических и промышленных кругах многие данные и исследовательские материалы не раскрываются публично, что может сделать общее развитие рынка очень неэффективным. С другой стороны, пулы данных в блокчейне могут способствовать большему количеству инициатив сотрудничества, чем существующий рынок, поскольку они прозрачны и доступны для всех. Развитие многих стандартов токенов и решений DeFi является хорошим примером. Кроме того, мы можем управлять публичными пулами данных для различных целей.

3.2.3 Сетевое диагностирование

• Индексные исследования ------ пользователи Web3 создают различные индикаторы для анализа и сравнения состояния протоколов. Можно исследовать и отображать в реальном времени несколько объективных индикаторов (например, коэффициент Сатоши от Nakaflow).
• Индикаторы протокола ------ обрабатывая такие данные, как количество активных адресов, количество транзакций, приток / отток активов и сборы, генерируемые сетью, можно анализировать производительность протокола. Эта информация может быть использована для оценки влияния обновлений конкретного протокола, состояния MEV и здоровья сети.

3.3 Проблемы

Данные в блокчейне обладают уникальными преимуществами, которые могут увеличить ценность отрасли. Однако для полного использования этих преимуществ необходимо решить множество проблем как внутри, так и вне отрасли.

• Отсутствие управления данными ------ управление данными — это процесс установления согласованных и общих политик и стандартов данных для содействия интеграции каждого элемента данных. В настоящее время каждый протокол в блокчейне устанавливает свои собственные стандарты и извлекает свои собственные типы данных. Однако проблема заключается в том, что между субъектами, которые агрегируют данные этих протоколов и предоставляют пользователям API-сервисы, отсутствует управление данными. Это затрудняет интеграцию между услугами, и, как следствие, пользователи сталкиваются с трудностями в получении надежных и полных инсайтов.
• Низкая стоимость эффективности ------ хранение холодных данных в протоколе может сэкономить пользователям затраты на безопасность данных и серверы. Однако если данные необходимо часто запрашивать для анализа или требуется много вычислительных ресурсов, хранение их в блокчейне может быть невыгодным.
• Проблема оракулов ------ смарт-контракты могут полностью функционировать только тогда, когда они могут получать данные из реального мира. Однако эти данные не всегда надежны или последовательны. В отличие от блокчейна, который поддерживает целостность с помощью алгоритмов согласия, внешние данные не являются детерминированными. Решения оракулов должны постоянно развиваться, чтобы обеспечить целостность, качество и масштабируемость внешних данных, не полагаясь на конкретный уровень приложения.
• Протоколы все еще находятся на начальной стадии ------ протоколы используют свои собственные токены для стимулирования пользователей поддерживать работу услуг и оплачивать сборы за услуги. Однако параметры, необходимые для работы протоколов (например, точное определение пользователей услуг и схемы стимулов), часто управляются очень примитивно. Это означает, что экономическая устойчивость протокола трудно проверить. Если многие протоколы органически соединяются и создают дата-пайплайны, то неопределенность в том, смогут ли эти пайплайны функционировать должным образом, будет еще больше.
• Медленное время извлечения данных ------ протоколы обычно обрабатывают транзакции через согласие многих узлов, что ограничивает скорость и объем обработки информации по сравнению с традиционной ИТ-логикой. Это узкое место трудно решить, если только производительность всех протоколов, составляющих пайплайн, не будет значительно улучшена.
• Истинная ценность данных Web3 ------ блокчейн является изолированной системой, которая еще не соединена с реальным миром. При сборе данных Web3 нам необходимо учитывать, могут ли собранные данные предоставить значимые инсайты, достаточные для покрытия затрат на создание дата-пайплайна.
• Неизвестный синтаксис ------ существующие ИТ-инфраструктуры данных и блокчейн-инфраструктуры работают очень по-разному. Даже используемые языки программирования различаются, блокчейн-инфраструктура часто использует низкоуровневые языки или новые языки, специально разработанные для потребностей блокчейна. Это затрудняет новым разработчикам и пользователям услуг изучение того, как обрабатывать каждый элемент данных, поскольку им необходимо изучить новый язык программирования или новый способ обработки данных блокчейна.

4. Пайплайны данных Web3 как Лего

В настоящее время между существующими элементами данных Web3 нет соединений, они независимо извлекают и обрабатывают данные. Это затрудняет создание синергии в обработке экспериментальной информации. Чтобы решить эту проблему, в статье представлена общая структура дата-пайплайнов, используемая на ИТ-рынке, и существующие элементы данных Web3 сопоставлены с этой структурой. Это сделает примеры использования более конкретными.

4.1 Универсальные дата-пайплайны

Создание дата-пайплайна похоже на концептуализацию и автоматизацию повторяющихся процессов принятия решений в повседневной жизни. Делая это, люди могут в любое время получать информацию определенного качества, необходимую для принятия решений. Чем больше неструктурированных данных необходимо обработать, чем чаще используется информация или чем выше степень необходимости в реальном времени, тем больше времени и затрат можно сэкономить на получении необходимой проактивности для будущих решений, автоматизируя этот ряд процессов.

На изображении показана универсальная архитектура, используемая для построения дата-пайплайнов на существующем рынке ИТ-инфраструктуры. Данные, подходящие для аналитических целей, собираются из правильных источников данных и хранятся в соответствующих решениях для хранения в зависимости от природы данных и требований к анализу. Например, озера данных предоставляют решения для хранения необработанных данных для масштабируемого и гибкого анализа, в то время как хранилища данных сосредоточены на хранении структурированных данных для оптимизированных запросов и анализа, ориентированных на конкретную бизнес-логику. Затем данные обрабатываются различными способами для получения инсайтов или полезной информации.

Каждый уровень решения также может предоставляться в виде упакованных услуг. Группы продуктов ETL (извлечение, преобразование, загрузка), которые связывают ряд процессов от извлечения данных до загрузки, также становятся все более популярными (например, FiveTran, Panoply, Hivo, Rivery). Последовательность не всегда односторонняя, в зависимости от конкретных потребностей организации, уровни могут быть связаны различными способами. При построении дата-пайплайна наиболее важно минимизировать риск потери данных, который может произойти при отправке и получении данных на каждом уровне серверов. Это можно достичь, оптимизируя степень декомпозиции серверов и используя надежные решения для хранения и обработки данных.

4.2 Пайплайны с цепочечной средой

Представленная ранее концептуальная схема дата-пайплайна может быть применена к цепочечной среде, как показано на изображении, но важно отметить, что полностью децентрализованные пайплайны не могут быть сформированы, поскольку каждый основной компонент в той или иной степени зависит от централизованных оффлайн-решений. Кроме того, на изображении в настоящее время не представлены все решения Web3, границы классификации могут быть размытыми ------ например, KYVE, помимо того, что является потоковой платформой, также включает функции озера данных, что можно рассматривать как сам по себе дата-пайплайн. Кроме того, Space and Time классифицируется как децентрализованная база данных, но она предоставляет такие API-шлюзовые услуги, как Rest API и потоковая передача, а также услуги ETL.

4.2.1 Захват / Обработка

Чтобы обычные пользователи или dApp могли эффективно использовать / управлять услугами, им необходимо легко идентифицировать и получать доступ к основным источникам данных, генерируемым внутри протокола, таким как транзакции, состояния и журнальные события. Этот уровень является промежуточным программным обеспечением, которое помогает в процессах, включая оракулы, обмен сообщениями, аутентификацию и управление API. Основные решения следующие.

Платформы потоковой передачи / индексирования

Bitquery, Ceramic, KYVE, Lens, Streamr Network, The Graph, блокчейны различных протоколов и т. д.

Узлы как услуга и другие RPC / API услуги

Alchemy, All that Node, Infura, Pocket Network, Quicknode и т. д.

Оракулы

API3, Band Protocol, Chainlink, Nest Protocol, Pyth, Supra оракулы и т. д.

4.2.2 Хранение

По сравнению с решениями хранения Web2, решения хранения Web3 имеют несколько преимуществ, таких как долговечность и децентрализация. Однако у них также есть некоторые недостатки, такие как высокая стоимость, трудности с обновлением и запросом данных. Поэтому появились различные решения, которые могут решить эти недостатки и обеспечить эффективную обработку структурированных и динамических данных на Web3 ------ характеристики каждого решения различаются, например, типы обрабатываемых данных, структурированы ли они и имеют ли встроенные функции запросов.

Децентрализованные сети хранения

Arweave, Filecoin, KYVE, Sia, Storj и т. д.

Децентрализованные базы данных

Базы данных на основе Arweave (Glacier, HollowDB, Kwil, WeaveDB), ComposeDB, OrbitDB, Polybase, Space and Time, Tablel и т. д.

* Каждый протокол имеет разные механизмы постоянного хранения. Например, Arweave основан на блокчейн-модели, аналогичной хранению Ethereum, которая навсегда хранит данные в цепочке, в то время как Filecoin, Sia и Storj основаны на контрактной модели, которая хранит данные вне цепочки.

4.2.3 Преобразование

В контексте Web3 уровень преобразования так же важен, как и уровень хранения. Это связано с тем, что структура блокчейна в основном состоит из набора распределенных узлов, что облегчает использование логики масштабируемости на заднем плане. В индустрии искусственного интеллекта активно исследуются возможности использования этих преимуществ в области федеративного обучения, и появляются протоколы, специально предназначенные для операций машинного обучения и искусственного интеллекта.

Обучение данных / Моделирование / Вычисления

Akash, Bacalhau, Bittensor, Gensyn, Golem, Together и т. д.

* Федеративное обучение — это метод, при котором оригинальная модель распределяется на нескольких нативных клиентах, обучается с использованием хранимых данных, а затем собираются изученные параметры на центральном сервере для обучения модели искусственного интеллекта.

4.2.4 Анализ / Использование

Сервисы панелей мониторинга и решения для анализа и инсайтов конечных пользователей, перечисленные ниже, являются платформами, которые позволяют пользователям наблюдать и обнаруживать различные инсайты из конкретного протокола. Некоторые из этих решений также предоставляют API-сервисы для конечных продуктов. Однако важно отметить, что данные в этих решениях не всегда точны, поскольку они в основном используют отдельные оффлайн-инструменты для хранения и обработки данных. Также можно наблюдать ошибки между решениями.

В то же время существует платформа под названием "Web3 Functions", которая может автоматически / инициировать выполнение смарт-контрактов, как централизованные платформы, такие как Google Cloud, инициируют / выполняют определенную бизнес-логику. Используя эту платформу, пользователи могут реализовать бизнес-логику нативным образом в Web3, а не просто получать инсайты, обрабатывая данные в блокчейне.

Сервисы панелей мониторинга

Dune Analytics, Flipside Crypto, Footprint, Transpose и т. д.

Инсайты и анализ конечных пользователей

Chainalaysis, Glassnode, Messari, Nansen, The Tie, Token Terminal и т. д.

Web3 Functions

Functions от Chainlink, Gelato Network и т. д.

5. Итоговые размышления

Как сказал Кант, мы можем видеть только феномены вещей, но не можем коснуться их сущности. Тем не менее, мы используем наблюдения, называемые "данными", для обработки информации и знаний, и мы видим, как инновации в информационных технологиях способствуют развитию цивилизации. Таким образом, создание дата-пайплайна на рынке Web3, помимо децентрализованных характеристик, также может сыграть ключевую роль в фактическом захвате этих возможностей. Я хотел бы подвести итог этой статье несколькими размышлениями.

5.1 Роль решений для хранения станет более важной

Наиболее важным предварительным условием для наличия дата-пайплайна является создание управления данными и API. В все более разнообразной экосистеме нормы, создаваемые каждым протоколом, будут продолжать пересоздаваться, и фрагментированные записи транзакций через многосетевую экосистему сделают для отдельных лиц более трудным вывод комплексных инсайтов. Затем "решения для хранения" — это сущности, которые могут предоставлять интегрированные данные в унифицированном формате, собирая фрагментированную информацию и обновляя нормы каждого протокола. Мы наблюдаем, что существующие решения для хранения на рынке (такие как Snowflake и Databricks) быстро развиваются, имея большую клиентскую базу, осуществляя вертикальную интеграцию, работая на различных уровнях в пайплайне и ведя развитие отрасли.

5.2 Возможности на рынке источников данных

Когда данные становятся более доступными и процессы обработки улучшаются, начинают появляться успешные примеры использования. Это создает положительный циклический эффект, когда источники данных и инструменты сбора появляются с экспоненциальной скоростью ------ с 2010 года, благодаря значительному прогрессу в технологиях построения дата-пайплайнов, типы и объем собираемых цифровых данных растут экспоненциально каждый год. Применяя этот контекст к рынку Web3, в будущем можно будет рекурсивно генерировать множество источников данных на цепочке. Это также означает, что блокчейн расширится на различные бизнес-области. На этом этапе мы можем ожидать продвижения сбора данных через рынки данных, такие как Ocean Protocol, или решения DeWi (децентрализованная беспроводная связь), такие как Helium и XNET, а также решения для хранения.

5.3 Важно иметь значимые данные и анализ

Тем не менее, наиболее важно постоянно задаваться вопросом, какие данные следует подготовить, чтобы извлечь действительно необходимые инсайты. Нет ничего более расточительного, чем строить дата-пайплайн без четкой гипотезы для проверки. Существующий рынок достиг множества инноваций, создавая дата-пайплайны, но также понес огромные убытки из-за повторяющихся бессмысленных неудач. Конструктивное обсуждение развития технологического стека также является хорошим, но отрасли нужно время, чтобы обдумать и обсудить более базовые вопросы, такие как какие данные следует хранить в пространстве блокчейна или для каких целей данные должны использоваться. "Цель" должна заключаться в том, чтобы реализовать ценность Web3 через оперативную информацию и примеры использования, а в этом процессе разработка нескольких основных компонентов и завершение пайплайна является "средством" для достижения этой цели.