Từ hòn đảo đơn độc đến sự hợp tác: Ý nghĩa của đường ống dữ liệu gốc Web3

?

撰文：Jay : : FP

编译：深潮 TechFlow

Việc phát hành sách trắng Bitcoin vào năm 2008 đã khơi dậy sự suy nghĩ lại về khái niệm niềm tin. Blockchain sau đó đã mở rộng định nghĩa của nó, bao gồm cả khái niệm về các hệ thống không cần niềm tin, và phát triển nhanh chóng, cho rằng các loại giá trị khác nhau như chủ quyền cá nhân, dân chủ tài chính và quyền sở hữu có thể được áp dụng cho các hệ thống hiện có. Tất nhiên, trước khi blockchain có thể được áp dụng thực tế, có thể cần phải thực hiện một lượng lớn xác minh và thảo luận, vì những đặc điểm của blockchain có thể có vẻ hơi cấp tiến so với các hệ thống hiện có. Tuy nhiên, nếu chúng ta có cái nhìn lạc quan về những kịch bản này, việc xây dựng các đường ống dữ liệu và phân tích thông tin có giá trị chứa trong lưu trữ blockchain có tiềm năng trở thành một bước ngoặt quan trọng khác trong sự phát triển của ngành, vì chúng ta có thể quan sát thấy các trí tuệ kinh doanh gốc Web3 chưa từng tồn tại trước đây.

Bài viết này khám phá tiềm năng của đường ống dữ liệu gốc Web3 bằng cách chiếu các đường ống dữ liệu thường được sử dụng trong thị trường CNTT hiện tại vào môi trường Web3. Bài viết thảo luận về những lợi ích của các đường ống này, những thách thức cần giải quyết và ảnh hưởng của các đường ống này đối với ngành.

1. Điểm kỳ diệu đến từ đổi mới thông tin

"Ngôn ngữ là một trong những sự khác biệt quan trọng nhất giữa con người và động vật thấp kém. Đó không chỉ là khả năng phát âm, mà là liên kết âm thanh rõ ràng với tư tưởng rõ ràng và sử dụng những âm thanh này như là ký hiệu để giao tiếp tư tưởng."--- Darwin

Trong lịch sử, những tiến bộ quan trọng của nền văn minh nhân loại đi kèm với sự đổi mới trong việc chia sẻ thông tin. Tổ tiên của chúng ta đã sử dụng ngôn ngữ, bao gồm cả ngôn ngữ nói và viết, để giao tiếp với nhau và truyền đạt kiến thức cho các thế hệ sau. Điều này đã mang lại cho họ một lợi thế lớn so với các loài khác. Việc phát minh ra chữ viết, giấy và in ấn đã làm cho việc chia sẻ thông tin rộng rãi trở nên khả thi, dẫn đến những tiến bộ lớn trong khoa học, công nghệ và văn hóa. Đặc biệt, việc in ấn bằng chữ kim loại của Kinh thánh Gutenberg là một thời điểm bước ngoặt, vì nó đã làm cho việc sản xuất sách và các tài liệu in khác trở nên khả thi ở quy mô lớn. Điều này đã có ảnh hưởng sâu sắc đến khởi đầu của cuộc cải cách tôn giáo, cách mạng dân chủ và tiến bộ khoa học.

Sự phát triển nhanh chóng của công nghệ CNTT trong những năm 2000 đã cho phép chúng ta hiểu sâu hơn về hành vi của con người. Điều này đã dẫn đến sự thay đổi lối sống, hầu hết mọi người hiện đại đưa ra nhiều quyết định dựa trên thông tin kỹ thuật số. Chính vì vậy, chúng ta gọi xã hội hiện đại là "Thời đại đổi mới CNTT".

Chỉ 20 năm sau khi Internet được thương mại hóa hoàn toàn, công nghệ trí tuệ nhân tạo lại khiến thế giới kinh ngạc. Nhiều ứng dụng có thể thay thế sức lao động đã xuất hiện, và nhiều người đang thảo luận về việc AI sẽ thay đổi nền văn minh như thế nào. Một số người thậm chí còn ở trong trạng thái phủ nhận, tự hỏi làm thế nào một công nghệ như vậy có thể xuất hiện nhanh chóng đến mức có thể làm lung lay nền tảng của xã hội chúng ta. Mặc dù có "định luật Moore" cho thấy hiệu suất của các vi mạch sẽ tăng theo cấp số nhân theo thời gian, nhưng sự thay đổi do sự xuất hiện của GPT lại quá đột ngột để có thể đối mặt ngay lập tức.

Tuy nhiên, điều thú vị là, mô hình GPT thực tế không phải là một kiến trúc rất đột phá. Mặt khác, ngành công nghiệp AI đã liệt kê các yếu tố thành công chính của mô hình GPT như sau: 1) định nghĩa lĩnh vực kinh doanh có thể nhắm đến một nhóm khách hàng lớn, và 2) tinh chỉnh mô hình thông qua các đường ống dữ liệu------từ việc thu thập dữ liệu đến kết quả cuối cùng và phản hồi dựa trên kết quả. Nói ngắn gọn, bằng cách hoàn thiện mục đích cung cấp dịch vụ và nâng cấp quy trình xử lý dữ liệu / thông tin, các ứng dụng này có thể đạt được sự đổi mới.

2. Quyết định dựa trên dữ liệu ở khắp mọi nơi

Hầu hết những đổi mới mà chúng ta nói đến thực sự dựa trên việc xử lý dữ liệu tích lũy, chứ không phải dựa trên cơ hội hay trực giác. Như câu nói nổi tiếng, "trong thị trường tư bản, không phải người mạnh sống sót, mà là người sống sót mạnh mẽ". Ngày nay, cạnh tranh giữa các doanh nghiệp rất khốc liệt, thị trường bão hòa. Do đó, các doanh nghiệp đang thu thập và phân tích nhiều loại dữ liệu để nắm bắt ngay cả những ngách nhỏ nhất.

Chúng ta có thể đã quá say mê lý thuyết "phá hủy sáng tạo" của Schumpeter (chú thích của tác giả: Schumpeter, nhà kinh tế học nổi tiếng) và quá chú trọng vào việc ra quyết định dựa trên trực giác. Tuy nhiên, ngay cả trực giác xuất sắc cuối cùng cũng là sản phẩm của việc tích lũy dữ liệu và thông tin cá nhân. Thế giới kỹ thuật số sẽ thâm nhập sâu hơn vào cuộc sống của chúng ta trong tương lai, ngày càng nhiều thông tin nhạy cảm sẽ được trình bày dưới dạng dữ liệu kỹ thuật số.

Thị trường Web3 đã thu hút sự chú ý rộng rãi vì tiềm năng trao quyền cho người dùng kiểm soát dữ liệu của họ. Tuy nhiên, lĩnh vực blockchain, công nghệ nền tảng của Web3, hiện đang tập trung hơn vào việc giải quyết vấn đề tam giác (chú thích của tác giả: vấn đề tam giác, tức là vấn đề an toàn, phi tập trung và khả năng mở rộng). Để công nghệ mới có sức thuyết phục trong thế giới thực, điều quan trọng là phát triển các ứng dụng và trí thông minh có thể được sử dụng theo nhiều cách khác nhau. Chúng ta đã thấy điều này xảy ra trong lĩnh vực dữ liệu lớn, kể từ khoảng năm 2010, phương pháp xây dựng xử lý dữ liệu lớn và các đường ống dữ liệu đã đạt được những tiến bộ đáng kể. Trong bối cảnh Web3, cần nỗ lực thúc đẩy sự phát triển của ngành, xây dựng hệ thống dòng dữ liệu để tạo ra trí thông minh dựa trên dữ liệu.

3. Cơ hội dựa trên dòng dữ liệu trên chuỗi

Vậy, chúng ta có thể nắm bắt được những cơ hội nào từ hệ thống dòng dữ liệu gốc Web3, và cần giải quyết những thách thức nào để nắm bắt những cơ hội này?

3.1 Ưu điểm

Nói ngắn gọn, giá trị của việc cấu hình dòng dữ liệu gốc Web3 nằm ở khả năng phân phối dữ liệu đáng tin cậy một cách an toàn và hiệu quả cho nhiều thực thể, từ đó có thể rút ra những hiểu biết có giá trị.

• Tính dư thừa dữ liệu------dữ liệu trên chuỗi ít có khả năng bị mất, có tính đàn hồi hơn, vì mạng giao thức lưu trữ các đoạn dữ liệu trên nhiều nút.
• Tính an toàn dữ liệu------dữ liệu trên chuỗi có tính chống giả mạo, vì nó được xác thực và đồng thuận bởi mạng gồm các nút phân tán.
• Quyền sở hữu dữ liệu------quyền sở hữu dữ liệu là quyền của người dùng sở hữu và kiểm soát dữ liệu của chính họ. Thông qua dòng dữ liệu trên chuỗi, người dùng có thể thấy dữ liệu của họ được sử dụng như thế nào và chọn chỉ chia sẻ với những người có nhu cầu hợp pháp để truy cập.
• Không cần giấy phép và minh bạch------dữ liệu trên chuỗi là minh bạch và chống giả mạo. Điều này đảm bảo rằng dữ liệu đang được xử lý cũng là nguồn thông tin đáng tin cậy.
• Hoạt động ổn định------khi dòng dữ liệu được điều phối bởi giao thức trong môi trường phân tán, do không có điểm lỗi đơn lẻ, xác suất mỗi cấp độ bị ngừng hoạt động giảm đáng kể.

3.2 Trường hợp ứng dụng

Niềm tin là nền tảng cho sự tương tác và ra quyết định giữa các thực thể khác nhau. Do đó, khi dữ liệu đáng tin cậy có thể được phân phối một cách an toàn, điều đó có nghĩa là nhiều tương tác và quyết định có thể được thực hiện thông qua các dịch vụ Web3 có sự tham gia của nhiều thực thể khác nhau. Điều này giúp tối đa hóa vốn xã hội, và chúng ta có thể tưởng tượng một số trường hợp ứng dụng sau đây.

3.2.1 Ứng dụng dịch vụ / giao thức

Hệ thống quyết định tự động dựa trên quy tắc------giao thức sử dụng các tham số chính để vận hành dịch vụ. Những tham số này được điều chỉnh định kỳ để ổn định trạng thái dịch vụ và cung cấp trải nghiệm tốt nhất cho người dùng. Tuy nhiên, giao thức không thể luôn theo dõi trạng thái dịch vụ và kịp thời thay đổi các tham số một cách động. Đây chính là vai trò của dòng dữ liệu trên chuỗi. Dòng dữ liệu trên chuỗi có thể được sử dụng để phân tích trạng thái dịch vụ theo thời gian thực và đề xuất tập hợp tham số tốt nhất phù hợp với yêu cầu dịch vụ (ví dụ, áp dụng cơ chế lãi suất biến đổi tự động cho ứng dụng giao thức cho vay).

• Tăng trưởng thị trường tín dụng------truyền thống, tín dụng được sử dụng trong thị trường tài chính để đo lường khả năng hoàn trả của cá nhân. Điều này giúp nâng cao hiệu quả của thị trường. Tuy nhiên, trong thị trường Web3, định nghĩa về tín dụng vẫn chưa rõ ràng. Điều này là do dữ liệu cá nhân khan hiếm, thiếu quản trị dữ liệu giữa các ngành. Do đó, việc tích hợp và thu thập thông tin trở nên khó khăn. Bằng cách xây dựng một quy trình thu thập và xử lý dữ liệu phân mảnh trên chuỗi, có thể định nghĩa lại thị trường tín dụng trong thị trường Web3 (ví dụ, điểm số MACRO của Spectral (điểm số rủi ro tín dụng đa tài sản)).
• Mở rộng xã hội phi tập trung / NFT------xã hội phi tập trung ưu tiên kiểm soát của người dùng, bảo vệ quyền riêng tư, chống kiểm duyệt và quản trị cộng đồng. Điều này cung cấp một mô hình xã hội thay thế. Do đó, có thể xây dựng một đường ống để kiểm soát và cập nhật các siêu dữ liệu khác nhau một cách suôn sẻ hơn, và thúc đẩy việc di chuyển giữa các nền tảng.
• Phát hiện gian lận------các dịch vụ Web3 sử dụng hợp đồng thông minh dễ bị tấn công độc hại, những cuộc tấn công này có thể đánh cắp tiền, xâm nhập vào hệ thống và dẫn đến tách rời và tấn công thanh khoản. Bằng cách tạo ra một hệ thống có thể phát hiện trước những cuộc tấn công này, các dịch vụ Web3 có thể lập kế hoạch ứng phó nhanh chóng và bảo vệ người dùng khỏi bị tổn hại.

3.2.2 Sáng kiến hợp tác và quản trị

• DAO hoàn toàn trên chuỗi------tổ chức tự trị phi tập trung (DAO) phụ thuộc rất nhiều vào các công cụ ngoài chuỗi để thực hiện quản trị và quỹ công hiệu quả. Bằng cách xây dựng một quy trình xử lý dữ liệu trên chuỗi, tạo ra một quy trình minh bạch cho hoạt động của DAO, có thể tăng cường giá trị của DAO gốc Web3.
• Giảm mệt mỏi quản trị------quyết định giao thức Web3 thường được thực hiện thông qua quản trị cộng đồng. Tuy nhiên, có nhiều yếu tố có thể khiến người tham gia khó tham gia vào quản trị, chẳng hạn như rào cản địa lý, áp lực giám sát, thiếu chuyên môn cần thiết cho quản trị, lịch trình quản trị được phát hành ngẫu nhiên và trải nghiệm người dùng không thuận tiện. Nếu có thể tạo ra một công cụ, đơn giản hóa quy trình mà người tham gia từ việc hiểu đến thực hiện các vấn đề quản trị cá nhân, khung quản trị giao thức có thể hoạt động hiệu quả và hiệu quả hơn.
• Nền tảng dữ liệu mở cho các tác phẩm hợp tác------trong giới học thuật và công nghiệp hiện tại, nhiều dữ liệu và tài liệu nghiên cứu không được công khai, điều này có thể khiến sự phát triển tổng thể của thị trường trở nên rất kém hiệu quả. Mặt khác, các hồ chứa dữ liệu trên chuỗi có thể thúc đẩy nhiều sáng kiến hợp tác hơn so với thị trường hiện tại, vì chúng minh bạch và có thể truy cập cho bất kỳ ai. Sự phát triển của nhiều tiêu chuẩn mã thông báo và giải pháp DeFi là những ví dụ tốt. Hơn nữa, chúng ta có thể vận hành các hồ chứa dữ liệu công cộng cho nhiều mục đích khác nhau.

3.2.3 Chẩn đoán mạng

• Nghiên cứu chỉ số------người dùng Web3 tạo ra nhiều chỉ số khác nhau để phân tích và so sánh trạng thái của các giao thức. Nhiều chỉ số khách quan có thể được nghiên cứu và hiển thị theo thời gian thực (ví dụ, hệ số Nakamoto của Nakaflow).
• Chỉ số giao thức------bằng cách xử lý dữ liệu như số lượng địa chỉ hoạt động, số lượng giao dịch, dòng tiền vào / ra và phí phát sinh từ mạng, có thể phân tích hiệu suất của giao thức. Những thông tin này có thể được sử dụng để đánh giá tác động của các bản cập nhật giao thức cụ thể, trạng thái MEV và tình trạng sức khỏe của mạng.

3.3 Thách thức

Dữ liệu trên chuỗi có những lợi thế độc đáo có thể tăng giá trị cho ngành. Tuy nhiên, để thực hiện đầy đủ những lợi thế này, cần giải quyết nhiều thách thức cả bên trong và bên ngoài ngành.

• Thiếu quản trị dữ liệu------quản trị dữ liệu là quá trình thiết lập các chính sách và tiêu chuẩn dữ liệu nhất quán và chia sẻ để thúc đẩy sự tích hợp của mỗi dữ liệu nguyên tố. Hiện tại, mỗi giao thức trên chuỗi đều thiết lập tiêu chuẩn riêng và truy xuất loại dữ liệu của riêng mình. Tuy nhiên, vấn đề nằm ở việc thiếu quản trị dữ liệu giữa các thực thể tổng hợp dữ liệu của các giao thức này và cung cấp dịch vụ API cho người dùng. Điều này khiến cho việc tích hợp giữa các dịch vụ trở nên khó khăn, kết quả là người dùng khó có được những hiểu biết đáng tin cậy và toàn diện.
• Hiệu quả chi phí thấp------lưu trữ dữ liệu lạnh trong giao thức có thể tiết kiệm chi phí bảo mật dữ liệu và máy chủ cho người dùng. Tuy nhiên, nếu cần truy cập dữ liệu thường xuyên để phân tích hoặc cần nhiều tài nguyên tính toán, việc lưu trữ nó trên blockchain có thể không hợp lý.
• Vấn đề oracle------hợp đồng thông minh chỉ có thể phát huy tác dụng khi có thể truy cập dữ liệu từ thế giới thực. Tuy nhiên, những dữ liệu này không phải lúc nào cũng đáng tin cậy hoặc nhất quán. Khác với blockchain duy trì tính toàn vẹn thông qua thuật toán đồng thuận, dữ liệu bên ngoài không phải là xác định. Các giải pháp oracle phải liên tục phát triển để đảm bảo tính toàn vẹn, chất lượng và khả năng mở rộng của dữ liệu bên ngoài mà không phụ thuộc vào một lớp ứng dụng cụ thể.
• Giao thức vẫn ở giai đoạn sơ khai------các giao thức sử dụng mã thông báo của riêng mình để khuyến khích người dùng duy trì dịch vụ hoạt động và thanh toán phí dịch vụ. Tuy nhiên, các tham số cần thiết để vận hành giao thức (ví dụ, định nghĩa chính xác về người dùng dịch vụ và kế hoạch khuyến khích) thường được quản lý rất non nớt. Điều này có nghĩa là tính bền vững kinh tế của giao thức khó xác minh. Nếu nhiều giao thức kết nối hữu cơ và tạo ra các đường ống dữ liệu, thì sự không chắc chắn về việc liệu các đường ống có thể hoạt động tốt hay không sẽ lớn hơn.
• Thời gian truy xuất dữ liệu chậm------các giao thức thường xử lý giao dịch thông qua sự đồng thuận của nhiều nút, điều này giới hạn tốc độ và số lượng xử lý thông tin so với logic kinh doanh CNTT truyền thống. Sự tắc nghẽn này rất khó giải quyết, trừ khi hiệu suất của tất cả các giao thức cấu thành đường ống được cải thiện đáng kể.
• Giá trị thực sự của dữ liệu Web3------blockchain là hệ thống cô lập, chưa kết nối với thế giới thực. Khi thu thập dữ liệu Web3, chúng ta cần xem xét liệu dữ liệu thu thập có thể cung cấp những hiểu biết có ý nghĩa đủ để bù đắp chi phí xây dựng đường ống dữ liệu hay không.
• Ngữ pháp lạ lẫm------cách thức hoạt động của cơ sở hạ tầng dữ liệu CNTT hiện tại và cơ sở hạ tầng blockchain rất khác nhau. Ngay cả ngôn ngữ lập trình được sử dụng cũng khác nhau, cơ sở hạ tầng blockchain thường sử dụng ngôn ngữ cấp thấp hoặc ngôn ngữ mới được thiết kế đặc biệt cho nhu cầu blockchain. Điều này khiến cho việc học cách xử lý mỗi nguyên tố dữ liệu trở nên khó khăn đối với các nhà phát triển mới và người dùng dịch vụ, vì họ cần học một ngôn ngữ lập trình mới hoặc một cách tư duy mới để xử lý dữ liệu blockchain.

4. Dữ liệu Web3 được đường ống hóa

Hiện tại, không có kết nối giữa các nguyên tố dữ liệu Web3, chúng độc lập trong việc trích xuất và xử lý dữ liệu. Điều này khiến cho hiệu ứng cộng hưởng trong việc xử lý thông tin thí nghiệm trở nên khó khăn. Để giải quyết vấn đề này, bài viết này giới thiệu các đường ống dữ liệu thường được sử dụng trong thị trường CNTT và ánh xạ các nguyên tố dữ liệu Web3 hiện có vào đường ống đó. Điều này sẽ làm cho các trường hợp sử dụng trở nên cụ thể hơn.

4.1 Đường ống dữ liệu chung

Việc xây dựng đường ống dữ liệu giống như quá trình khái niệm hóa và tự động hóa quy trình ra quyết định lặp đi lặp lại trong cuộc sống hàng ngày. Bằng cách làm như vậy, con người có thể truy cập thông tin cụ thể mà họ cần bất cứ lúc nào và sử dụng nó cho quyết định. Số lượng dữ liệu phi cấu trúc cần xử lý càng nhiều, tần suất sử dụng thông tin càng cao, hoặc mức độ cần phân tích theo thời gian thực càng lớn, thì việc tự động hóa chuỗi quy trình này có thể tiết kiệm thời gian và chi phí cần thiết để có được tính chủ động cho các quyết định trong tương lai.

Hình trên cho thấy kiến trúc chung được sử dụng để xây dựng đường ống dữ liệu trong thị trường cơ sở hạ tầng CNTT hiện tại. Dữ liệu được thu thập từ nguồn dữ liệu chính xác cho các mục đích phân tích và được lưu trữ trong các giải pháp lưu trữ phù hợp dựa trên tính chất của dữ liệu và yêu cầu phân tích. Ví dụ, hồ dữ liệu cung cấp giải pháp lưu trữ dữ liệu thô cho phân tích có thể mở rộng và linh hoạt, trong khi kho dữ liệu tập trung vào việc lưu trữ dữ liệu có cấu trúc để thực hiện các truy vấn và phân tích được tối ưu hóa cho logic kinh doanh cụ thể. Sau đó, dữ liệu được xử lý theo nhiều cách để tạo ra những hiểu biết hoặc thông tin hữu ích.

Mỗi cấp độ giải pháp cũng có thể được cung cấp dưới dạng dịch vụ đóng gói. Nhóm sản phẩm SaaS ETL (trích xuất, chuyển đổi, tải) kết nối một chuỗi quy trình từ việc trích xuất dữ liệu đến tải cũng ngày càng được chú ý (ví dụ, FiveTran, Panoply, Hivo, Rivery). Thứ tự không phải lúc nào cũng theo một chiều, tùy thuộc vào nhu cầu cụ thể của tổ chức, các cấp độ có thể kết nối với nhau theo nhiều cách khác nhau. Điều quan trọng nhất khi xây dựng đường ống dữ liệu là tối thiểu hóa rủi ro mất dữ liệu có thể xảy ra khi gửi và nhận dữ liệu ở mỗi cấp máy chủ. Điều này có thể đạt được bằng cách tối ưu hóa mức độ tách rời của máy chủ và sử dụng các giải pháp lưu trữ và xử lý dữ liệu đáng tin cậy.

4.2 Đường ống với môi trường trên chuỗi

Hình ảnh khái niệm của đường ống dữ liệu được giới thiệu ở trên có thể được áp dụng cho môi trường trên chuỗi, như hình trên cho thấy, nhưng cần lưu ý rằng không thể hình thành một đường ống hoàn toàn phi tập trung, vì mỗi thành phần cơ bản đều phụ thuộc vào một giải pháp ngoài chuỗi tập trung ở một mức độ nào đó. Hơn nữa, hình trên hiện không bao gồm tất cả các giải pháp Web3, ranh giới phân loại có thể có sự mơ hồ------ví dụ, KYVE ngoài việc là một nền tảng phát trực tuyến còn bao gồm chức năng của hồ dữ liệu, có thể được coi là một đường ống dữ liệu tự thân. Ngoài ra, Space and Time được phân loại là cơ sở dữ liệu phi tập trung, nhưng nó cung cấp các dịch vụ cổng API như Rest API và phát trực tuyến, cũng như dịch vụ ETL.

4.2.1 Bắt / Xử lý

Để người dùng thông thường hoặc dApp có thể sử dụng / vận hành dịch vụ một cách hiệu quả, họ cần có khả năng dễ dàng nhận diện và truy cập các nguồn dữ liệu chủ yếu được tạo ra bên trong giao thức, chẳng hạn như giao dịch, trạng thái và sự kiện nhật ký. Cấp độ này là một phần mềm trung gian trong đó đóng vai trò, giúp bao gồm các quy trình như oracle, nhắn tin, xác thực và quản lý API. Các giải pháp chính như sau.

Nền tảng phát trực tuyến / chỉ mục

Bitquery, Ceramic, KYVE, Lens, Streamr Network, The Graph, các trình duyệt blockchain của các giao thức khác nhau, v.v.

Nút như một dịch vụ và các dịch vụ RPC / API khác

Alchemy, All that Node, Infura, Pocket Network, Quicknode, v.v.

Oracle

API3, Band Protocol, Chainlink, Nest Protocol, Pyth, Supra oracle, v.v.

4.2.2 Lưu trữ

So với các giải pháp lưu trữ Web2, các giải pháp lưu trữ Web3 có một số lợi thế như tính bền vững và phi tập trung. Tuy nhiên, chúng cũng có một số nhược điểm, chẳng hạn như chi phí cao, khó khăn trong việc cập nhật và truy vấn dữ liệu. Do đó, đã xuất hiện nhiều giải pháp có thể giải quyết những nhược điểm này và đạt được việc xử lý hiệu quả dữ liệu có cấu trúc và động trên Web3------mỗi giải pháp có những đặc điểm khác nhau, chẳng hạn như loại dữ liệu được xử lý, có cấu trúc hay không và có chức năng truy vấn nhúng hay không.

Mạng lưu trữ phi tập trung

Arweave, Filecoin, KYVE, Sia, Storj, v.v.

Cơ sở dữ liệu phi tập trung

Cơ sở dữ liệu dựa trên Arweave (Glacier, HollowDB, Kwil, WeaveDB), ComposeDB, OrbitDB, Polybase, Space and Time, Tablel and, v.v.

* Mỗi giao thức có cơ chế lưu trữ vĩnh viễn khác nhau. Ví dụ, Arweave là mô hình dựa trên blockchain, tương tự như lưu trữ Ethereum, lưu trữ dữ liệu vĩnh viễn trên chuỗi, trong khi Filecoin, Sia và Storj là mô hình dựa trên hợp đồng, lưu trữ dữ liệu ngoài chuỗi.

4.2.3 Chuyển đổi

Trong bối cảnh Web3, lớp chuyển đổi cũng quan trọng như lớp lưu trữ. Điều này là do cấu trúc của blockchain chủ yếu được tạo thành từ tập hợp các nút phân tán, điều này làm cho việc sử dụng logic backend có khả năng mở rộng trở nên dễ dàng. Trong ngành công nghiệp trí tuệ nhân tạo, người ta đang tích cực khám phá việc tận dụng những lợi thế này để nghiên cứu trong lĩnh vực học tập liên bang, và đã xuất hiện các giao thức chuyên dụng cho các hoạt động học máy và trí tuệ nhân tạo.

Đào tạo dữ liệu / mô hình hóa / tính toán

Akash, Bacalhau, Bittensor, Gensyn, Golem, Together, v.v.

* Học tập liên bang là một phương pháp đào tạo mô hình trí tuệ nhân tạo bằng cách phân phối mô hình gốc trên nhiều khách hàng gốc, sử dụng dữ liệu đã lưu trữ để đào tạo, sau đó thu thập các tham số đã học trên máy chủ trung tâm.

4.2.4 Phân tích / Sử dụng

Các dịch vụ bảng điều khiển và các giải pháp phân tích và hiểu biết cho người dùng cuối được liệt kê dưới đây cho phép người dùng quan sát và phát hiện nhiều hiểu biết khác nhau từ các giao thức cụ thể. Một số giải pháp này cũng cung cấp dịch vụ API cho sản phẩm cuối cùng. Tuy nhiên, cần lưu ý rằng dữ liệu trong những giải pháp này không phải lúc nào cũng chính xác, vì chúng chủ yếu sử dụng các công cụ ngoài chuỗi riêng biệt để lưu trữ và xử lý dữ liệu. Cũng có thể quan sát thấy sự sai sót giữa các giải pháp.

Đồng thời, có một nền tảng mang tên "Web3 Functions" có thể tự động / kích hoạt việc thực hiện hợp đồng thông minh, giống như các nền tảng tập trung như Google Cloud kích hoạt / thực hiện các logic kinh doanh cụ thể. Sử dụng nền tảng này, người dùng có thể thực hiện logic kinh doanh theo cách gốc Web3, thay vì chỉ thông qua việc xử lý dữ liệu trên chuỗi để có được những hiểu biết.

Dịch vụ bảng điều khiển

Dune Analytics, Flipside Crypto, Footprint, Transpose, v.v.

Hiểu biết và phân tích cho người dùng cuối

Chainalaysis, Glassnode, Messari, Nansen, The Tie, Token Terminal, v.v.

Web3 Functions

Functions của Chainlink, Gelato Network, v.v.

5. Tóm tắt suy nghĩ

Như Kant đã nói, chúng ta chỉ có thể chứng kiến hiện tượng của sự vật, mà không thể chạm tới bản chất của chúng. Tuy nhiên, chúng ta vẫn tận dụng những ghi chép quan sát được gọi là "dữ liệu" để xử lý thông tin và kiến thức, chúng ta thấy sự đổi mới trong công nghệ thông tin đã thúc đẩy sự phát triển của nền văn minh. Do đó, việc xây dựng một đường ống dữ liệu trong thị trường Web3, ngoài việc có đặc điểm phi tập trung, còn có thể đóng vai trò quan trọng như một điểm khởi đầu thực sự để nắm bắt những cơ hội này. Tôi muốn tóm tắt bài viết này bằng một vài suy nghĩ.

5.1 Vai trò của giải pháp lưu trữ sẽ trở nên quan trọng hơn

Tiền đề quan trọng nhất để có được một đường ống dữ liệu là thiết lập quản trị dữ liệu và API. Trong một hệ sinh thái ngày càng đa dạng, các tiêu chuẩn mà mỗi giao thức tạo ra sẽ tiếp tục được tái tạo, và việc ghi lại giao dịch phân mảnh trong hệ sinh thái đa chuỗi sẽ khiến cá nhân khó có thể đưa ra những hiểu biết tổng hợp. Sau đó, "giải pháp lưu trữ" là thực thể có thể cung cấp dữ liệu tích hợp theo định dạng thống nhất bằng cách thu thập thông tin phân mảnh và cập nhật các tiêu chuẩn của từng giao thức. Chúng ta quan sát thấy rằng các giải pháp lưu trữ hiện có trên thị trường (như Snowflake và Databricks) đang phát triển nhanh chóng, có một lượng khách hàng lớn, thông qua việc vận hành các cấp độ khác nhau trong đường ống để thực hiện sự tích hợp dọc và dẫn dắt sự phát triển của ngành.

5.2 Cơ hội trong thị trường nguồn dữ liệu

Khi dữ liệu trở nên dễ tiếp cận hơn và quy trình xử lý được cải thiện, các trường hợp thành công bắt đầu xuất hiện. Điều này tạo ra một hiệu ứng vòng lặp tích cực, trong đó các nguồn dữ liệu và công cụ thu thập sẽ bùng nổ------kể từ năm 2010, nhờ những tiến bộ lớn trong công nghệ xây dựng đường ống dữ liệu, loại và số lượng dữ liệu kỹ thuật số được thu thập hàng năm đã tăng theo cấp số nhân. Áp dụng bối cảnh này vào thị trường Web3, trong tương lai có thể tạo ra nhiều nguồn dữ liệu trên chuỗi. Điều này cũng có nghĩa là blockchain sẽ mở rộng đến nhiều lĩnh vực kinh doanh khác nhau. Tại điểm này, chúng ta có thể kỳ vọng thúc đẩy việc thu thập dữ liệu thông qua các thị trường dữ liệu như Ocean Protocol hoặc các giải pháp DeWi (mạng không dây phi tập trung) như Helium và XNET, cũng như các giải pháp lưu trữ.

5.3 Điều quan trọng là dữ liệu và phân tích có ý nghĩa

Tuy nhiên, điều quan trọng nhất là liên tục đặt câu hỏi về dữ liệu nào nên được chuẩn bị để rút ra những hiểu biết thực sự cần thiết. Không có gì lãng phí hơn việc xây dựng một đường ống dữ liệu mà không có giả thuyết rõ ràng để xác minh. Thị trường hiện tại đã đạt được nhiều đổi mới thông qua việc xây dựng đường ống dữ liệu, nhưng cũng đã phải trả giá bằng nhiều thất bại vô nghĩa lặp đi lặp lại. Thảo luận xây dựng về sự phát triển của ngăn xếp công nghệ cũng là điều tốt, nhưng ngành cần thời gian để suy nghĩ và thảo luận về những vấn đề cơ bản hơn, chẳng hạn như dữ liệu nào nên được lưu trữ trong không gian blockchain, hoặc dữ liệu nên được sử dụng cho mục đích gì. "Mục tiêu" nên là đạt được giá trị của Web3 thông qua thông tin có thể hành động và các trường hợp sử dụng, và trong quá trình này, phát triển nhiều thành phần cơ bản và hoàn thành đường ống là "phương tiện" để đạt được mục tiêu này.