Li Feifei bài viết dài mới nhất: Khi video tạo ra, robot và NVIDIA đều tự xưng là mô hình thế giới, chúng ta cần một hệ thống phân loại

• tác giả: Lý Phi Phi *

• biên dịch: Gia Dương *

"Thế giới mô hình" có lẽ là khái niệm nóng nhất và hỗn loạn nhất trong lĩnh vực AI kể từ năm 2025. Khi Sora ra mắt, OpenAI gọi nó là trình giả lập thế giới; Genie cho phép bạn đi lại trong những hình ảnh được tạo ra, cũng gọi là mô hình thế giới; các công ty robot nói rằng họ đang làm mô hình thế giới, NVIDIA nói rằng Omniverse là cơ sở hạ tầng của mô hình thế giới, ngay cả các công cụ trò chơi cũng bị kéo vào câu chuyện này. Mọi người đều sử dụng cùng một từ, nhưng những gì họ nói lại hoàn toàn không phải là cùng một điều.

Hôm nay, Lý Phi Phi đã xuất bản một bài viết mới trên Substack cá nhân của mình, làm rõ khái niệm này. Cô ấy đầu tiên quay lại hình ảnh cổ điển nhất trong sách giáo khoa học tập tăng cường (POMDP vòng kín: tác nhân → hành động → trạng thái → quan sát → tác nhân), sau đó chỉ ra: những gì hiện nay được gọi là "mô hình thế giới", thực chất là ba loại chiếu khác nhau của vòng kín này. Đầu ra pixel (quan sát) là trình tạo hình ảnh, đầu ra trạng thái là trình mô phỏng, đầu ra hành động là trình lập kế hoạch. Tiêu chí phân loại rất đơn giản, chỉ cần xem bạn đang đầu ra phần nào của vòng kín.

(Nguồn: 《麻省理工科技评论》)

Cô ấy đánh giá, trong ba loại, trình tạo hình ảnh đã thương mại hóa thành công nhất nhưng có giới hạn (đẹp không có nghĩa là chính xác về vật lý), trình lập kế hoạch là thú vị nhất nhưng xa rời việc triển khai thực tế nhất (khoảng cách giữa trình diễn trong phòng thí nghiệm và khả năng sử dụng thực tế vẫn còn rất lớn), trong khi trình mô phỏng là nút then chốt bị đánh giá thấp nghiêm trọng. Bởi vì trình mô phỏng hoạt động ở cấp độ hình học, vật lý và động lực học, vừa có thể chiếu lên dưới dạng pixel để con người tiêu thụ, vừa có thể suy diễn ra hậu quả hành động để robot sử dụng. Nắm vững mô phỏng đồng nghĩa với việc có được nền tảng cho việc tạo hình và lập kế hoạch; ngược lại thì không.

Bài viết này chắc chắn cũng là tuyên ngôn sản phẩm của World Labs. Marble của họ đã đồng thời đầu ra các hình ảnh Gaussian splat và lưới va chạm, cố gắng thống nhất trình tạo hình và trình mô phỏng vào một mô hình. Kết thúc bài viết mô tả một mô hình cơ sở thế giới thống nhất, có thể tự do chuyển đổi giữa việc tạo hình, mô phỏng và lập kế hoạch dựa trên nhu cầu hạ nguồn. Liệu tầm nhìn này có thể đạt được hay không thì còn phải xem, nhưng như một khung phân tích, phân loại trình tạo hình / trình mô phỏng / trình lập kế hoạch có thể thực sự giúp làm rõ một phần tiếng ồn của khái niệm "mô hình thế giới" hiện tại.

Toàn văn được dịch như sau.

"Thế giới là tổng hợp của tất cả những gì xảy ra." ------ Wittgenstein, 《Logic Philosophicus》，1921

Thế giới không được cấu thành từ chữ viết.

Trong một bài viết trước, chúng tôi đã đề xuất rằng trí tuệ không gian là biên giới tiếp theo của AI, và mô hình thế giới là con đường dẫn đến nó. Tại đây, đội ngũ World Labs và tôi muốn đi sâu hơn: trong số nhiều thứ hiện nay được gọi là "mô hình thế giới", những mô-đun chức năng nào thực sự cấu thành khả năng này? Mỗi cái có công dụng gì?

Mô hình ngôn ngữ đã trao cho máy móc sức mạnh kiểm soát mạnh mẽ đối với khái niệm, từ vựng và suy luận, nhưng thế giới vật lý, dù là ảo hay thực, hoạt động trên một nền tảng hoàn toàn khác. Mô hình ngôn ngữ học là cấu trúc thống kê của văn bản, mô hình thế giới học là cấu trúc thống kê của không gian và thời gian: ánh sáng chiếu lên một bề mặt như thế nào, một khu vườn trông như thế nào từ một góc độ chưa bao giờ được máy ảnh ghi lại, vật thể phản ứng với lực và tuân theo các định luật vật lý ra sao.

Điều này khiến "mô hình thế giới" trở thành một trong những thuật ngữ quan trọng nhất và cũng bị lạm dụng nhiều nhất trong lĩnh vực AI hiện nay. Thị giác máy tính, robot học, học tăng cường và AI sinh tạo đều tuyên bố rằng họ đang xây dựng mô hình thế giới, nhưng mỗi cái lại chỉ đến những điều hoàn toàn khác nhau. Một mô hình video có thể tạo ra ngọn lửa đẹp mắt nhưng không thể xảy ra về mặt vật lý, một mô hình ngôn ngữ có thể tạo ra trò chơi có thể chơi ngay lập tức, một động cơ vật lý mô phỏng trung thực quá trình cháy, tất cả đều được gọi bằng cùng một tên.

Người Hy Lạp cổ đại không bao giờ có thể đạt được sự đồng thuận về thế giới được cấu thành từ gì, dù là lửa, nước hay nguyên tử không thể chia cắt, vì "thế giới" chưa bao giờ là một thứ duy nhất. Nó luôn là một từ thay thế mà một nhà tư tưởng nào đó sử dụng để suy luận về một tổng thể nào đó. AI kế thừa cùng một vấn đề, và đúng lúc xảy ra trong lĩnh vực này khi cần sự chính xác nhất.

Vòng kín phía sau phân loại

Để làm rõ sự hỗn loạn này, có thể bắt đầu từ một hình ảnh cổ hơn tất cả các công nghệ trên. Tất cả các sách giáo khoa học tăng cường, bao gồm cả Sutton và Barto cổ điển, đã sử dụng một biến thể của cùng một hình ảnh trong nhiều thập kỷ để mô tả cách tác nhân tương tác với thế giới. Hình ảnh này có tên chính thức là quá trình quyết định Markov có thể quan sát một phần (POMDP), và định nghĩa ban đầu của thuật ngữ "mô hình thế giới" thuộc về truyền thống này.

Một tác nhân (có thể là con người, robot hoặc hệ thống phần mềm) thực hiện hành động. Những hành động này thay đổi trạng thái của thế giới. Nhưng tác nhân không bao giờ có thể nhìn thấy trạng thái đó một cách trực tiếp, những gì nó nhận được là quan sát: photon rơi trên võng mạc, số liệu từ cảm biến, pixel trong khung video. Quan sát mới dẫn dắt hành động mới, và cứ thế lặp đi lặp lại.

Từ "trạng thái" cần được phân tích, vì trong các lĩnh vực khác nhau, ý nghĩa của nó có thể thay đổi. Ở đây không phải là trạng thái của nhà hóa học, không phải sự khác biệt giữa rắn, lỏng và khí. Đây là trạng thái của nhà vật lý và nhà robot học: mô tả đầy đủ mọi thứ xảy ra trong thế giới tại một thời điểm nhất định, bao gồm từng vật thể, từng vị trí, từng tốc độ, từng thuộc tính. Trạng thái là thực tế cơ bản của thế giới, về nguyên tắc là hoàn chỉnh, nhưng đối với bất kỳ tác nhân nào ở trong đó, nó luôn không thể quan sát trực tiếp. Quan sát là góc nhìn cục bộ của tác nhân về thực tế này. Hành động là phản ứng của tác nhân dựa trên điều đó.

Vòng kín này (tác nhân → hành động → trạng thái → quan sát → tác nhân) chính là cấu trúc mang lại ý nghĩa kỹ thuật cho thuật ngữ "mô hình thế giới". Cụm từ này bản thân đã cổ xưa, có thể truy nguyên về đề xuất của Kenneth Craik vào năm 1943, người cho rằng tâm trí thực hiện suy luận bằng cách vận hành "mô hình tỷ lệ nhỏ" của thực tế, và đến cuối những năm 1980 và đầu những năm 1990, khái niệm này đã được đưa vào lĩnh vực mạng nơ-ron. Vòng kín này cũng giải thích ý nghĩa mà mọi người sử dụng thuật ngữ này ngày nay. Những thứ hiện nay được gọi là mô hình thế giới, thực chất là những chiếu khác nhau của cùng một vòng kín, mỗi loại đầu ra là một phần khác nhau trong vòng kín.

Ba chức năng của mô hình thế giới

Mô hình thế giới đầu tiên là trình tạo hình ảnh. Trình tạo hình ảnh đầu ra là quan sát, cụ thể là pixel hướng về mắt người, và chỉ số chất lượng quan trọng nhất là độ trung thực về thị giác. Một mô hình video chuyển đổi văn bản thành cảnh quay trên không cấp độ phim là trình tạo hình ảnh; các hệ thống tương tác như Genie 3 của Google hoặc RTFM của World Labs cũng là trình tạo hình ảnh, chúng tạo ra hình ảnh theo thời gian thực dựa trên đầu vào của người dùng. Các mô hình này không có sự hiểu biết rõ ràng về cấu trúc ba chiều. Nó tạo ra hình ảnh mà người xem sẽ thấy, chứ không phải là hình dạng thực sự của sự vật. Các tòa nhà trong cảnh quay trên không có thể hoàn hảo từ trên cao nhìn xuống, nhưng nếu cố gắng di chuyển trong thành phố bên dưới, chúng sẽ sụp đổ.

Loại thứ hai là trình mô phỏng. Trình mô phỏng đầu ra là trạng thái: một biểu diễn thế giới trung thực về mặt hình học, vật lý hoặc động lực học, mà cả con người và chương trình máy tính đều có thể tính toán và tương tác trên đó. Hợp đồng của trình tạo hình ảnh là thuần túy về thị giác, trong khi hợp đồng của trình mô phỏng là cấu trúc, yêu cầu hình học phải chịu được kiểm tra, vật lý tuân theo định luật Newton, hành vi động lực học phù hợp với các quy luật vật lý dự kiến. Trình mô phỏng phục vụ hai loại người dùng. Các chuyên gia như kiến trúc sư, nhà thiết kế, nhà làm phim, nhà phát triển trò chơi cần độ chính xác vượt xa độ tin cậy về thị giác. Các chương trình máy tính như tác nhân học tăng cường, bộ điều khiển robot, xe tự lái thì xem trình mô phỏng như một sân tập, nơi chúng tương tác quy mô lớn với thế giới, thử nghiệm những tình huống mà trong thực tế có thể nguy hiểm, tốn kém hoặc hoàn toàn không thể thực hiện.

Loại thứ ba là trình lập kế hoạch. Trình lập kế hoạch đầu ra là hành động. Được cho một quan sát và một mục tiêu, câu hỏi mà trình lập kế hoạch trả lời là: tác nhân nên làm gì tiếp theo. Về nhiều mặt, trình lập kế hoạch là quá trình ngược lại của trình tạo hình ảnh. Trình tạo hình ảnh lấy hành động làm đầu vào, sản xuất quan sát, trong khi trình lập kế hoạch lấy quan sát làm đầu vào, sản xuất hành động, từ đó khép kín vòng cảm nhận - hành động. Mô hình thị giác-ngôn ngữ-hành động (VLA), hệ thống dựa trên mô hình, và làn sóng mới của mô hình hành động thế giới (World Action Models), đều là những nỗ lực khác nhau của trình lập kế hoạch: cho phép hệ thống quyết định robot nên làm gì trong một thế giới không có cấu trúc.

Ba loại trên bao gồm phần lớn công việc thực tế hiện nay, và sự phân biệt giữa chúng rất hữu ích trong thực tiễn. Nhưng ba loại này không hoàn toàn tách biệt nhau. Chúng chia sẻ cùng một bộ kiến thức cơ bản về cách thế giới hoạt động: hình học, vật lý, động lực học. Một mô hình có thể tạo hình một chiếc cốc từ bất kỳ góc độ nào, về nguyên tắc cũng nên có thể mô phỏng những gì sẽ xảy ra khi chiếc cốc bị đẩy, và lập kế hoạch một bàn tay để nhấc nó lên. Ngày càng nhiều nghiên cứu thú vị nhất đang cố tình làm mờ ranh giới giữa ba loại này.

Hình丨Ba loại mô hình thế giới (Nguồn: Substack)

Tại sao mô phỏng là nút then chốt

Trong ba loại, trình mô phỏng nhận được ít sự chú ý từ công chúng nhất, nhưng lại là quan trọng nhất trong ba loại. Bài viết này muốn sửa chữa sự không đối xứng này.

Trình tạo hình ảnh hiện đang có mức độ thương mại hóa cao nhất. Nhiều sản phẩm chuyển đổi hình ảnh hoặc văn bản thành video đang nhanh chóng mở rộng trong thị trường tiêu dùng và doanh nghiệp. Mô hình Nano Banana của Google đã đưa khả năng tạo hình ảnh ở cấp độ trình tạo hình đến tay hàng triệu người dùng. Công nghệ là thực tế, thị trường cũng là thực tế. Tuy nhiên, mục tiêu tối ưu hóa của trình tạo hình là độ tin cậy về thị giác chứ không phải độ chính xác về vật lý, và giới hạn này rất quan trọng. Đầu ra của chúng rất đẹp, nhưng bạn không thể sử dụng chúng để thiết kế một tòa nhà hoặc đào tạo một robot.

Trình lập kế hoạch là thú vị nhất nhưng cũng chưa trưởng thành, nó liên quan chặt chẽ đến lĩnh vực học robot đang phát triển nhanh chóng. Trong hai năm qua, lĩnh vực này đã sản xuất nhiều trình diễn robot ấn tượng trong video, nhưng chúng ta cần thẳng thắn đối mặt với những gì những trình diễn này thực sự thể hiện. Hầu hết mọi trình diễn đều bị giới hạn trong môi trường phòng thí nghiệm có kiểm soát cao, với loại vật thể hạn chế và thời gian nhiệm vụ rất ngắn. Không có một xác minh nào chịu được độ phức tạp, đa dạng và thời gian kéo dài mà việc triển khai trong thế giới thực yêu cầu. Khoảng cách giữa một video trình diễn ấn tượng và một robot có thể làm việc đáng tin cậy trong bếp, kho hàng hoặc phòng phẫu thuật vẫn còn rất lớn.

Dù vậy, quy mô đầu tư thương mại vẫn rất đáng kể. Một làn sóng những người mới có nguồn vốn dồi dào đang tranh nhau tung ra các hệ thống lập kế hoạch tổng quát, trong khi các nhà cung cấp cơ sở hạ tầng lớn đang xây dựng khả năng lập kế hoạch trên một ngăn xếp mô phỏng rộng hơn.

Mô phỏng là cầu nối giữa hai bên. Nếu ngôn ngữ là sự trừu tượng hóa của thế giới, pixel là sự chiếu của thế giới, thì hình học, vật lý và động lực học chính là thế giới bản thân. Trình mô phỏng phải hoạt động ở cấp độ này: nó là bộ khung cấu trúc, từ đó có thể suy diễn ra cả biểu hiện thị giác (dành cho trình tạo hình) và hậu quả hành động (dành cho trình lập kế hoạch).

Một mô hình nắm vững mô phỏng có thể chiếu sự hiểu biết của nó thành pixel để con người tiêu thụ, cũng có thể chiếu thành dự đoán hành động để các tác nhân có thân thể sử dụng. Trong khi một mô hình chỉ nắm vững trình tạo hình hoặc chỉ nắm vững trình lập kế hoạch thì không thể làm được cả hai. Không gian thương mại ở đây rất rộng lớn. Chỉ riêng Omniverse của NVIDIA, quy mô thị trường mục tiêu theo ước tính của công ty đã vượt quá một nghìn tỷ đô la, bao gồm nhà máy, kho hàng, chuỗi cung ứng và sinh đôi số. Đào tạo robot, thử nghiệm tự lái, trực quan hóa kiến trúc, thiết kế kỹ thuật, phát hiện thuốc, tất cả đều phụ thuộc vào một dạng mô phỏng nào đó.

Câu hỏi mở khó khăn nhất trong lĩnh vực này cũng tập trung ở đây. Dữ liệu ba chiều có thuộc tính hình học, vật liệu và nhãn vật lý rõ ràng hiếm hơn nhiều so với video trên internet mà trình tạo hình sử dụng để đào tạo. Khoảng cách sim-to-real (sự khác biệt giữa hành vi của vật thể trong mô phỏng và hành vi trong thế giới thực) vẫn tồn tại. Các trình mô phỏng sinh tạo trên cơ sở này còn mang đến những rủi ro mới: hình học do AI tạo ra có thể trông đúng, nhưng thực tế chứa các vấn đề như tự giao nhau hoặc tỷ lệ sai, dẫn đến kết quả mô phỏng vật lý vô lý. Chi phí tính toán cho mô phỏng đa vật lý quy mô lớn (các vật thể rắn, vật thể biến hình, chất lỏng, vải tất cả tương tác cùng nhau) vẫn cao hơn nhiều so với mô phỏng trong một lĩnh vực đơn lẻ.

Tại World Labs, Marble là bước đầu tiên của chúng tôi theo hướng này. Nó chấp nhận đầu vào đa phương thức (văn bản, hình ảnh, video hoặc phác thảo không gian), tạo ra môi trường 3D có thể khám phá, đồng thời đầu ra các hình ảnh Gaussian splat để khám phá thị giác và lưới va chạm để các động cơ vật lý hoạt động. Nhưng Marble chỉ là chương đầu tiên của một đường cong dài. Khi ranh giới giữa việc tạo hình, mô phỏng và lập kế hoạch bắt đầu tan biến, toàn bộ lĩnh vực đang viết nên câu chuyện này.

Ranh giới đang tan biến, và điều gì sẽ xảy ra tiếp theo

Xu hướng quan trọng nhất trong lĩnh vực hiện tại là ba loại đang bắt đầu hòa nhập. Sự đồng thuận phía sau là: việc tạo hình một thế giới, mô phỏng nó, và hành động trong đó, kiến thức cần thiết về cơ bản là giống nhau. Theo ví dụ trước, một mô hình thực sự hiểu cách đặt một chiếc cốc trên bàn (hình dạng hình học, thuộc tính vật liệu, phản ứng với lực, v.v.), nên có thể từ bất kỳ góc độ nào tạo hình chiếc cốc đó, mô phỏng những gì sẽ xảy ra khi chiếc cốc bị đẩy, và lập kế hoạch một bàn tay để nhấc nó lên. Ba loại này là ba chiếu của cùng một sự hiểu biết cơ bản.

Ví dụ, gần đây đã có một số ít nhưng đang gia tăng công việc từ các phòng thí nghiệm robot khác nhau, cho thấy một khả năng ít nhất là về mặt khái niệm: một trình tạo hình video đã được huấn luyện có thể hoạt động như một mạng xương sống cho dự đoán thế giới chung và dự đoán hành động, cho phép một mô hình đơn lẻ đồng thời tưởng tượng "sẽ xảy ra điều gì" và "nên làm gì", từ đó xây dựng cầu nối giữa trình tạo hình và trình lập kế hoạch. Marble của World Labs đã có thể đồng thời đầu ra các hình ảnh Gaussian splat và lưới va chạm từ một mô hình đơn lẻ, xóa nhòa ranh giới giữa trình tạo hình và trình mô phỏng. Mỗi cấp độ đều đang chuyển từ đầu ra thụ động sang hệ thống tương tác: trình tạo hình trở nên có thể phản ứng với điều kiện hành động, thế giới do trình mô phỏng tạo ra trở nên có thể kiểm soát và chỉnh sửa hơn, trình lập kế hoạch bắt đầu thực hiện suy luận cẩn thận chứ không chỉ phản ứng.

Điểm dừng logic là một mô hình thế giới thống nhất: một mô hình cơ sở, có thể tạo hình hình ảnh chân thực cấp độ ảnh, tạo ra cấu trúc chính xác về mặt vật lý, lập kế hoạch chuỗi hành động, và chuyển đổi giữa các chế độ đầu ra khác nhau dựa trên nhu cầu của người sử dụng hạ nguồn. Chúng ta vẫn sẽ phải đối mặt với một loạt thách thức nghiêm trọng. Cấu trúc dữ liệu cực kỳ không đồng đều, trình tạo hình có hàng triệu video trên internet, trong khi trình mô phỏng và trình lập kế hoạch đang đối mặt với sự thiếu hụt nghiêm trọng về tài sản 3D và dữ liệu trình diễn robot. Việc tối ưu hóa cho tính thẩm mỹ thị giác có thể hy sinh độ chính xác cần thiết cho robot hoặc mô phỏng độ trung thực cao. Hòa hợp những căng thẳng này trong một kiến trúc đơn lẻ là vấn đề mở cốt lõi trong nghiên cứu mô hình thế giới ngày nay, và cũng là điều mà World Labs đang nỗ lực giải quyết trong quá trình phát triển Marble.

(Nguồn: Substack)

Nhưng hướng đi lớn đã rất rõ ràng. Từ cuối những năm 1980 đến nay, lĩnh vực này luôn đặt cược vào cùng một điều: chỉ cần mô hình thế giới đủ phong phú, những gì tác nhân cần để nhìn thấy thế giới, xây dựng thế giới, và hành động trong đó đều nằm trong đó. Cược này hiện đang thúc đẩy nghiên cứu của cả một thế hệ. Và điều thực sự làm cho nó trở nên nặng ký là sự hòa nhập đã xảy ra: ba dòng tạo hình, mô phỏng, lập kế hoạch, mỗi dòng đã tự mình nâng đỡ các ngành công nghiệp trị giá hàng tỷ đô la, ban đầu là những hướng nghiên cứu độc lập, giờ đây bắt đầu hội tụ lại. Khi ranh giới biến mất, ba dòng sẽ hợp nhất lại để định nghĩa lại một điều lớn hơn: mối quan hệ giữa trí thông minh máy móc và thế giới vật lý mà nó cư trú, tức là hướng đi lâu dài của trí tuệ không gian.

Ngôn ngữ đã cho máy móc một cách để nói về thế giới này. Mô hình thế giới, thì là con đường mà máy móc cuối cùng có thể hiểu, tưởng tượng, suy luận và tương tác với nó.

Tài liệu tham khảo: 1. https://drfeifei.substack.com/p/a-functional-taxonomy-of-world-models