李飞飞World Labs推出Marble:从文字到3D世界的跨越

2025-11-16 12:31
阅读30

李飞飞联合创立的World Labs最近放了个大招——正式推出首款商业化世界模型产品Marble。这款产品能把文字、图片甚至视频转成可编辑的3D环境,配套的创意工具和订阅方案也挺完善,在游戏开发、影视制作这些领域都能派上用场。

image.png

核心功能与优势

多模态输入支持

你可以用文本描述、单张照片、多张照片、短视频、3D布局图,甚至全景图来生成3D环境,基本上想到的输入方式它都支持。如果你输入的是多角度图片或视频,模型还会自动优化几何结构,让细节更连贯,这样生成的场景就不会出现那种奇怪的变形或者前后不一致的情况。

这种多样化的输入方式确实挺实用的。比如你手上有几张不同角度拍的建筑照片,直接扔给它就能生成一个完整的3D模型,不用再一点点建模了。

持久化3D环境生成

生成的3D世界可以永久保存下来,你随时能回来继续编辑,场景的结构和细节都会保持原样。而且支持自由导航,想从哪个角度看都行,没有死角。

输出格式也很灵活,包括高斯泼溅、网格和视频这几种主流格式,能直接导入Unity、Unreal这些游戏引擎,或者在Vision Pro、Quest 3这些VR设备上使用。这个兼容性做得还算到位,至少不用担心生成的东西没法用在自己的项目里。

AI原生编辑工具

Marble配了一个叫Chisel的编辑器,用起来挺有意思。你可以先手动搭建基本的空间结构,比如墙体、立方体这些,然后再用文字描述来定义视觉风格。这种"结构和风格分离"的思路,让创作过程更可控一些。

除了基础编辑,它还支持场景扩展和组合。你可以扩展单个世界的细节,或者把多个世界拼接起来,构建超大场景。这对于需要做复杂环境的项目来说,能省不少工夫。

创意中心与社区

World Labs同步推出了Marble Labs创意中心,用户可以在上面分享作品、交流技巧。这种社区氛围对于新手来说挺友好的,能看到别人怎么玩,也能获得一些灵感。

适配场景与设备兼容性

Marble瞄准的场景主要是游戏开发、影视视效和虚拟现实这几块。

image.png

对游戏开发者来说,它能快速生成背景环境,导入Unity这些引擎后再添加交互逻辑就行了,比从头建模效率高多了。不过要注意,它生成的还是静态环境,游戏里的动态元素和交互逻辑还是得你自己来写。

影视视效方面的应用可能更直接一些。它输出的3D资产能让创作者以逐帧精度来布景、设计运镜,最关键的是能避免帧间不一致的问题——这在传统的视频生成AI里一直是个痛点。你想想,如果镜头移动时场景结构突然变了,那整个画面就穿帮了。

VR这块,Marble已经全面兼容Apple Vision Pro和Meta Quest 3头显了。生成的3D世界可以直接用于VR体验,沉浸感应该不错。不过实际体验如何,还得看你生成的场景质量和设备性能。

另外值得一提的是,它还能为机器人领域构建仿真训练环境。这个应用场景可能没那么直观,但确实能降低机器人训练数据的获取门槛。毕竟在真实环境里让机器人反复试错成本太高,用虚拟环境先训练一遍会靠谱很多。

李飞飞的"空间智能"愿景

李飞飞在《世界模型宣言》里说过,Marble是构建"具备空间智能世界模型"的第一步。这个说法听起来有点宏大,但确实点出了方向——AI不能只停留在理解文字和图像,还得理解三维空间里的物体是怎么交互的。

从这个角度看,Marble的落地确实是个标志性事件。它让AI从侧重语言理解,向理解三维空间的物理规律迈出了关键一步。虽然目前主要应用还是在游戏、影视这些创意领域,但长远来看,这种空间智能技术未来可能会拓展到科学探索、医疗创新等更多领域。

不过说实话,Marble现在还处于早期阶段,实际使用中肯定会遇到各种问题。生成质量能不能稳定、复杂场景的处理效果如何、订阅价格是否合理,这些都需要时间来验证。但至少从产品设计来看,World Labs的思路还是挺清晰的——多模态输入、持久化环境、AI编辑工具,每一项功能都瞄准了实际需求。对于想尝试新工具的创作者来说,Marble值得关注一下。

0
好文章,需要你的鼓励