AI正从语言智能迈向空间智能的范式跃迁申宝证券，李飞飞的World Labs以Marble平台为核心，通过生成性、多模态和交互性三大支柱，构建可探索的3D世界模型。本文深度解析其技术突破与产品实践，探讨如何重塑游戏、影视及自动驾驶等行业，揭示通往通用人工智能的关键路径。
引言：人工智能的下一个十年与感知范式的跃迁1.1 从符号到像素，再到空间的演进在人工智能的发展长河中，我们正处于一个决定性的转折点。
过去十年，以深度学习为代表的技术浪潮彻底重塑了机器处理信息的方式。特别是近年来，大语言模型（LLM）的崛起标志着生成式 AI 的黄金时代已经到来。像 GPT-4 这样的模型展示了令人惊叹的语言理解与生成能力，它们能够撰写诗歌、编写代码，甚至进行复杂的逻辑推理。然而，随着大语言模型应用的深入，学术界和产业界开始触碰到一个隐形的“天花板”：语言的局限性。
语言，本质上是对现实世界的高度压缩和抽象。当我们用语言描述“一个杯子从桌上掉落”时，虽然传递了核心的语义信息，但在这个压缩过程中，海量的空间细节丢失了。
语言无法精确描述杯子掉落时的三维旋转轨迹、光线在陶瓷表面的微妙折射、空气阻力对下落速度的微小影响，以及撞击地面时碎片飞溅的物理分布。
目前的生成式 AI 虽然在处理符号和文本方面取得了巨大成就，但它们仍然生活在一个由概率和统计相关性构成的“离身”世界中。它们“知道”杯子会碎，但它们无法“感知”或“模拟”那个导致破碎的物理过程。
这种局限性揭示了通往通用人工智能（AGI）的必经之路：世界不仅仅是由语言构成的，它是一个由物理定律支配、充满几何结构和时序因果的三维连续体。
因此，AI 的下一个十年，必须完成从“语言智能”到“空间智能”的范式转变。
这不仅是技术路径的修正，更是对智能本质的重新定义。我们需要一种能够理解、模拟并与物理世界交互的模型，这就是“世界模型”（World Model）概念诞生的宏大背景。
1.2 李飞飞的“空间智能”愿景与 World Labs 的诞生在这个历史性的转折点上，李飞飞再次站在了浪潮之巅。
作为计算机视觉领域的泰斗级人物，她曾通过创建 ImageNet 数据集一手推动了上一轮深度学习的爆发，教教会了计算机如何“看”世界（识别 2D 图像）。
而在 2024 年初，这位被誉为“AI 教母”的科学家开启了她的新征程——创立 World Labs。
World Labs 的成立并非仅仅是为了打造又一个 AI 创业公司，它是李飞飞“空间智能”理论的工业化实践载体。
该公司的愿景直指当前 AI 的核心痛点：赋予 AI 某种类似于人类视觉皮层和运动皮层结合的能力，使其不仅能识别图像，还能理解三维结构、物理属性和因果关系
。这一愿景迅速引起了资本市场的强烈共鸣，World Labs 在成立短短几个月内便获得了超过 2.3 亿美元的融资，估值迅速突破 10 亿美元，跻身独角兽行列。
这笔巨额资金背后，不仅是对李飞飞个人学术声望的信任，更是产业界对“具身智能”和“3D 生成”这一赛道爆发潜力的极度渴望。
1.3 本报告的核心议题与分析框架本深度解析报告旨在通过详尽剖析李飞飞 World Labs 的技术细节、产品形态及行业影响，全面解构“世界模型”这一前沿概念。
我们将深入探讨以下核心议题：
首先，我们将从认知科学和计算机科学的双重角度定义“世界模型”，阐述其与传统大语言模型的本质区别，以及为何它被视为通往 AGI 的关键路径。
其次，我们将对 World Labs 的最新技术突破——Marble 平台进行显微镜式的观察。从“单图生成无限世界”的用户体验，到其背后的高斯点云（Gaussian Splatting）与扩散模型结合的技术原理，再到其与 WebGL 生态的集成，我们将逐一拆解。
再次，我们将深入 AI 的“黑盒”，剖析支撑世界模型的三大技术支柱：生成性、多模态性和交互性，并探讨其背后的潜在状态学习与物理模拟机制。
最后，我们将把视线投向未来，评估这一技术在游戏、影视、自动驾驶及机器人领域的颠覆性潜力，同时也不回避其面临的算力瓶颈、数据挑战及伦理争议。
理解世界模型：从认知机理到计算架构2.1 世界模型的定义与本质：超越感知的预测要理解 World Labs 的工作，首先必须厘清“世界模型”这一概念的本体论地位。
在 AI 研究的语境中，世界模型并非简单的 3D 场景生成器，它是一种受到人类大脑认知机制深刻启发的计算架构。
人类大脑并非被动地接收感官输入申宝证券，而是一个主动的预测机器。当我们行走时，大脑会根据当前的运动状态和周围环境，实时预测下一秒的视觉反馈和触觉反馈。
这种“预测编码”机制使我们能够在复杂环境中做出快速反应。李飞飞所定义的世界模型，正是试图在机器中复现这种机制。它不仅仅是对 2D 视觉信息的被动分类，而是对 3D 空间的主动理解和模拟。
一个真正的世界模型，必须能够在内部构建一个关于外部环境的完整表征。这个表征不仅包含物体的外观（纹理、颜色），更包含物体的几何结构（形状、体积）、物理属性（质量、摩擦力）以及它们在时间轴上的演化规律。
与传统的生成模型（如简单的 GAN 或早期的扩散模型）相比，世界模型的本质区别在于其“结构化”的理解能力。
传统模型可能通过统计规律生成一张逼真的猫的图片，但它并不理解猫是一个占据三维空间的实体。而世界模型则构建了猫的 3D 潜在状态，因此它能预测猫在转身时的样子，甚至预测猫从高处跳下时的落地姿态。
这种超越 2D 视觉的 3D 空间理解，是李飞飞“空间智能”理论的基石。
2.2 空间智能的三大核心支柱根据 World Labs 公布的技术大纲，一个成熟的世界模型必须具备三大核心能力，这三者构成了空间智能的“三位一体”：生成性（Generative）、多模态（Multimodal）和交互性（Interactive）。
2.2.1 生成性：构建一致性的虚拟现实
生成性是世界模型的基础，但这里的生成远超出了“画一张图”的范畴。它要求 AI 能够生成具有感知一致性、几何一致性和物理一致性的完整世界。
感知一致性：生成的场景在视觉上必须是逼真的，光影、材质和纹理需要符合光学规律。几何一致性：这是目前视频生成模型（如 Sora）面临的最大挑战之一。在世界模型中，当摄像机围绕一个物体旋转时，物体的形状必须保持刚性，不能发生形变或扭曲。World Labs 强调了隐式与显式几何结构表示的结合，试图在神经网络的灵活性和传统几何的精确性之间找到平衡。时序连贯性：理解当前即理解演化过程。模型生成的每一帧画面都不是独立的，而是上一帧状态在物理定律作用下的自然延续。这种时序上的因果链条，保证了世界的稳定性，避免了梦境般的逻辑跳跃。2.2.2 多模态：全感官的信息融合
物理世界的信息是多维度的，因此世界模型的输入和输出也必须是多模态的。
World Labs 的架构设计能够处理图像、视频、深度图、文本以及动作指令等多种输入。更关键的是，多模态能力赋予了模型“在不完整信息下预测完整世界状态”的能力。例如，当模型看到一张只有建筑物正面的照片时，它能结合其学到的建筑学知识和几何先验，推断并生成建筑物的侧面、背面甚至内部结构。这种能力被称为“阿莫代尔补全”（Amodal Completion），是空间智能的高级表现。此外，多模态交互意味着用户可以通过自然语言（“把天气变成雨天”）、手势或传统控制器与这个生成的世界进行互动，极大地丰富了人机交互的维度。
2.2.3 交互性：从“看电影”到“玩游戏”
这是世界模型与 Sora 等视频生成模型最本质的分水岭。Sora 生成的是一段不可更改的视频，用户是旁观者；而世界模型生成的是一个可交互的环境，用户是参与者。
交互性要求模型能够根据用户的动作输入，实时计算并输出下一状态。这种状态转换必须符合物理定律和语义逻辑。如果用户在一个生成的房间里推倒一个花瓶，花瓶必须倒下并破碎，而不能穿过桌子或变成一朵花。这种支持闭环决策与规划的能力，使得世界模型不仅是内容生成的工具，更是智能体（Agent）训练的温床。
2.3 深度对比：世界模型 vs. 大语言模型为了更清晰地界定世界模型的价值，我们需要将其与当前的主流范式——大语言模型进行系统性的对比。下表总结了两者在多个维度的差异：正如李飞飞所指出的，单靠 LLM 无法解决具身智能问题。LLM 可以写出关于“如何骑自行车”的完美指南，但它无法控制机器人的腿部电机保持平衡，因为它不理解重力、摩擦力和动量在三维空间中的实时相互作用。
世界模型正是为了填补这一空白，它为 AI 提供了一个物理世界的“模拟器”，使其真正具备在现实中行动的能力。
Marble 平台：技术突破与产品化实践3.1 从静态图像到无限三维宇宙：Marble 的核心承诺World Labs 最引人注目的技术成果是名为 Marble 的平台。这是一个集成了其所有核心研究成果的产品化原型，其核心承诺极具科幻色彩：从单张图像或一段简短的提示词出发，生成一个无限的、可探索的、持久存在的 3D 世界。这一能力彻底颠覆了传统 3D 内容生产的流程。
在传统管线中，构建一个 3D 场景需要建模师、贴图师和光照师数周的工作。而在 Marble 中，这一过程被压缩到了秒级。
与 Google DeepMind 发布的 Genie（专注于 2D 平台跳跃游戏生成）不同，Marble 强调的是“永久持续性”和原生 3D 体验。这意味着用户生成的不仅仅是一段稍纵即逝的视频，而是一个拥有独立坐标系和状态记忆的虚拟空间。
3.2 Marble 的技术特性深度解析3.2.1 空间一致性与无限扩展
Marble 最令人惊叹的特性之一是其“一图生成无限世界”的能力。这不仅仅是简单的图像外绘，而是基于 3D 几何的连续生成。
无缝拼接：Marble 能够将多个独立生成的场景无缝拼接在一起。当用户走到当前场景的边缘时，模型会实时预测并生成新的地形和环境，这些新生成的区域在风格、光照和地理逻辑上与前一区域保持高度一致。路线轨迹图：为了辅助用户在无限生成的空间中导航，Marble 还提供了路线轨迹图等辅助功能。这表明系统内部维护着一个严格的全局坐标系，记录着用户的探索路径，确保用户“回头”时看到的是同样的景象，而不是一个变了样的世界。3.2.2 物理定律的遵守与沉浸感
在与 Decart 公司开发的 Minecraft 模拟器 Oasis 的对比中，Marble 展现了其对高保真物理世界的追求。Oasis 生成的是像素化的方块世界，物理规则相对简单。而 Marble 致力于生成具有“坚实感”和“深度感”的逼真场景。
避免伪影：在基于扩散模型的视频生成中，常见的伪影包括物体忽大忽小、肢体穿模等。Marble 通过引入 3D 几何约束，极大地减少了这些一致性问题。生成的墙壁是坚硬的，地板是平整的，物体之间有明确的空间遮挡关系。物理交互：虽然目前尚不清楚其物理模拟的颗粒度，但 Marble 承诺场景符合物理定律。这意味着水会流动，树叶会随风摇摆，光影会随时间变化。3.2.3 动态交互与实时编辑申宝证券
Marble 不仅仅是一个浏览器，更是一个编辑器。
对象级操控：用户可以改变生成对象的颜色，添加新的角色或物品。例如，在一个生成的客厅场景中，用户可以点击沙发将其换成红色，或者在桌子上放一个虚拟的苹果。模型会自动调整光照和阴影，使新加入的物体与环境完美融合。动态照明：系统支持动态照明背景的调整。用户可以将场景从正午调整到黄昏，模型会实时重新计算整个场景的光照渲染，展现出极强的可控性。3.3 技术输出与生态集成：打破围墙World Labs 并没有将 Marble 封闭在自己的象牙塔内，而是积极拥抱现有的 3D 图形生态，这一策略极大地扩展了其应用前景。
高斯点云导出 (Gaussian Splatting)：这是一个极具前瞻性的技术选择。3D Gaussian Splatting 是近年来图形学界最火热的技术之一，它能以极高的效率渲染出照片级的 3D 场景。Marble 支持将生成的 AI 世界导出为高斯点云格式，这意味着这些资产可以直接导入到 Unity、Unreal Engine 等主流游戏引擎中进行二次开发。Web 端集成：Marble 深度集成了开源的 Spark 渲染库，并支持通过 Three.js 构建网页 3D 体验。这大大降低了用户的使用门槛，无需下载庞大的客户端，只需一个浏览器链接，用户就能在台式机、移动设备甚至 VR 头显中探索 AI 生成的世界。这种跨设备的渲染能力，为元宇宙的普及铺平了道路。3.4 用户反响与典型案例在早期的演示中，Marble 的能力让无数网友和业内专家惊叹：“太强了！”。
典型的演示案例包括：从一张复古的客厅照片出发，用户不仅可以环视房间，还能“走出”房间来到走廊，甚至走到室外的花园。整个过程流畅自然，仿佛这张照片原本就是一扇通往平行宇宙的窗户。这种可探索空间的规模和连贯性，正是空间智能魅力的集中体现。
技术原理深度剖析：打开黑盒4.1 核心技术架构：感知、表征与生成虽然 World Labs 未公开其全部源代码，但根据大纲描述及当前学术界在世界模型领域的前沿进展，我们可以推断出其核心架构主要由三个模块组成：感知模块、内部表征构建模块、以及预测与生成模块。
4.1.1 感知模块
这是世界模型的眼睛。它负责将来自现实世界的原始感官数据转化为机器可理解的特征。
多传感器融合：Marble 不仅仅依赖 RGB 图像，还融合了计算机视觉（CV）与多传感器数据。这可能包括处理深度信息、光流甚至语义分割图。特征提取：架构上，这里极有可能采用了 Vision Transformer 或改进的自动编码器。这些网络能够将高维度的像素数据压缩成低维度的、富含语义信息的特征向量。4.1.2 内部表征构建
这是世界模型的大脑，也是李飞飞团队最核心的突破点。
从 2D 重建 3D：模型必须从 2D 图像中推断出 3D 结构。这涉及到极其复杂的逆向图形学问题。Marble 似乎采用了一种混合表征，既包含几何信息（如 Occupancy Grid 占用网格或 SDF 符号距离场），也包含语义信息。潜在状态学习：这部分与 Yann LeCun 提出的 JEPA（联合嵌入预测架构）理念有异曲同工之妙。模型学习的不是像素级的变化，而是抽象的“潜在状态”。这种状态不仅编码了当前视野内的物体，还编码了视野之外（如物体背面）的信息，实现了对世界状态的完整记忆和追踪。4.1.3 预测与生成模块
这是世界模型的手，负责将内部状态转化为可视化的未来。
扩散模型与 Transformer 的结合：在视频生成端，扩散模型是目前的主流选择，能生成极高质量的图像。而在处理时序逻辑和物理因果方面，Transformer 和递归神经网络（RNN）更具优势。Marble 可能采用了类似 RSSM（循环状态空间模型）的架构，用 RNN 处理时序预测，用扩散模型作为解码器将状态还原为高保真图像。
RSSM 与 JEPA 的应用：文档明确提到了 RSSM 和 JEPA 等模型结构。RSSM 能够将状态分解为确定性部分（物理定律）和随机性部分（不可预知的细节），从而在保证物理合理性的同时允许生成的多样性。
4.2 关键技术突破点4.2.1 3D 原生
表示传统的视频生成模型（如 Runway Gen-2）本质上是在处理 2D 像素的流动。而 World Labs 的突破在于引入了 3D 原生表示。文档提到了 RGB-D、Occupancy Grid 和 LiDAR 点云的使用。这意味着模型在生成之前，先在“脑海”中构建了一个 3D 骨架。这种几何一致性彻底解决了视频生成中物体变形、透视错误的顽疾，使得生成的场景具有了“可交互性”和“长时序特性”。
4.2.2 因果关系建模
捕捉环境中的因果关系是实现具身智能的关键。World Labs 的模型不仅仅是在拟合数据分布，更是在学习环境动力学模型。通过降低试错成本，这种因果建模能力使得机器人可以在虚拟世界中进行数百万次的训练，然后将学到的策略迁移到现实世界。这对于机器人导航与任务规划是革命性的。
4.2.3 多模态融合技术
World Labs 实现了一种深度的融合：语言提供了意图，视觉提供了上下文，动作提供了交互。这种融合使得系统能够理解“把红色的杯子拿起来”这样一个指令，不仅仅是作为一个文本标签，而是一个涉及到物体识别、空间定位和机械臂运动规划的复杂任务。
4.3 训练数据与方法数据是 AI 的燃料。World Labs 在数据策略上也展现了独特性。
物理仿真数据：除了互联网上的海量视频，World Labs 极度重视物理仿真数据的重要性。通过在游戏引擎或物理模拟器中生成的数据，模型可以获得完美的 Ground Truth（如精确的深度、法线、受力情况），从而学习到准确的物理定律。数据多样性与偏见：面对“大规模多模态数据集需求”，如何平衡数据的多样性与偏见是一个挑战。文档中提到的“欧洲晴天 vs 韩国雪景”的例子，暗示了模型训练中必须处理的地域和文化偏差问题。应用前景：重塑多个产业的底层逻辑5.1 游戏与虚拟现实：开发范式的革命游戏行业是世界模型最直接的受益者。目前，3A 级游戏的开发成本动辄数亿美元，周期长达数年，其中大部分资源投入在美术资产的制作和关卡设计上。Marble 技术承诺将这一过程自动化。
降本增效：开发者只需输入概念图，AI 即可自动生成逼真的 3D 环境资产。这不仅降低了开发门槛，更可能催生出全新的游戏类型——完全由 AI 实时生成的“无限游戏”。动态世界：NPC 不再是按照脚本行动的僵尸，环境也不再是静态的背景。玩家的行为可以永久性地改变游戏世界，带来前所未有的沉浸感。5.2 影视与创意产业：即时可视化的未来对于电影制片厂、艺术家和设计师而言，Marble 是终极的创作助手。
可视化革命：导演可以在剧本创作阶段就通过 AI 生成动态的分镜和预览，极大地加快了迭代速度。特效民主化：复杂的视觉特效制作门槛将被拉低，个人创作者也能制作出好莱坞级别的场景，这将极大地释放人类的创造力。5.3 自动驾驶：构建完美的神经模拟器自动驾驶的最后 1% 问题在于长尾场景。现实中很难收集到足够的极端事故数据来训练 AI。
合成数据生成：World Labs 的技术可以作为“神经模拟器”，生成各种复杂的、甚至在现实中从未发生过的危险场景（如暴风雪中突然冲出的儿童），用于训练自动驾驶算法。预测能力：在实车部署中，世界模型赋予车辆“预测未来”的能力，实时精准把握道路状况，预测其他车辆和行人的复杂变化趋势，从而做出更安全的决策。Tesla 和 Wayve 等公司已经在这一方向上进行了实践探索。5.4 机器人与具身智能：从“看得见”到“看得懂”这是李飞飞最看重的领域。目前的机器人往往笨拙且脆弱，因为它们缺乏对物理世界的常识。
Sim2Real（仿真到现实）：通过在世界模型中进行大规模强化学习，机器人可以掌握导航、物体识别、抓取等任务，理解深度信息。
这种从“看得见”（像素处理）到“看得懂”（语义与物理理解）的飞跃，将是机器人走进家庭和工厂的关键。
5.5 工业设计与建筑建筑师可以利用 Marble 将草图瞬间转化为可漫游的 3D 空间，进行光照分析和空间体验验证。产品设计师可以快速生成原型。在数字孪生领域，工厂和城市的虚拟复制品将不仅仅是静态模型，而是可以实时模拟生产流程和交通流量的动态系统，用于实时监控与优化。
5.6 教育与科研在教育领域，复杂概念的可视化教学将变得轻而易举。学生可以走进一个虚拟的分子内部观察化学键的断裂，或者在虚拟的物理实验室中调整重力参数观察天体运动。
挑战与争议：通往理想的荆棘之路6.1 技术挑战：算力与数据的双重瓶颈尽管愿景宏大，World Labs 面临的技术挑战依然严峻。
计算资源需求：生成 3D 世界并维持其实时交互，其算力消耗远超当前的大语言模型。Sora 训练需要数千张 GPU，而世界模型可能需要更多。这构成了普及应用的成本障碍。数据挑战：高质量的 3D 物理数据极度匮乏。现有的视频数据大多是 2D 的，缺乏深度和物理标注。如何从海量 2D 视频中蒸馏出 3D 物理规律，是算法层面的巨大挑战。此外，隐私与传感器复杂性也是数据采集中不可忽视的问题。技术瓶颈：在长时序预测中，误差累积会导致生成的世界逐渐崩塌或变得荒谬。复杂场景的物理模拟（如流体、软体变形）在实时性上仍难以保证。6.2 理论争议：Sora 真的懂物理吗？学术界对于“世界模型”的定义存在分歧。
定义的模糊性：术语的使用呈现碎片化。视频生成器、预测器、闭环仿真器都被冠以“世界模型”之名。学术界与产业界的理解差异巨大。能力边界：关于 Sora 是否真正理解物理定律的争论从未停止。有观点认为，Sora 只是在像素层面记住了纹理的变化模式，而非理解了背后的重力方程。这被称为“理解世界 vs. 预测未来”的张力。World Labs 必须证明其模型不仅仅是更好的视频生成器，而是真正的物理模拟器。
6.3 潜在风险：幻觉与伦理AI 幻觉问题：在文本生成中，幻觉只是说错话；在世界模型中，幻觉意味着物理法则的失效（如人穿墙而过）。错误的物理模拟如果用于自动驾驶训练，后果不堪设想。训练数据偏见的内化（如前述的地域天气偏见）也是一大隐患。伦理与社会影响：深度伪造技术将升级为“深度场景伪造”。虚假内容生成的风险、就业结构的变化（尤其是对 3D 建模师的冲击）都是社会必须面对的问题。产业格局与竞争态势7.1 World Labs 的独特生态位在众强环伺的 AI 战场，World Labs 以“明星创始人 + 顶级科研背景 + 明确的产品化路径”占据了独特位置。相比于 OpenAI 专注于通用大模型，World Labs 更聚焦于 3D 与交互，这使其避开了与 GPT-5 的直接竞争，开辟了“空间智能”的新蓝海。
7.2 主要竞争者全景图科技巨头：Google DeepMind 的世界模拟器研究底蕴深厚；OpenAI 的 Sora 项目虽然目前侧重视频，但其向模拟器演进的意图明显；微软和 Meta 也在元宇宙和具身智能领域有深厚布局。创业公司：Runway 的 Gen-2/Gen-3 不断推高视频生成的上限；Decart 的 Oasis 证明了实时生成可玩游戏的可行性；Higgsfield AI 等也在垂直领域发力。中国企业的探索：字节跳动、腾讯、阿里巴巴、百度等中国巨头凭借在视频应用和游戏领域的积累，正在通过“倒逼”路径——先让 AI 读懂海量视频，再反向构建世界模型——来追赶这一浪潮。极佳科技等创业公司也在探索 4D 世界模型。7.3 投资趋势与 2025 节点a16z、Radical Ventures 等头部机构的重注，以及英伟达、AMD 等芯片厂商的积极参与，表明资本市场坚定看好这一方向。行业普遍预期，2025 年将是世界模型产品的爆发之年，也是检验 World Labs 技术落地的关键节点。
结语：从“看见”到“理解”李飞飞在 ImageNet 时期教会了计算机“看见”，而现在，她正致力于教会计算机“理解”。
World Labs 与 Marble 平台的出现，标志着人工智能正在跨越从感知到认知的最后一道鸿沟。
世界模型的时代意义在于，它不再仅仅是处理信息的工具，而是构建现实的引擎。它将赋予机器一种全新的、类人的“直觉”，让它们能够理解物体为何下落、空间如何延伸、行为产生何种后果。
这不仅是通往 AGI 的必由之路，更是重塑人类创造力、革新生产方式、开启智能时代新纪元的钥匙。
对于我们每一个人而言，关注空间智能的发展，思考 AI 与物理世界的关系，把握这场从“比特”回归“原子”的技术变革，或许是我们面对未来不确定性时最确定的选择。
本文由 @耿和言的AI产品小屋 原创发布于人人都是产品经理。未经作者许可，禁止转载
题图来自Unsplash申宝证券，基于CC0协议
永华证券提示：文章来自网络，不代表本站观点。
