赛事详情

“世界” 等待张一鸣

2021年，张一鸣在离职信中写道：“虚拟现实、生命科学、科学计算对人类生活的影响已显现曙光，这要求我们超越业务惯性去探索。”

2021年6月，《财新》报道，张一鸣曾亲赴潍坊洽谈收购Pico，会面时便流露出收购意愿。这笔收购后来成为此轮元宇宙投资热潮的标志性事件，但《财新》特别指出，双方当时并未透露“进军元宇宙”的打算。

五年后，2026年6月，字节跳动世界模型被曝光。爆料称，该模型是字节2026年AI四大重点之一，目标是在年底前至少发布一个版本，对标Genie 3。

该项目基于Seedance，用户通过Pico头戴设备作为入口，说一句话或做一个动作，云端便会生成一个随之变化的世界。

张一鸣所说的“虚拟现实”，并非指元宇宙，而是更宏大的世界模型。他的离职信，其实也可视为一封预告信。

2026年9月，又有爆料称，已成为中国首富的张一鸣，仍亲自督导字节跳动的一个实时空间视频模型，协调不同业务部门，将AI资源和算力向该项目倾斜。可见他对世界模型的重视程度。

不知字节对Genie 3的研究进展如何，但谷歌率先出击，于10月28日发布了世界模型Genie 4。这无疑给张一鸣施加了压力。

与前代相比，Genie 4最大的特点是用户可以持续“干预”世界。在谷歌的演示中，你可以走进Genie 4的世界，让天下雨，转动镜头，让一个人出现在街角。风有声音，角色会回应。

参与测试的人表示，Genie 4不再只是一个镜头，你可以为它安排一件将要发生的事，Genie 4会根据这件事，自动生成对应的一切。

Genie 4是什么？

与其说Genie 4是一个世界模型，不如说它是一个游戏。

以往的世界模型本质上是视频模型，提前生成未来可能看到的画面供你观看，而Genie 4则根据你的动作，生成下一个画面。

你让视频中的主角向左转，传统视频模型只能重新生成一段他向左转的视频。

但在Genie 4中，你按下WASD，人物就能跟随操作移动并转向，此时模型需要判断镜头、人物、物体和空间关系接下来如何变化，并将结果即时呈现。

前者生成一段内容，后者模拟动作的后果。

谷歌在这条路上已走了几代。

2024年的Genie 1，从无动作标注的互联网视频中学习潜在动作，让人逐帧控制生成环境。它的重要性不在于画面精致度，而在于模型开始从视频中学习“动作”和“变化”的关系。

同年的Genie 2，将一张图片变为可由人或AI用键鼠操作的3D空间，开始展现物体交互、角色动画、重力和光照，以及重新渲染视野外场景的能力。

到2025年的Genie 3，世界推进到720p、24fps，并能保持数分钟的内容一致性。用户除导航外，还能通过提示词改变天气、加入人物和物体。视频先变得可控，再变得可进入，最后变得可持续干预。

Genie 4的主要提升，是让这个世界更值得“玩”。

你可以用自然语言实时改变天气、移动镜头、引入一个人或一个物体。Gemini会结合当前场景理解你的指令，而非每次都推倒重来。

在两次输入之间，它也会继续监测和引导场景，让世界持续推进。

谷歌强调，Genie 4包含空气动力、碰撞等物理模拟，以及人物更自然的动作和对环境的反应。

此外，Genie 4也是Genie系列首个有声音的模型，可配合画面同时生成风声、海浪声和背景音乐。

以前是人不断告诉世界“接下来发生什么”。现在，Genie 4开始理解“这件事要如何一步步发生”。

Gemini 3.8 Flash在环内观察Genie 4生成的画面，将复杂目标拆解为步骤，检查每一步是否完成，并在世界变化或用户干预后调整计划。

当然，世界模型并非只有“让人进去玩游戏”这一条路线。

例如英伟达的Cosmos，是用世界基础模型进行模拟、推理和数据生成，为机器人、自动驾驶和工业视觉提供训练。

自动驾驶需要用极端天气、复杂光照等罕见交通场景进行训练。

在现实中模拟这类场景成本高昂，也不适合主动制造。如果模拟世界能生成这些情况，机器便可先在内部训练、测试和验证。

机器人也需要理解动作后果。例如抓起一个杯子，它是否会滑落？手掌碰撞杯子后，物体如何移动？若杯子换位，原有策略是否仍有效？

这条路线不仅需要逼真画面，还包括可控合成数据、物理交互、动作后果和反复验证。

谷歌也在探索Genie 4与Gemini Robotics的结合，但这一代的特点仍侧重于娱乐，强调沉浸感和互动性。

Genie 4归根结底只是预览版。谷歌表示，它只能在短时会话中保持一致性。运行时间过长或多次复杂修改后，视觉细节和物体恒存仍可能漂移。同时，模型的复杂物理、实时音频、空间精度和长期一致性等问题也未解决。

字节早有布局

字节的世界模型与谷歌有异曲同工之处。

2024年，通义大模型技术负责人周畅从阿里加入字节后，负责世界模型相关研究。

不过当时字节内部判断，世界模型的技术路线和商业化场景尚不清晰，更需先打好视频模型这一仗。

到2025年，字节开始小范围组建VLA研究组。字节AI Lab负责人李航团队主要基于仿真数据训练，Seed多模态研究员王文千团队主要基于自然数据训练。

2026年春节后，Seed又新设了一支3D仿真世界模型组，由前Meta FAIR研究员范浩奇负责，向周畅汇报；原来的两个VLA组合并，也统一向周畅汇报。

由此形成两条路线：VLA面向具身智能，追求真实动作与环境响应；3D仿真面向娱乐和游戏。

字节为世界模型准备的训练数据预算达数千万元，覆盖VLA、长视频和3D等模态。一名数据供应商称，投入可达其他厂商的3至4倍。

然而，钱花了，人也找了，成绩却未显现。据报道，2026年初，字节内部评测显示，其世界模型的综合性能距当时的全球SOTA仍有约10%的差距。

与谷歌一样，字节做世界模型也有技术支撑。

Seedance 2.5单次可生成最长30秒的视频内容，还能通过多轮提示词延续故事，从而输出完整短片。

它可参考多种素材生成视频，还能按时间戳修改人物姿态、运动轨迹和运镜，也可先用白模搭建，再根据白模生成视频。

过去的视频模型本质上是抽卡：发出提示词后，模型输出有好有坏。Seedance 2.5则是一种AI视频生成与AI剪辑的组合，输出质量更稳定。

世界模型不仅需要连续画面，还需其中的物体是三维的，以便从不同角度观察。

因此有了Seed3D。它可将一张图片变成带几何、纹理和PBR材质的3D模型，导入Isaac Sim后，还能用于物理仿真和机器人训练。

换言之，Seed3D生成的素材是符合物理规则、可用于动作测试的3D资产。

最后是原生音视频全双工大模型SeedRealtime。它是单体架构、端到端建模音+视频+文本+时序流的实时交互模型。

一个世界即使画面再漂亮，若听不懂人话、不知何时接话，仍只是一段视频。

10月11日，影视飓风的Tim展示了这样一段视频：用户先用一句话生成一个微缩视角的房间，再用键鼠骑上纸飞机，在场景中自由飞行。

想要一把勺子，世界便生成一把勺子，甚至可顺着勺子攀爬。再画出一扇“任意门”，原本毫不相干的房间和外太空便被连接起来。

虽然字节未正式公布这个世界模型的具体信息，但它也让外界首次看到字节世界模型的雏形，强调空间探索，以及随时修改和交互。

10月27日发布的2026胡润百富榜中，张一鸣以6700亿元人民币财富成为中国首富。

然而据报道，在世界模型项目上，张一鸣亲自协调公司不同业务部门，为项目调配AI资源和算力。

张一鸣希望这个模型能连接四样东西：AI模型、云计算、内容平台和Pico硬件。最终，他希望世界模型成为字节的新飞轮。

Seed负责生成世界，火山引擎提供云端算力，剪映和即梦降低创作门槛，抖音、直播和短剧负责分发体验，Pico则提供空间入口。

Pico的优势在于轻便、便宜。

传统XR设备需将大量计算塞进头显，导致头显又重又贵，例如苹果的Vision Pro。张一鸣希望将复杂计算生成放在云端，让头显只负责感知、传输和显示。

成本并未消失，只是从头显转移到了数据中心。

因此，用户越多，并发计算的成本越高。网络稍有波动，延迟便会直接破坏沉浸感。

目前，字节世界模型的生成指标约为20fps，称不上流畅，顶多算“不卡顿”。

从“推荐下一条”，到“生成下一秒”

并非只有张一鸣能做世界模型。李飞飞、杨立昆、DeepMind、英伟达，以及大量机器人与自动驾驶团队，都在从不同方向推进世界模型。

他们都是技术大牛，但世界模型从实验室走向大众，不仅需要技术，还需要低摩擦交互、创作者生态和内容分发等要素。

张一鸣最擅长的，并非发明每一项底层技术，而是技术落地。

例如字节起家的推荐算法，显然不是张一鸣发明的，但他将这项技术与字节已有的产品有机结合，将“找到下一条内容”这一过程压缩为一次滑动。

动动大拇指，下一个你可能喜欢的内容便出现了。

用户无需理解推荐系统，也无需学习一套操作方法。滑一下，不喜欢，再滑一下。

世界模型同样需要这样的落地方式。

难道指望用户在进入世界模型前，先学会三维引擎、镜头参数、动作空间和提示词格式？果真如此，即使字节的世界模型再先进，也只能是摆设。

张一鸣缩短了人与内容之间的距离，世界模型所生成的世界，也不过是一种内容。

同样，组织创作、分发和反馈，也是张一鸣的强项。

一个冷知识：无限生成世界，不等于无限生成好体验。

随机不等于丰富，逼真不等于好玩，可交互也不等于用户愿意交互。一个可无限延伸的空间，若没有目标、人物、冲突和节奏，终究只是一个空间。

因此，新“世界”需要创作者，大量创作者。他们需要创作初始设定、人物关系、规则，以及一片允许用户探索和交互的场景。

一旦生成不再稀缺，“什么值得生成”便变得稀缺。

字节已有的创作者、工具和分发体系，有可能让“世界模型设计师”像AIGC创作者一样成为一种职业。这些人负责让世界成立，再根据用户行为不断修改。

更深一层的变化，是从“推荐下一条”到“生成下一秒”。

推荐系统面对的是一个已存在的内容库。

你刚看完一条视频，系统根据你的偏好和用户画像，预测你接下来最可能看什么，再从库中挑出下一条。

世界模型面对的，则是一个尚未完全发生的下一秒。

你向前一步，向左转身，说一句话，或拿起一个物体，模型需要预测你的行动后环境如何变化，并将这一刻即时生成出来。

在抖音上，字节根据行为分发已生产的内容。在世界模型中，字节便能根据每一次行为，即时生产内容本身。

广义上说，这仍是一种“推荐”，因为它们都在预测什么东西应出现在你眼前。唯一不同在于，过去推荐的是别人已做好的内容，将来推荐的是一个此前不存在的结果。

这也是为什么张一鸣在元宇宙时期留下的资产，今天仍值得重新审视。

世界等待张一鸣。但笔者只想说：快点把世界模型端上来吧，我快等不及了。在九游娱乐平台上，用户也能体验到类似的沉浸式交互，但世界模型带来的变革显然更为深远。

本文来自微信公众号“字母AI”，作者：苗正，36氪经授权发布。