实测 Genie 3:20+个例子,带你看懂 Google 的世界模型
实测 Genie 3:20+个例子,带你看懂 Google 的世界模型
实测 Genie 3:20+个例子,带你看懂 Google 的世界模型 实测 Genie 3:20+个例子,带你看懂 Google 的世界模型 Modified January 31 No access 0bc3diafqaaak4ac6td5g5uvagwdlanaawaa.f10002 00:00 No access 0bc3jaaacaaagiahnwd535uvasgdafeaaaia.f10002 00:00 No access 0bc3y4bj2aac2maoljt7evuvfr6dtxdqfhia.f10002 00:00 实时 20 24 帧每秒,720p 分辨率。你操作的时候,画面实时生成,没有明显延迟 世界一致性 你在世界里走了一圈回来,之前看到的东西还在原位。官方说能保持数分钟的一致性,之前离开视野的物体,大约一分钟内回去还能看到 从文字直接生成 Genie 1 需要图片输入,Genie 2 需要单张图片,Genie 3 直接用文字描述就行 自己学会的物理规则 水流、重力、光影、物体碰撞,这些物理效果是模型从视频数据里自己学出来的,没有硬编码物理引擎 更牛逼的用途 在 Google 的说法中,除了给大家玩,这个模型还有一个更牛逼的用途: 让真实智能体,在仿真世界里训练 No access 0bc3quajoaaa2yabibl5xbuvbbods6cqbfya.f10002 00:00 比如说 SIMA 2,也是来自谷歌,一个能在 3D 游戏里执行任务的 AI,通过读取屏幕画面,用虚拟键盘鼠标,来完成游戏内的操作 SIMA 2 在 Genie 3 里执行任务 现在把 SIMA 2 放进 Genie 3 生成的世界里。给它设定目标,比如「走向亮绿色的垃圾压缩机」,它能在生成的仓库环境里完成导航 SIMA 2 自我改进循环 更有意思的是自我改进。不少第一代智能体失败的任务,经过几轮自我训练之后就能完成,不需要人类额外标注数据 SIMA 2 在 Genie 3 里自我改进 世界模型能给智能体提供无限多样的训练环境,不用在真实世界里试错 当前限制 对于当前版本,依然有许多限制,Google 特别给列了出来 交互时长有限 每次只能玩几分钟,不能连续玩几个小时 动作空间有限 角色能做的动作目前只有基本的移动和跳跃,复杂动作做不了 多智能体交互难 多个独立智能体在同一个环境里互动,目前还是研究难题 真实地点不精确 没法完美复刻真实世界的具体位置 文字渲染有问题 除非在提示词里明确写了,否则生成的世界里文字通常不清晰 还有一条没在官方限制,但更实际的: $250/月 最后 以 Genie3 的梦境,作为收尾 一花一世界,一夜一菩提 No access 0bc3diafqaaak4ac6td5g5uvagwdlanaawaa.f10002 00:00 No access 0bc3diafqaaak4ac6td5g5uvagwdlanaawaa.f10002 00:00 No access 0bc3jaaacaaagiahnwd535uvasgdafeaaaia.f10002 00:00 No access 0bc3jaaacaaagiahnwd535uvasgdafeaaaia.f10002 00:00 No access 0bc3y4bj2aac2maoljt7evuvfr6dtxdqfhia.f10002 00:00 No access 0bc3y4bj2aac2maoljt7evuvfr6dtxdqfhia.f10002 00:00 实时 20 24 帧每秒,720p 分辨率。你操作的时候,画面实时生成,没有明显延迟 世界一致性 你在世界里走了一圈回来,之前看到的东西还在原位。官方说能保持数分钟的一致性,之前离开视野的物体,大约一分钟内回去还能看到 从文字直接生成 Genie 1 需要图片输入,Genie 2 需要单张图片,Genie 3 直接用文字描述就行 自己学会的物理规则 水流、重力、光影、物体碰撞,这些物理效果是模型从视频数据里自己学出来的,没有硬编码物理引擎 更牛逼的用途 在 Google 的说法中,除了给大家玩,这个模型还有一个更牛逼的用途: 让真实智能体,在仿真世界里训练 No access 0bc3quajoaaa2yabibl5xbuvbbods6cqbfya.f10002 00:00 No access 0bc3quajoaaa2yabibl5xbuvbbods6cqbfya.f10002 00:00 比如说 SIMA 2,也是来自谷歌,一个能在 3D 游戏里执行任务的 AI,通过读取屏幕画面,用虚拟键盘鼠标,来完成游戏内的操作 SIMA 2 在 Genie 3 里执行任务 现在把 SIMA 2 放进 Genie 3 生成的世界里。给它设定目标,比如「走向亮绿色的垃圾压缩机」,它能在生成的仓库环境里完成导航 SIMA 2 自我改进循环 更有意思的是自我改进。不少第一代智能体失败的任务,经过几轮自我训练之后就能完成,不需要人类额外标注数据 SIMA 2 在 Genie 3 里自我改进 世界模型能给智能体提供无限多样的训练环境,不用在真实世界里试错 当前限制 对于当前版本,依然有许多限制,Google 特别给列了出来 交互时长有限 每次只能玩几分钟,不能连续玩几个小时 动作空间有限 角色能做的动作目前只有基本的移动和跳跃,复杂动作做不了 多智能体交互难 多个独立智能体在同一个环境里互动,目前还是研究难题 真实地点不精确 没法完美复刻真实世界的具体位置 文字渲染有问题 除非在提示词里明确写了,否则生成的世界里文字通常不清晰 还有一条没在官方限制,但更实际的: $250/月 最后 以 Genie3 的梦境,作为收尾 一花一世界,一夜一菩提 🔗 原文链接: https://mp.weixin.qq.com/s/xUJBX3x6... https://mp.weixin.qq.com/s/xUJBX3x6... 原创 金色传说大聪明 金色传说大聪明 赛博禅心2026年1月31日 12:30 广东 Google DeepMind 刚刚放出了 Genie 3: 世界模型! 输入一句话,便给你生成一个 3D 世界,然后你可以在里面自由走动 雪地里走两步,脚印都给你渲染出来了 这个视频里的雪山场景,提示词: 高海拔开放世界,可变形的雪地地形 角色设定是: 一个敏捷的登山者,可以全方向移动和跳跃 生成之后,你用键盘控制登山者在雪地里走,雪会被踩出痕迹,视角跟着你的操作实时变化 用一句话生成的海洋,可以冲浪 这个冲浪的提示词更长: 无尽的海洋,巨大的雷鸣般的海浪,巨大的蓝绿色浪管在阳光下翻滚,成百上千的海鸥飞得很近,偶尔会挡住视线 角色设定: 一块白色冲浪板的板头,直指海浪的浪管 海浪、海鸥、阳光...等等都进行了实时渲染,而你可以控制冲浪板在浪里穿行 要知道,Sora 生成的是一段固定的视频,你只能看 Genie 3 生成的是一个世界,你可以操控,这便是「世界模型」 怎么玩到 现在只对美国用户开放,需要订阅 Google AI Ultra,$250/月 入口在 Google Labs 里,产品叫 Project Genie https://labs.google/fx/projectgenie 在这里,访问别人创建的世界,比如旁边这个飞机 一花一世界,一叶一菩提 当然,也可以自己创建一个世界,点这个 Create your own 进去就行了 短暂载入后,创建界面长这样 左边写环境提示词,右边写角色提示词 左边写 环境提示词 ,右边写 角色提示词 : 环境提示词 :可以描述你想要的世界,比如 「木叶村的街道,有拉面店和火影岩」 环境提示词 :可以描述你要扮演的角色或者控制的物体,比如 「 童年的漩涡鸣人 」 填完点生成,等几秒钟,世界就出来了,这是一个可以游玩的世界 操作方法,就类似常规的 3D 游戏: • W、S、A、D 控制前后左右移动 • 上下左右箭头控制视角转动 • 空格键跳跃 • 但鼠标没啥用 WSAD 操作 每次能玩 60 秒,时间到了可以重新生成,这里我放一个我的录屏,可以看看 No access 0bc3vaazqaab2yaeeal5nnuvdkgdtcuadgaa.f10002 00:00 No access 0bc3vaazqaab2yaeeal5nnuvdkgdtcuadgaa.f10002 00:00 它能生成什么样的世界 讲真的,这些东西真的太牛逼了,我这里我用一些来自官方的例子,和大家一起看看 物理世界 从沙漠到海洋到极端天气。水有动态物理效果,雪地可以踩出痕迹,纸飞机掠过水面会有波纹 No access 0bc3kiab2aaaymagual5xfuvauwddvjaahia.f10002 00:00 No access 0bc3kiab2aaaymagual5xfuvauwddvjaahia.f10002 00:00 生态系统 动物有自己的行为模式。狐狸在草地上跑,鹰在山谷里滑翔,植物细节也能渲染 No access 0bc3h4bacaacryahmad7ufuvep6dae7qeaia.f10002 00:00 No access 0bc3h4bacaacryahmad7ufuvep6dae7qeaia.f10002 00:00 动画和奇幻风格 不只是写实。黏土定格动画、水彩画、针织毛毡,各种风格都能生成。有个演示是一只黏土小猫在图书馆里走,另一个是毛毡蜗牛在花园里爬 No access 0bc3qaaw2aabluabupl4l5uvdagdnwaac3ia.f10002 00:00 No access 0bc3qaaw2aabluabupl4l5uvdagdnwaac3ia.f10002 00:00 不同地点 雪山、外星地表、维多利亚街道、古雅典。有个演示里还有传送门,从维多利亚街道走进去,出来就是沙漠 No access 0bc3qyacaaaarqafrnl5qbuvbbwdecdaaiaa.f10002 00:00 No access 0bc3qyacaaaarqafrnl5qbuvbbwdecdaaiaa.f10002 00:00 环境一致性 你在世界里走了一圈回来,之前看到的东西还在原位 这其实比生成一整段视频更难。Genie 3 是自回归生成,一帧一帧往后推,误差会随时间累积。现在能保持数分钟的一致性,离开视野的物体大约一分钟内回去还能看到 No access 0bc3r4akqaaaw4anf5l5wjuvbd6dvchqbkaa.f10002 00:00 No access 0bc3r4akqaaaw4anf5l5wjuvbd6dvchqbkaa.f10002 00:00 可提示的世界事件 你在探索过程中可以用文字改变世界。天气变化、添加新物体、引入新角色,都可以。有个演示是第一人称给房子刷油漆,油漆痕迹会留在墙上 核心能力 Google 称 Genie 3 是「第一个实时交互的世界模型」(the first real time, interactive world model)