李飞飞团队：一张图生成3D可交互场景

李飞飞团队：一张图生成3D可交互场景 李飞飞团队：一张图生成3D可交互场景 Modified December 3, 2024 [twi]@World twi 我们可以利用3D场景结构来构建交互效果——点击场景即可与之交互！ 名画的玩法 走进画作 世界一代让您以新的方式体验标志性的艺术作品。我们从梵高、霍珀、修拉和康定斯基最喜欢的作品([3])中生成了世界。 原画中没有的任何东西都是由我们的模型生成的。 创意工作流程 3D 世界生成自然地与其他 AI 工具组合在一起。这使得创作者可以使用他们已知的工具来实现新的体验。 例如，我们可以通过首先使用文本到图像模型生成图像来从文本创建世界。不同的模型有自己的风格，我们的世界可以继承这些风格。 在这里，我们使用不同的文本到图像模型生成同一场景的四个变体， ([4])全部使用相同的提示： Code block SQL 一间充满活力的卡通风格的青少年卧室，里面有一张铺着彩色毯子的床，一张杂乱的桌子，上面有一台电脑，墙上贴着海报，还有散落的运动装备。一把吉他靠在墙上，中间是一张舒适的带图案的地毯。窗外的光线为房间增添了温暖、年轻的氛围。 我们已经让一些创作者提前了解了我们的技术，开始尝试 3D 原生生成 AI 工作流程带来的可能性。 Eric Solorio展示了我们的模型如何填补他的创意工作流程中的空白，使场景中的角色轻松上演并指导精确的摄像机移动： video1 Brittani Natali使用将 World Labs 技术与 Midjourney、Runway、Suno、ElevenLabs、Blender 和 CapCut 等工具相结合的工作流程，在我们生成的世界中精心设计了摄像机路径，以在三部短片中唤起不同的情绪： video2 展望未来 这些结果是我们生成 3D 世界的第一个早期预览。我们正在努力改善生成的世界的大小和保真度，并尝试用户与其交互的新方式。 通过我们的候补名单了解我们未来的版本，或通过hello@worldlabs.ai联系。 如果您很高兴帮助我们实现这一愿景，请加入我们！ 这篇文章是由世界实验室技术人员制作的。 [1]除非另有说明，本页上的所有图像均使用 FLUX 1.1 [pro]、Ideogram 或 Midjourney 生成。 [2]图片来源：Keunhong Park、Ben Mildenhall。 [3]从左到右： 夜间露台咖啡馆，文森特·梵高，1888； 《夜鹰》 ，爱德华·霍珀，1942； Ville D' Avray，《白宫》 ，乔治·皮埃尔·修拉，1882 年； 穆尔瑙 风景与温室，瓦西里·康定斯基，1908 [4]从左到右：FLUX、Midjourney、Ideogram、DALL E Eric Solorio Brittani Natali 候补名单 hello@worldlabs.ai 请加入我们 夜间露台咖啡馆 文森特·梵高 《夜鹰》) 爱德华·霍珀 Ville D' Avray，《白宫》 乔治·皮埃尔·修拉 穆尔瑙 风景与温室 瓦西里·康定斯基 [twi]@World twi [twi]@World twi 我们可以利用3D场景结构来构建交互效果——点击场景即可与之交互！ 名画的玩法 走进画作 世界一代让您以新的方式体验标志性的艺术作品。我们从梵高、霍珀、修拉和康定斯基最喜欢的作品([3])中生成了世界。 原画中没有的任何东西都是由我们的模型生成的。 创意工作流程 3D 世界生成自然地与其他 AI 工具组合在一起。这使得创作者可以使用他们已知的工具来实现新的体验。 例如，我们可以通过首先使用文本到图像模型生成图像来从文本创建世界。不同的模型有自己的风格，我们的世界可以继承这些风格。 在这里，我们使用不同的文本到图像模型生成同一场景的四个变体， ([4])全部使用相同的提示： 我们已经让一些创作者提前了解了我们的技术，开始尝试 3D 原生生成 AI 工作流程带来的可能性。 Eric Solorio展示了我们的模型如何填补他的创意工作流程中的空白，使场景中的角色轻松上演并指导精确的摄像机移动： Eric Solorio video1 video1 Brittani Natali使用将 World Labs 技术与 Midjourney、Runway、Suno、ElevenLabs、Blender 和 CapCut 等工具相结合的工作流程，在我们生成的世界中精心设计了摄像机路径，以在三部短片中唤起不同的情绪： Brittani Natali video2 video2 展望未来 这些结果是我们生成 3D 世界的第一个早期预览。我们正在努力改善生成的世界的大小和保真度，并尝试用户与其交互的新方式。 通过我们的候补名单了解我们未来的版本，或通过hello@worldlabs.ai联系。 候补名单 hello@worldlabs.ai 如果您很高兴帮助我们实现这一愿景，请加入我们！ 请加入我们 这篇文章是由世界实验室技术人员制作的。 [1]除非另有说明，本页上的所有图像均使用 FLUX 1.1 [pro]、Ideogram 或 Midjourney 生成。 [2]图片来源：Keunhong Park、Ben Mildenhall。 [3]从左到右： 夜间露台咖啡馆，文森特·梵高，1888； 《夜鹰》 ，爱德华·霍珀，1942； Ville D' Avray，《白宫》 ，乔治·皮埃尔·修拉，1882 年； 穆尔瑙 风景与温室，瓦西里·康定斯基，1908 [4]从左到右：FLUX、Midjourney、Ideogram、DALL E 夜间露台咖啡馆 文森特·梵高 《夜鹰》) 爱德华·霍珀 Ville D' Avray，《白宫》 乔治·皮埃尔·修拉 穆尔瑙 风景与温室 瓦西里·康定斯基 🎉 https://x.com/drfeifei/status/1863618536318345688 李飞飞的World Labs 发布了他们空间智能的首个预览版本，上线了一个浏览器可访问的 AI 3D demo可以试玩。通过单张图片生成完整3D世界，而且还能与之交互就像是让你“走进”一张图片，探索其生成的三维场景 https://www.worldlabs.ai/blog （下面文章是一些截图，大家可以到👈的网站交互体验） https://docs.google.com/forms/d/e/1FAIpQLSf9jHsaDq1IwM FADQP0Gbd82tbW4CBOI5YfUAdPfqrFrWEeA/viewform 李飞飞的 AI 3D waitlist，先填为敬 https://x.com/drfeifei/status/1863618536318345688 李飞飞的World Labs 发布了他们空间智能的首个预览版本，上线了一个浏览器可访问的 AI 3D demo可以试玩。通过单张图片生成完整3D世界，而且还能与之交互就像是让你“走进”一张图片，探索其生成的三维场景 https://www.worldlabs.ai/blog （下面文章是一些截图，大家可以到👈的网站交互体验） https://docs.google.com/forms/d/e/1FAIpQLSf9jHsaDq1IwM FADQP0Gbd82tbW4CBOI5YfUAdPfqrFrWEeA/viewform 李飞飞的 AI 3D waitlist，先填为敬 感谢 user 9062 第一时间提供情报。李飞飞还给他点了赞 🎉 媒体报道： 量子位：李飞飞空间智能首秀：AI靠单图生成3D世界，可探索，遵循基本物理几何规则 https://mp.weixin.qq.com/s/iU XQdF r8AnnXr2dwI89w 机器之心：刚刚，李飞飞创业首个项目引围观：单图生成交互3D场景，空间智能来了 https://mp.weixin.qq.com/s/hWikSypCZXzxa9LQJq4Frg 有新：速递｜李飞飞 World Labs 推出首个 AI 系统—— 生成从图片到可交互的 3D 场景 https://mp.weixin.qq.com/s/bE7boUUumTSgIK39VC1x A 媒体报道： 量子位：李飞飞空间智能首秀：AI靠单图生成3D世界，可探索，遵循基本物理几何规则 https://mp.weixin.qq.com/s/iU XQdF r8AnnXr2dwI89w 机器之心：刚刚，李飞飞创业首个项目引围观：单图生成交互3D场景，空间智能来了 https://mp.weixin.qq.com/s/hWikSypCZXzxa9LQJq4Frg 有新：速递｜李飞飞 World Labs 推出首个 AI 系统—— 生成从图片到可交互的 3D 场景 https://mp.weixin.qq.com/s/bE7boUUumTSgIK39VC1x A 核心内容 • 项目发布：李飞飞空间智能首个项目发布，能够仅凭一张图片生成一个可交互的3D游戏世界。 • 交互性：生成的3D世界可以像玩游戏一样自由移动相机探索，支持浅景深、希区柯克变焦等操作。 • 实时渲染：场景在浏览器中实时渲染，支持摄像机效果和可调节的模拟景深（DoF）。 • 动态调整：用户可以改变物体颜色、调整背景光影、插入其他对象。 • 3D场景预测：与大多数生成模型不同，该AI系统直接预测3D场景，遵循3D几何物理规则。 • 网友反响：评论区“难以置信”一词刷屏，知名人士如Shopify创始人Tobi Lutke等点赞。 • VR应用：网友认为这为VR打开了新世界。 • 官方表态：官方表示这只是3D原生生成AI未来的一个缩影，并正在努力将技术尽快交到用户手中。 • 李飞飞分享：李飞飞本人分享了这项成果，强调通过一张照片或一句话生成的3D场景互动体验难以用语言描述。 Twitter发布视频 相机效果 场景生成后，将使用虚拟相机在浏览器中实时渲染。对相机的精确控制可实现艺术摄影效果。 我们可以模拟浅景深，其中只有距相机一定距离的物体才处于焦点： 景深 我们还可以模拟移动变焦，同时调整相机的位置和视野： 移动变焦 视野) 3D效果 大多数生成模型预测像素。相反，预测 3D 场景有很多好处： • 持久的现实：世界一旦生成，就会一直存在。即使你移开视线再回头看，场景也不会在你背后改变。 • 实时控制：生成场景后，您可以实时在场景中移动。你可以停留在花朵的细节上，或者从角落里偷看，看看里面有什么。 • 正确的几何形状：我们生成的世界遵循 3D 几何的基本物理规则。它们具有扎实感和深度感，与某些人工智能生成的视频的梦幻性质形成鲜明对比。 可视化 3D 场景的最简单方法是深度图，其中每个像素根据其到相机的距离进行着色：