5月12日 AI资讯汇总

5月12日 AI资讯汇总 😼 5月12日 AI资讯汇总 Modified May 12, 2025 Audio or video is not supported Please download the file and open it with the appropriate software. 【AI 3D】Meta推出AssetGen 2.0 AI 3D建模模型250512.mp4 · 1.05MB 【AI 3D】Meta推出AssetGen 2.0 AI 3D建模模型250512 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 【AI创作】Sketch2Anim将 2D 故事板草图转换成高质量的 3D 动作动画 250512.mp4 · 2.60MB 【AI创作】Sketch2Anim将 2D 故事板草图转换成高质量的 3D 动作动画 250512 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 【AI 3D】GarmentDiffusion 利用多模态扩散变换器生成 3D 服装缝纫图案 250512.mp4 · 36.95MB 【AI 3D】GarmentDiffusion 利用多模态扩散变换器生成 3D 服装缝纫图案 250512 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 【AI 3D】Difix3D+ 利用单步扩散模型改进 3D 重建时的虚影问题250512.mp4 · 44.40MB 【AI 3D】Difix3D+ 利用单步扩散模型改进 3D 重建时的虚影问题250512 00:00 特点： • 最长可拓展10s视频的画幅画面 • 支持自主上传视频，或基于AI生成的视频 官方宣传视频： Audio or video is not supported Please download the file and open it with the appropriate software. 【AI视频】Luma AI 发布“Reframe”功能，扩展视频画面 250512.mp4 · 5.30MB 【AI视频】Luma AI 发布“Reframe”功能，扩展视频画面 250512 00:00 🌟地址： https://hunyuancustom.github.io/ ZenCtrl：在保持前景保真度的同时，根据上下文生成参考主体驱动的图像 该模型由 FotographerAI 开发，基于模型OminiControl，增强更细粒度的控制、保证主体一致性。 ZenCtrl 通过智能处理图像的上下文信息，生成与主体高度一致且保持前景细节的图像。 • 保持对形状、姿势、摄像机角度、环境的控制 • 支持高分辨率、多场景生成 • 无需微调 支持任务： • 背景生成 • 受控背景生成 • 主题一致的上下文感知生成 • 对象和主题的放置（即将推出） • 上下文图像/视频生成（即将推出） • 多对象/主题合并与混合（即将推出） • 视频生成（即将推出） 🌟地址： https://github.com/FotographerAI/ZenCtrl/tree/main 、 🤖️AI 模型/应用 字节：放出新代码模型：Seed Coder，擅长代码生成、补全、编辑、推理 字节跳动发布开源代码模型 Seed Coder，这是一个功能强大、透明且参数高效的 8B 规模开源代码模型系列。 Seed Coder 包含三个主要变体： Seed Coder 8B Base（适用于代码补全） Seed Coder 8B Instruct（适用于指令遵循） Seed Coder 8B Reasoning（适用于复杂推理任务）。 该模型在同规模模型中表现优异，拿下多个 SOTA（state of the art）基准测试。Seed Coder 的创新点在于"让代码模型自己管理数据"，证明了"只需极少人工参与，LLM 就能自行管理代码训练数据"。这一开源项目为编程和软件工程任务提供了强大的工具，推动了开源代码模型的发展。 🌟地址： https://bytedance seed coder.github.io/ 字节：开源深度研究框架DeerFlow 字节跳动技术团队宣布，基于 LangStack 的全新 DeepResearch 开源项目——DeerFlow 。DeerFlow 是一个深度研究框架，它将语言模型与网络搜索、爬虫和 Python 执行等工具相结合 DeerFlow 支持生成图文报告、语音播客等内容。它支持从报告生成双人主持的播客，借助火山引擎的语音技术，以及丰富的音色，可以生成自然的播客音频内容。 同时，DeerFlow 支持从报告生成 PPT 等其他形式内容。官方推荐使用豆包 1.5 Pro 来运行 DeerFlow，可完成包括深度研究、MCP 集成、报告 AI 增强编辑以及播客生成等功能。 DeerFlow 还支持时下流行的 Replay 模式，即将研究过程进行回放。 官方视频演示： No access 字节跳动开源 Deep Research 项目 DeerFlow：可生成图文报告、语音播客250512 00:00 🌟地址： https://github.com/bytedance/deer flow 阿里：QwenChat推出WebDev功能（网页生成工具） 阿里 QwenChat 推出了 WebDev 功能（网页生成工具）。允许用户通过简单的交互生成高质量的网页，简化了网页开发过程。 WebDev 功能支持多种网页模板和组件，用户可以选择适合的模板并进行自定义，生成符合需求的网页。 此外，WebDev 还支持响应式设计，确保生成的网页在不同设备上都能正常显示。 测试效果（让它生成一个苹果官网页面）： No access 【AI工具】阿里 QwenChat 推出 WebDev 功能 网页生成工具250512 00:00 🌟地址： https://chat.qwen.ai/ 苹果：发布视觉语言模型FastVLM 苹果发布了 FastVLM(视觉语言模型)。旨在处理视觉和语言任务，如图像分类、图像描述生成、视觉问答等。FastVLM 通过结合视觉和语言模态，实现了对图像和文本的联合理解，能够更准确地回答与视觉内容相关的问题。该模型在多个基准测试中表现出色，目前苹果公司开源了 FastVLM 的代码和模型，供研究者和开发者使用和改进。 FastVLM 的推出为视觉语言模型领域带来了新的进展，为相关研究和应用提供了重要的工具和参考。 No access 苹果发布了 FastVLM，视觉语言模型250512 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 【AI 3D】Meta推出AssetGen 2.0 AI 3D建模模型250512.mp4 · 1.05MB 【AI 3D】Meta推出AssetGen 2.0 AI 3D建模模型250512 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 【AI 3D】Meta推出AssetGen 2.0 AI 3D建模模型250512.mp4 · 1.05MB 【AI 3D】Meta推出AssetGen 2.0 AI 3D建模模型250512 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 【AI创作】Sketch2Anim将 2D 故事板草图转换成高质量的 3D 动作动画 250512.mp4 · 2.60MB 【AI创作】Sketch2Anim将 2D 故事板草图转换成高质量的 3D 动作动画 250512 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 【AI创作】Sketch2Anim将 2D 故事板草图转换成高质量的 3D 动作动画 250512.mp4 · 2.60MB 【AI创作】Sketch2Anim将 2D 故事板草图转换成高质量的 3D 动作动画 250512 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 【AI 3D】GarmentDiffusion 利用多模态扩散变换器生成 3D 服装缝纫图案 250512.mp4 · 36.95MB 【AI 3D】GarmentDiffusion 利用多模态扩散变换器生成 3D 服装缝纫图案 250512 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 【AI 3D】GarmentDiffusion 利用多模态扩散变换器生成 3D 服装缝纫图案 250512.mp4 · 36.95MB 【AI 3D】GarmentDiffusion 利用多模态扩散变换器生成 3D 服装缝纫图案 250512 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 【AI 3D】Difix3D+ 利用单步扩散模型改进 3D 重建时的虚影问题250512.mp4 · 44.40MB 【AI 3D】Difix3D+ 利用单步扩散模型改进 3D 重建时的虚影问题250512 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 【AI 3D】Difix3D+ 利用单步扩散模型改进 3D 重建时的虚影问题250512.mp4 · 44.40MB 【AI 3D】Difix3D+ 利用单步扩散模型改进 3D 重建时的虚影问题250512 00:00 特点： • 最长可拓展10s视频的画幅画面 • 支持自主上传视频，或基于AI生成的视频 官方宣传视频： Audio or video is not supported Please download the file and open it with the appropriate software. 【AI视频】Luma AI 发布“Reframe”功能，扩展视频画面 250512.mp4 · 5.30MB 【AI视频】Luma AI 发布“Reframe”功能，扩展视频画面 250512 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 【AI视频】Luma AI 发布“Reframe”功能，扩展视频画面 250512.mp4 · 5.30MB 【AI视频】Luma AI 发布“Reframe”功能，扩展视频画面 250512 00:00 🌟地址： https://hunyuancustom.github.io/ ZenCtrl：在保持前景保真度的同时，根据上下文生成参考主体驱动的图像 该模型由 FotographerAI 开发，基于模型OminiControl，增强更细粒度的控制、保证主体一致性。 ZenCtrl 通过智能处理图像的上下文信息，生成与主体高度一致且保持前景细节的图像。 • 保持对形状、姿势、摄像机角度、环境的控制 • 支持高分辨率、多场景生成 • 无需微调 支持任务： • 背景生成 • 受控背景生成 • 主题一致的上下文感知生成 • 对象和主题的放置（即将推出） • 上下文图像/视频生成（即将推出） • 多对象/主题合并与混合（即将推出） • 视频生成（即将推出） 🌟地址： https://github.com/FotographerAI/ZenCtrl/tree/main 、 🤖️AI 模型/应用 字节：放出新代码模型：Seed Coder，擅长代码生成、补全、编辑、推理 字节跳动发布开源代码模型 Seed Coder，这是一个功能强大、透明且参数高效的 8B 规模开源代码模型系列。 Seed Coder 包含三个主要变体： Seed Coder 8B Base（适用于代码补全） Seed Coder 8B Instruct（适用于指令遵循） Seed Coder 8B Reasoning（适用于复杂推理任务）。 该模型在同规模模型中表现优异，拿下多个 SOTA（state of the art）基准测试。Seed Coder 的创新点在于"让代码模型自己管理数据"，证明了"只需极少人工参与，LLM 就能自行管理代码训练数据"。这一开源项目为编程和软件工程任务提供了强大的工具，推动了开源代码模型的发展。 🌟地址： https://bytedance seed coder.github.io/ 字节：开源深度研究框架DeerFlow 字节跳动技术团队宣布，基于 LangStack 的全新 DeepResearch 开源项目——DeerFlow 。DeerFlow 是一个深度研究框架，它将语言模型与网络搜索、爬虫和 Python 执行等工具相结合 DeerFlow 支持生成图文报告、语音播客等内容。它支持从报告生成双人主持的播客，借助火山引擎的语音技术，以及丰富的音色，可以生成自然的播客音频内容。 同时，DeerFlow 支持从报告生成 PPT 等其他形式内容。官方推荐使用豆包 1.5 Pro 来运行 DeerFlow，可完成包括深度研究、MCP 集成、报告 AI 增强编辑以及播客生成等功能。 DeerFlow 还支持时下流行的 Replay 模式，即将研究过程进行回放。 官方视频演示： No access 字节跳动开源 Deep Research 项目 DeerFlow：可生成图文报告、语音播客250512 00:00 No access 字节跳动开源 Deep Research 项目 DeerFlow：可生成图文报告、语音播客250512 00:00 🌟地址： https://github.com/bytedance/deer flow 阿里：QwenChat推出WebDev功能（网页生成工具） 阿里 QwenChat 推出了 WebDev 功能（网页生成工具）。允许用户通过简单的交互生成高质量的网页，简化了网页开发过程。 WebDev 功能支持多种网页模板和组件，用户可以选择适合的模板并进行自定义，生成符合需求的网页。 此外，WebDev 还支持响应式设计，确保生成的网页在不同设备上都能正常显示。 测试效果（让它生成一个苹果官网页面）： No access 【AI工具】阿里 QwenChat 推出 WebDev 功能 网页生成工具250512 00:00 No access 【AI工具】阿里 QwenChat 推出 WebDev 功能 网页生成工具250512 00:00 🌟地址： https://chat.qwen.ai/ 苹果：发布视觉语言模型FastVLM 苹果发布了 FastVLM(视觉语言模型)。旨在处理视觉和语言任务，如图像分类、图像描述生成、视觉问答等。FastVLM 通过结合视觉和语言模态，实现了对图像和文本的联合理解，能够更准确地回答与视觉内容相关的问题。该模型在多个基准测试中表现出色，目前苹果公司开源了 FastVLM 的代码和模型，供研究者和开发者使用和改进。 FastVLM 的推出为视觉语言模型领域带来了新的进展，为相关研究和应用提供了重要的工具和参考。 No access 苹果发布了 FastVLM，视觉语言模型250512 00:00 No access 苹果发布了 FastVLM，视觉语言模型250512 00:00 🌟地址： https://github.com/apple/ml fastvlm 🌟 05月12日 AI资讯 【AI 视频/绘图】 • Luma AI： 发布"Reframe"功能，任意扩展视频画面 【AI 3D】 • Meta：推出AI 3D建模模型 AssetGen 2.0 • Sketch2Anim：将2D故事板草图转换成高质量的3D动作动画 • GarmentDiffusion：生成3D服装缝纫图案 • Difx3D+：利用单步扩散模型改进3D重建时的虚影问题 • LEGOGPT：从文本生成物理稳定且可构建的LEGO设计 【AI 模型/应用】 • 字节：放出新代码模型：Seed Coder，擅长代码生成、补全、编辑、推理 • 字节：开源深度研究框架DeerFlow • 阿里：QwenChat推出WebDev功能（网页生成工具） • 苹果：发布视觉语言模型FastVLM 05月12日 AI资讯 【AI 视频/绘图】 • Luma AI： 发布"Reframe"功能，任意扩展视频画面 【AI 3D】 • Meta：推出AI 3D建模模型 AssetGen 2.0 • Sketch2Anim：将2D故事板草图转换成高质量的3D动作动画 • GarmentDiffusion：生成3D服装缝纫图案 • Difx3D+：利用单步扩散模型改进3D重建时的虚影问题 • LEGOGPT：从文本生成物理稳定且可构建的LEGO设计 【AI 模型/应用】 • 字节：放出新代码模型：Seed Coder，擅长代码生成、补全、编辑、推理 • 字节：开源深度研究框架DeerFlow • 阿里：QwenChat推出WebDev功能（网页生成工具） • 苹果：发布视觉语言模型FastVLM 🤖️AI 3D Meta：推出AI 3D建模模型 AssetGen 2.0 Meta 发布了全新的 3D 资产生成 AI 系统 AssetGen 2.0，旨在解决前代模型生成 3D 内容时的细节缺陷，为创作者打造更逼真的虚拟世界提供关键支持。 AssetGen 2.0由 Meta 内部开发两个模型组成：其一用于生成 3D 网格，另一用于生成纹理 与AssetGen 1.0不同，AssetGen 2.0 使用 3D 扩散进行几何估计，纹理上改进视图一致性、纹理修复同时提高分辨率。 目前表示年内将向 Horizon 创作者推出。 官方视频演示： 🌟地址： https://developers.meta.com/horizon/blog/AssetGen2 Sketch2Anim：将2D故事板草图转换成高质量的3D动作动画 Sketch2Anim 是一种创新的方法，旨在将 2D 草图故事板自动转换为 3D 动画。 该方法由爱丁堡大学、Snap Inc. 和东北大学共同提出，采用条件运动合成的思路解决这一问题，受到运动扩散模型的启发。 Sketch2Anim 由两个关键模块组成：一个用于理解草图约束，另一个用于生成运动。 该技术能够直接从 2D 故事板草图生成高质量的 3D 动画，同时针对相同的草图，通过不同的动作描述，可以生成不同的动作，大大简化了动画制作流程，降低了制作成本和时间。 目前代码还未放出。 官方视频演示： 🌟地址： https://zhongleilz.github.io/Sketch2Anim/ GarmentDiffusion：生成3D服装缝纫图案 GarmentDiffusion 是一种使用多模态扩散变换器生成 3D 服装缝纫图案的模型，由浙江大学研究推出。 其核心技术包括高效的边缘编码方案和扩散模型与 Transformer 架构的结合。该模型能够处理 3D 缝纫图案的参数（如 3D 缝合线、接缝和褶皱），实现厘米级精确和矢量化 3D 缝纫图案的端到端生成。 这一创新解决了传统服装设计中复杂的 3D 建模问题，通过 AI 技术自动生成缝纫图案，大幅提高了服装设计的效率和精度。 该模型在服装设计、虚拟试衣等领域有重要应用价值。 官方视频演示： 🌟地址： https://shenfu research.github.io/Garment Diffusion/ Difx3D+：利用单步扩散模型改进3D重建时的虚影问题 Difix3D+ 是英伟达提出的一种通过单步扩散模型来增强 3D 重建和新视角合成的新型管道。 其核心是 DIFIX，一个单步图像扩散模型，专门训练用于增强并消除由 3D 表示的欠约束区域引起的渲染新视角中的伪影。 DIFIX 在两个阶段发挥作用： 在重建阶段，它通过扩散过程改进 3D 表示； 在渲染阶段，它直接增强新视角合成。 该模型可以在现代 NVIDIA GPU 上以接近实时的速度运行，适用于改进 NeRF（神经辐射场）和 3DGS（3D Grid based Scene）重建。Difix3D+ 的引入显著提高了 3D 重建的质量，解决了长期困扰该领域的虚影和伪影问题。 官方视频演示： 🌟地址： https://research.nvidia.com/labs/toronto ai/difix3d/ LEGOGPT：从文本生成物理稳定且可构建的LEGO设计 LEGOGPT 是一种可以从文本生成物理稳定且可构建的 LEGO 设计的 AI 模型。 该模型由卡内基梅隆大学开发，旨在将文本描述转化为 LEGO 积木的组装设计。LEGOGPT 通过理解文本中的形状、结构和功能等信息，生成对应的 LEGO 积木设计，并确保设计的物理稳定性和可构建性。 这使得用户能够通过简单的文本描述生成复杂的 LEGO 设计，大大简化了设计过程。创新点在于其能够生成物理稳定且可构建的 LEGO 设计，解决了传统设计方法中需要大量试错的问题。 官方视频演示： Audio or video is not supported Please download the file and open it with the appropriate software. 【AI设计】LEGOGPT：从文本生成物理稳定且可构建的 LEGO设计.mp4 · 51.12MB 【AI设计】LEGOGPT：从文本生成物理稳定且可构建的 LEGO设计 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 【AI设计】LEGOGPT：从文本生成物理稳定且可构建的 LEGO设计.mp4 · 51.12MB 【AI设计】LEGOGPT：从文本生成物理稳定且可构建的 LEGO设计 00:00 🌟地址： https://avalovelace1.github.io/LegoGPT/ 🤖️AI 视频/绘图 Luma AI： 发布"Reframe"功能，任意扩展视频画面 AI视频工具Luma AI 发布"Reframe"功能，该功能能够扩展和调整视频的画幅边界，超越原始边界，智能地填充边缘内容。这使得用户能够扩展画面、改变构图和动态扩展视频画面。 目前该能力对于于无限和企业订阅计划开放。