AIGC Weekly #64

AIGC Weekly 64 AIGC Weekly 64 绘蛙：阿里的AIGC营销平台 绘蛙AI是一个专注于电商营销内容创作的平台，旨在帮助商家提升商品的市场曝光度和吸引力。通过使用先进的人工智能技术，绘蛙AI能够快速生成吸引人的图文内容，让商品在第一时间吸引消费者的注意，从而被“种草”。该平台以其简单易用的操作界面和高效的内容生成能力，成为电商营销人员的有力工具。 Gatekeep：AI可视化学习应用 Gatekeep是一个提供个性化视频以帮助用户更快学习的平台。它特别强调了其利用人工智能生成视频的能力，这些视频旨在简化数学学习过程。 精选文章 ✦ ComfyUI发色更换工作流教程 根据Datou的工作流发散了一下做了一个更换发色的工作流还有对应的讲解。 我会先大概讲一下原理，然后再讲对应节点的作用和参数。最后会发散一下其他的方式，比如更换美瞳以及换衣服。 工作流原理： 主要用到了 SD 中局部重绘的原理，关键在于如何选中我们需要选中的区域，这里的突破主要是 Yolo World 这图像分割项目以及 ZHO 的 Comfyui 节点。 这个项目可以精准的识别和分割人物的不同区域的位置，我们根据不同区域的组合就可以选到需要的区域去重绘。 节点作用及参数： YoloWorld Model Loader 和 ESAM Model Loader：加载模型用的用默认设置就行。 YoloWorld ESAM：输入框输入需要分割区域的单词，Confidence threshold 需要分割的区域越精细数值越小，反之越大。 遮罩相减：取两个链接遮罩的交集。 遮罩扩展：扩大遮罩选取范围，倒角是让选区更加平滑。 采样器：降噪幅度，修改的内容与原图越不同重绘幅度需要越大。 Perplexity 的创始人 Aravind Srinivas 与 Stripe 的 David Singleton 炉边谈话 Aravind Srinivas，Perplexity（困惑度）平台的创始人，与 Stripe 的 David Singleton 进行了一次深入的对话，探讨了 Perplexity 从创立到发展的各个方面，包括其内部管理、招聘策略和未来的发展蓝图。 创立与成长 • Perplexity 平台大约在一年半前成立，最初致力于开发一款将自然语言转换为 SQL 的工具，其灵感来源于搜索引擎和 Google 的发展历程。 • 他们开发了一个与 Stripe 紧密相关的原型，进而创造了 Bird SQL，这是一个将 Twitter 数据整理成可搜索表格的工具，成功吸引了首批投资者的关注。 • 随后，他们的策略转向从链接中提取原始数据，并在推理时间内完成在线处理任务，推出了一款集成了 GPT 3.5 和 Bing 的通用搜索工具。 借鉴大公司的经验 • 团队成员在 Google 等大型科技公司的工作经验，对 Perplexity 的工程文化产生了深远影响，特别强调工程卓越和对延迟等细节的重视。 内部管理 • Perplexity 目前拥有约 45 名员工，初期招聘并非通过传统面试，而是通过实际任务的测试。 • 公司制定了明确的发展规划，将具体的小型项目分配给由后端、全栈和前端工程师组成的团队，并设定具体的完成时间。 • 每周一和周五的固定会议用于确定工作重点和回顾成果，而周三则为小团队举行简短的站立会议。 中文版本：https://baoyu.io/translations/transcript/aravind srinivas perplexity and david singleton stripe fireside chat 智能体设计模式 吴恩达认为人工智能代理工作流程将在今年推动人工智能的巨大进步——甚至可能超过下一代基础模型。这是一个重要的趋势，我呼吁所有从事人工智能工作的人都关注它。 构建代理的设计模式框架包括反思、工具使用、规划和多代理协作。反思是指LLMs审视自身工作并提出改进方法；工具使用是指赋予LLMs如网络搜索、代码执行等工具以帮助其收集信息、采取行动或处理数据；规划是指LLMs制定并执行多步骤计划以实现目标；多代理协作则涉及多个AI代理共同工作，通过分工、讨论和辩论来提出比单个代理更好的解决方案。这些设计模式为构建高效的AI代理提供了指导，并将在下周进一步详细阐述并提供相关阅读建议。 Codesignal推出的免费提示工程教程 刚刚Codesignal推出了一个非常通俗易懂并且给出了丰富实践经验的免费提示工程教程。 如果你之前看过一些提示工程的教程但是都很复杂看不懂的话。强烈建议你看一下这个，可以很好的帮助你学习提示词书写。教程的质量非常高。 总共分为五部分 ，分别是： 了解 LLM 和基本提示技巧、 调整大型语言模型的输出大小、 在Prompt Engineering中探索格式控制之旅、 精确文本修改的提示工程、高级技术在提示工程中的应用。 Lex Fridman采访了Sam Altman Lex Fridman采访了Sam Altman，这次采访有快两个小时，基本上谈到了所有需要谈的内容。包括GPT 5、Sora、董事会闹剧、马斯克、Ilya去向以及最重要的AGI。 计算力将成为未来最宝贵的财富之一,人工智能的发展将是一场巨大的权力斗争。 Sam回顾了在OpenAI董事会经历的困难时刻,称其为职业生涯中最痛苦、混乱和令人沮丧的经历,但这些经历有助于增强韧性。 OpenAI正在寻找新的董事会成员,希望引入具有不同专业背景的人才,包括非营利组织、学习型公司、法律和治理等领域的专家。 董事会需要回应全球的需求,而不仅仅是自身利益。 人们对产品发布策略的反思,认为应该更加迭代地发布,避免突然的更新,以满足用户的需求。 GPT 4是一个重要的里程碑,但并不足以改变世界。真正意义上的AGI应该能够显著提高科学发现的速度。 大部分真正的经济增长来自科学技术的进步。 Sam期望首个AGI系统能够回答关于宇宙统一理论和外星文明存在性等重大科学问题。 没有任何一个个体或机构应该对AGI拥有绝对控制权,需要建立一个强大的治理系统来管理AI的发展。 我的中文视频翻译：https://x.com/op7418/status/1769779299450781969?s=20 我该使用哪款 AI？AI 模型的超能力与现状 探讨了当前 AI 模型的发展趋势，尤其是像 GPT 4 这样的高级模型，还包括 Anthropic 公司开发的 Claude 3 Opus 和 Google 的 Gemini Advanced。这些模型以其模仿人类对话的能力、多模态交互功能（例如图像理解）、无需用户指导以及相似的交互方式而著称。虽然它们有许多共同点，但每个模型都有其独到之处和优势：GPT 4 功能全面，还具备代码解释器等特色功能；Claude 在写作和深度洞察方面备受好评；而 Gemini 则擅长提供清晰的解释。 文章还提到了 "上下文窗口" 和 "检索增强生成"（RAG）这两个概念，它们是为 AI 提供超出其训练数据范围的上下文信息的方法。GPT 4 的上下文窗口能够处理 8,000 至 32,000 字的内容，Claude 3 的上下文窗口超过 150,000 字，而 Gemini 1.5 能够处理高达一百万个 Token。RAG 系统通过从外部资源检索信息来扩展 AI 的知识库，但有时也可能导致 AI 产生虽然合理却不正确的 "幻想"。 文章还介绍了 "智能体" 的概念，这是一种有明确目标的自主 AI 程序。例如，Devin 是一个由 GPT 4 支持的 AI 软件工程师，它能够独立规划和执行任务，比如自主创建网页。 作者指出，尽管目前还没有模型能够超越 GPT 4 所设立的基准，但 AI 领域的发展势头迅猛，未来将有 GPT 5 和 Gemini 2.0 等新模型问世。文章提倡通过使用 GPT 4 级别的模型来熟悉它们的能力，并为将来的新技术做好准备，这些新技术将带来新特性和与 AI 互动的新方式，例如智能体和更广阔的上下文理解能力。 重点研究 ✦ DepthFM: 使用深度流匹配技术的快速单目深度预测 一个深度图分析模型，通过流匹配（Flow Matching）技术，可以有效地实现这一目标，因为它在解空间中形成的直线轨迹既高效又能保证质量。我们的研究表明，一个预训练的图像扩散模型（Image Diffusion Model）可以作为流匹配深度模型的合适先验，仅使用合成数据进行高效训练，就能泛化到真实图像的处理。我们还发现，加入一个辅助性的表面法线损失（Surface Normals Loss）可以进一步提升深度预测的准确性。得益于我们方法的生成式特性，模型能够可靠地评估其深度预测的准确性。在复杂自然场景的标准基准测试中，尽管只使用了少量合成数据进行训练，我们的模型仍然展现出了最先进的性能，并在计算成本上具有明显优势。 ComfyUI插件地址：https://github.com/ZHO ZHO ZHO/ComfyUI DepthFM VoiceCraft：超过XTTS的语音模型 • VOICECRAFT模型介绍 ： VOICECRAFT是一个先进的神经编解码语言模型，专门用于语音编辑和零样本文本到语音（TTS）任务。该模型采用了Transformer解码器架构，并引入了一个独特的令牌重排程序，该程序结合了因果掩蔽和延迟堆叠技术，使得模型能够在现有序列内生成内容。这种设计使得VOICECRAFT在自然度方面与未编辑的录音几乎无法区分，并且在零样本TTS任务上超越了以往的模型。 • 语音编辑任务 ： 语音编辑是VOICECRAFT的核心功能之一，它允许用户修改语音记录中的特定部分，以匹配目标转录文本。这包括插入新词汇、删除不需要的部分或替换错误的词汇。通过这种方式，VOICECRAFT能够生成与原始录音在自然度上几乎无法区分的编辑后语音，这对于内容创作者和教育工作者等用户来说非常有价值。 • 零样本文本到语音（TTS）任务 ： 零样本TTS是VOICECRAFT的另一个重要功能，它允许模型在没有听过目标声音的情况下，仅根据目标转录和一小段参考录音来合成语音。这对于创建多样化的声音内容非常有用，尤其是在需要快速生成大量不同声音的情况下。 • 模型架构和训练方法 ： VOICECRAFT的架构基于编解码器，它首先将语音波形量化为一系列可学习的离散单元，然后使用Transformer解码器来预测这些单元。通过因果掩蔽和延迟堆叠技术，模型能够在自回归序列预测中有效地利用双向上下文信息。这种训练方法使得模型在处理长序列时表现出色，并且能够生成高质量的语音输出。 项目地址：https://github.com/jasonppy/VoiceCraft?tab=readme ov file AnyV2V：适用于任何视频到视频编辑任务的即插即用框架 • AnyV2V框架的介绍 ： AnyV2V是一个新颖的训练免费框架，旨在简化视频编辑任务。它将视频编辑分解为两个主要步骤：首先使用现成的图像编辑模型来修改视频的第一帧，然后利用图像到视频生成模型进行DDIM反演和特征注入，以生成与源视频外观和动作一致的新视频。这个框架的关键在于它的通用性，能够适配各种不同的视频编辑需求，无需额外的训练或复杂的设置。 • 视频到视频编辑任务的挑战 ： 视频到视频编辑任务要求AI模型能够根据源视频和提供的控制信息（如文本提示、主题或风格）编辑源视频，生成新的视频。这一任务的挑战在于，新生成的视频不仅要与源视频保持一致，还要准确地融入额外的控制信息。传统方法通常只限于特定类型的编辑，这限制了它们满足广泛用户需求的能力。 • AnyV2V的两阶段编辑过程 ： AnyV2V框架的核心在于它的两阶段编辑过程。在第一阶段，AnyV2V利用现有的图像编辑工具来编辑视频的第一帧。在第二阶段，它使用图像到视频模型来执行DDIM反演，并注入中间特征，以确保生成的视频在外观和动作上与源视频保持一致。这种分阶段的方法使得AnyV2V在编辑操作上具有很高的灵活性和兼容性。 • AnyV2V的兼容性和简单性 ： AnyV2V的一个显著特点是它与所有图像编辑方法的兼容性。这意味着AnyV2V可以将任何图像编辑方法扩展到视频领域，而无需额外成本。此外，AnyV2V的简单性体现在它不需要任何额外的视频特征来实现高外观和时间一致性，这使得它在操作上更加直观和易于使用。 Mora：借助多智能体系统实现通用视频生成 微软的一个视频生成项目 Mora，利用 Agents 来复原 Sora 的能力，基本还原了 Sora 所有的能力，目前支持生成 1024 576 分辨率的 12 秒视频。 还原的能力包括： 1）将文本转换为视频 2）根据文本条件将图片转换为视频 3）扩展已生成的视频 4）进行视频到视频的编辑 5）串联视频以及 6）模拟数字世界 绘蛙：阿里的AIGC营销平台 Gatekeep：AI可视化学习应用 ComfyUI发色更换工作流教程 Perplexity 的创始人 Aravind Srinivas 与 Stripe 的 David Singleton 炉边谈话 智能体设计模式 Codesignal推出的免费提示工程教程 Lex Fridman采访了Sam Altman 我该使用哪款 AI？AI 模型的超能力与现状 DepthFM: 使用深度流匹配技术的快速单目深度预测 VoiceCraft：超过XTTS的语音模型 AnyV2V：适用于任何视频到视频编辑任务的即插即用框架 Mora：借助多智能体系统实现通用视频生成 绘蛙：阿里的AIGC营销平台 绘蛙：阿里的AIGC营销平台 绘蛙AI是一个专注于电商营销内容创作的平台，旨在帮助商家提升商品的市场曝光度和吸引力。通过使用先进的人工智能技术，绘蛙AI能够快速生成吸引人的图文内容，让商品在第一时间吸引消费者的注意，从而被“种草”。该平台以其简单易用的操作界面和高效的内容生成能力，成为电商营销人员的有力工具。 Gatekeep：AI可视化学习应用 Gatekeep：AI可视化学习应用 Gatekeep是一个提供个性化视频以帮助用户更快学习的平台。它特别强调了其利用人工智能生成视频的能力，这些视频旨在简化数学学习过程。 精选文章 ✦ ComfyUI发色更换工作流教程 ComfyUI发色更换工作流教程 根据Datou的工作流发散了一下做了一个更换发色的工作流还有对应的讲解。 我会先大概讲一下原理，然后再讲对应节点的作用和参数。最后会发散一下其他的方式，比如更换美瞳以及换衣服。 工作流原理： 主要用到了 SD 中局部重绘的原理，关键在于如何选中我们需要选中的区域，这里的突破主要是 Yolo World 这图像分割项目以及 ZHO 的 Comfyui 节点。 这个项目可以精准的识别和分割人物的不同区域的位置，我们根据不同区域的组合就可以选到需要的区域去重绘。 节点作用及参数： YoloWorld Model Loader 和 ESAM Model Loader：加载模型用的用默认设置就行。 YoloWorld ESAM：输入框输入需要分割区域的单词，Confidence threshold 需要分割的区域越精细数值越小，反之越大。 遮罩相减：取两个链接遮罩的交集。 遮罩扩展：扩大遮罩选取范围，倒角是让选区更加平滑。 采样器：降噪幅度，修改的内容与原图越不同重绘幅度需要越大。 Perplexity 的创始人 Aravind Srinivas 与 Stripe 的 David Singleton 炉边谈话 Perplexity 的创始人 Aravind Srinivas 与 Stripe 的 David Singleton 炉边谈话 Aravind Srinivas，Perplexity（困惑度）平台的创始人，与 Stripe 的 David Singleton 进行了一次深入的对话，探讨了 Perplexity 从创立到发展的各个方面，包括其内部管理、招聘策略和未来的发展蓝图。 创立与成长 • Perplexity 平台大约在一年半前成立，最初致力于开发一款将自然语言转换为 SQL 的工具，其灵感来源于搜索引擎和 Google 的发展历程。 • 他们开发了一个与 Stripe 紧密相关的原型，进而创造了 Bird SQL，这是一个将 Twitter 数据整理成可搜索表格的工具，成功吸引了首批投资者的关注。 • 随后，他们的策略转向从链接中提取原始数据，并在推理时间内完成在线处理任务，推出了一款集成了 GPT 3.5 和 Bing 的通用搜索工具。 借鉴大公司的经验 • 团队成员在 Google 等大型科技公司的工作经验，对 Perplexity 的工程文化产生了深远影响，特别强调工程卓越和对延迟等细节的重视。 内部管理 • Perplexity 目前拥有约 45 名员工，初期招聘并非通过传统面试，而是通过实际任务的测试。 • 公司制定了明确的发展规划，将具体的小型项目分配给由后端、全栈和前端工程师组成的团队，并设定具体的完成时间。 • 每周一和周五的固定会议用于确定工作重点和回顾成果，而周三则为小团队举行简短的站立会议。 中文版本：https://baoyu.io/translations/transcript/aravind srinivas perplexity and david singleton stripe fireside chat 智能体设计模式 智能体设计模式 吴恩达认为人工智能代理工作流程将在今年推动人工智能的巨大进步——甚至可能超过下一代基础模型。这是一个重要的趋势，我呼吁所有从事人工智能工作的人都关注它。 构建代理的设计模式框架包括反思、工具使用、规划和多代理协作。反思是指LLMs审视自身工作并提出改进方法；工具使用是指赋予LLMs如网络搜索、代码执行等工具以帮助其收集信息、采取行动或处理数据；规划是指LLMs制定并执行多步骤计划以实现目标；多代理协作则涉及多个AI代理共同工作，通过分工、讨论和辩论来提出比单个代理更好的解决方案。这些设计模式为构建高效的AI代理提供了指导，并将在下周进一步详细阐述并提供相关阅读建议。 Codesignal推出的免费提示工程教程 Codesignal推出的免费提示工程教程 刚刚Codesignal推出了一个非常通俗易懂并且给出了丰富实践经验的免费提示工程教程。 如果你之前看过一些提示工程的教程但是都很复杂看不懂的话。强烈建议你看一下这个，可以很好的帮助你学习提示词书写。教程的质量非常高。 总共分为五部分 ，分别是： 了解 LLM 和基本提示技巧、 调整大型语言模型的输出大小、 在Prompt Engineering中探索格式控制之旅、 精确文本修改的提示工程、高级技术在提示工程中的应用。 Lex Fridman采访了Sam Altman Lex Fridman采访了Sam Altman Lex Fridman采访了Sam Altman，这次采访有快两个小时，基本上谈到了所有需要谈的内容。包括GPT 5、Sora、董事会闹剧、马斯克、Ilya去向以及最重要的AGI。 计算力将成为未来最宝贵的财富之一,人工智能的发展将是一场巨大的权力斗争。 Sam回顾了在OpenAI董事会经历的困难时刻,称其为职业生涯中最痛苦、混乱和令人沮丧的经历,但这些经历有助于增强韧性。 OpenAI正在寻找新的董事会成员,希望引入具有不同专业背景的人才,包括非营利组织、学习型公司、法律和治理等领域的专家。 董事会需要回应全球的需求,而不仅仅是自身利益。 人们对产品发布策略的反思,认为应该更加迭代地发布,避免突然的更新,以满足用户的需求。 GPT 4是一个重要的里程碑,但并不足以改变世界。真正意义上的AGI应该能够显著提高科学发现的速度。 大部分真正的经济增长来自科学技术的进步。 Sam期望首个AGI系统能够回答关于宇宙统一理论和外星文明存在性等重大科学问题。 没有任何一个个体或机构应该对AGI拥有绝对控制权,需要建立一个强大的治理系统来管理AI的发展。 我的中文视频翻译：https://x.com/op7418/status/1769779299450781969?s=20 我该使用哪款 AI？AI 模型的超能力与现状 我该使用哪款 AI？AI 模型的超能力与现状 探讨了当前 AI 模型的发展趋势，尤其是像 GPT 4 这样的高级模型，还包括 Anthropic 公司开发的 Claude 3 Opus 和 Google 的 Gemini Advanced。这些模型以其模仿人类对话的能力、多模态交互功能（例如图像理解）、无需用户指导以及相似的交互方式而著称。虽然它们有许多共同点，但每个模型都有其独到之处和优势：GPT 4 功能全面，还具备代码解释器等特色功能；Claude 在写作和深度洞察方面备受好评；而 Gemini 则擅长提供清晰的解释。 文章还提到了 "上下文窗口" 和 "检索增强生成"（RAG）这两个概念，它们是为 AI 提供超出其训练数据范围的上下文信息的方法。GPT 4 的上下文窗口能够处理 8,000 至 32,000 字的内容，Claude 3 的上下文窗口超过 150,000 字，而 Gemini 1.5 能够处理高达一百万个 Token。RAG 系统通过从外部资源检索信息来扩展 AI 的知识库，但有时也可能导致 AI 产生虽然合理却不正确的 "幻想"。 文章还介绍了 "智能体" 的概念，这是一种有明确目标的自主 AI 程序。例如，Devin 是一个由 GPT 4 支持的 AI 软件工程师，它能够独立规划和执行任务，比如自主创建网页。 作者指出，尽管目前还没有模型能够超越 GPT 4 所设立的基准，但 AI 领域的发展势头迅猛，未来将有 GPT 5 和 Gemini 2.0 等新模型问世。文章提倡通过使用 GPT 4 级别的模型来熟悉它们的能力，并为将来的新技术做好准备，这些新技术将带来新特性和与 AI 互动的新方式，例如智能体和更广阔的上下文理解能力。 重点研究 ✦ DepthFM: 使用深度流匹配技术的快速单目深度预测 DepthFM: 使用深度流匹配技术的快速单目深度预测 一个深度图分析模型，通过流匹配（Flow Matching）技术，可以有效地实现这一目标，因为它在解空间中形成的直线轨迹既高效又能保证质量。我们的研究表明，一个预训练的图像扩散模型（Image Diffusion Model）可以作为流匹配深度模型的合适先验，仅使用合成数据进行高效训练，就能泛化到真实图像的处理。我们还发现，加入一个辅助性的表面法线损失（Surface Normals Loss）可以进一步提升深度预测的准确性。得益于我们方法的生成式特性，模型能够可靠地评估其深度预测的准确性。在复杂自然场景的标准基准测试中，尽管只使用了少量合成数据进行训练，我们的模型仍然展现出了最先进的性能，并在计算成本上具有明显优势。 ComfyUI插件地址：https://github.com/ZHO ZHO ZHO/ComfyUI DepthFM VoiceCraft：超过XTTS的语音模型 VoiceCraft：超过XTTS的语音模型 • VOICECRAFT模型介绍 ： VOICECRAFT是一个先进的神经编解码语言模型，专门用于语音编辑和零样本文本到语音（TTS）任务。该模型采用了Transformer解码器架构，并引入了一个独特的令牌重排程序，该程序结合了因果掩蔽和延迟堆叠技术，使得模型能够在现有序列内生成内容。这种设计使得VOICECRAFT在自然度方面与未编辑的录音几乎无法区分，并且在零样本TTS任务上超越了以往的模型。 • 语音编辑任务 ： 语音编辑是VOICECRAFT的核心功能之一，它允许用户修改语音记录中的特定部分，以匹配目标转录文本。这包括插入新词汇、删除不需要的部分或替换错误的词汇。通过这种方式，VOICECRAFT能够生成与原始录音在自然度上几乎无法区分的编辑后语音，这对于内容创作者和教育工作者等用户来说非常有价值。 • 零样本文本到语音（TTS）任务 ： 零样本TTS是VOICECRAFT的另一个重要功能，它允许模型在没有听过目标声音的情况下，仅根据目标转录和一小段参考录音来合成语音。这对于创建多样化的声音内容非常有用，尤其是在需要快速生成大量不同声音的情况下。 • 模型架构和训练方法 ： VOICECRAFT的架构基于编解码器，它首先将语音波形量化为一系列可学习的离散单元，然后使用Transformer解码器来预测这些单元。通过因果掩蔽和延迟堆叠技术，模型能够在自回归序列预测中有效地利用双向上下文信息。这种训练方法使得模型在处理长序列时表现出色，并且能够生成高质量的语音输出。 项目地址：https://github.com/jasonppy/VoiceCraft?tab=readme ov file AnyV2V：适用于任何视频到视频编辑任务的即插即用框架 AnyV2V：适用于任何视频到视频编辑任务的即插即用框架 • AnyV2V框架的介绍 ： AnyV2V是一个新颖的训练免费框架，旨在简化视频编辑任务。它将视频编辑分解为两个主要步骤：首先使用现成的图像编辑模型来修改视频的第一帧，然后利用图像到视频生成模型进行DDIM反演和特征注入，以生成与源视频外观和动作一致的新视频。这个框架的关键在于它的通用性，能够适配各种不同的视频编辑需求，无需额外的训练或复杂的设置。 • 视频到视频编辑任务的挑战 ： 视频到视频编辑任务要求AI模型能够根据源视频和提供的控制信息（如文本提示、主题或风格）编辑源视频，生成新的视频。这一任务的挑战在于，新生成的视频不仅要与源视频保持一致，还要准确地融入额外的控制信息。传统方法通常只限于特定类型的编辑，这限制了它们满足广泛用户需求的能力。 • AnyV2V的两阶段编辑过程 ： AnyV2V框架的核心在于它的两阶段编辑过程。在第一阶段，AnyV2V利用现有的图像编辑工具来编辑视频的第一帧。在第二阶段，它使用图像到视频模型来执行DDIM反演，并注入中间特征，以确保生成的视频在外观和动作上与源视频保持一致。这种分阶段的方法使得AnyV2V在编辑操作上具有很高的灵活性和兼容性。 • AnyV2V的兼容性和简单性 ： AnyV2V的一个显著特点是它与所有图像编辑方法的兼容性。这意味着AnyV2V可以将任何图像编辑方法扩展到视频领域，而无需额外成本。此外，AnyV2V的简单性体现在它不需要任何额外的视频特征来实现高外观和时间一致性，这使得它在操作上更加直观和易于使用。 Mora：借助多智能体系统实现通用视频生成 Mora：借助多智能体系统实现通用视频生成 微软的一个视频生成项目 Mora，利用 Agents 来复原 Sora 的能力，基本还原了 Sora 所有的能力，目前支持生成 1024 576 分辨率的 12 秒视频。 还原的能力包括： 1）将文本转换为视频 2）根据文本条件将图片转换为视频 3）扩展已生成的视频 4）进行视频到视频的编辑 5）串联视频以及 6）模拟数字世界 项目简介： 本论文提出了一种新型的多AI智能体框架——Mora。Mora融合了多个尖端视觉AI智能体，致力于复刻Sora所展示的通用视频生成能力。 具体来说，Mora能够运用多个视觉智能体，在多种任务中成功模仿Sora的视频生成能力。 我们的广泛实验结果显示，Mora在这些任务上的表现已经接近Sora。然而，如果从整体上评估，我们的模型与Sora之间还是存在一定的性能差距。 总的来说，我们希望这个项目能够引领未来视频生成技术的发展方向，通过多AI智能体的协同工作来实现。 FRESCO：实现零样本视频翻译的空间与时间匹配技术 FRESCO：实现零样本视频翻译的空间与时间匹配技术 终于有完整的视频转视频的项目了，不用在搞复杂的工作流，北大发布了FRESCO视频转视频项目 支持将视频转换为不同的风格，而且支持只转换视频的某一部分。代码已经开源。 项目介绍： 本文提出了FRESCO，它不仅考虑帧间对应，还引入了帧内对应，从而建立了一个更加稳定的时空约束机制。 这种改进确保了视频中跨帧语义相似内容的连续性。我们的方法不止是对注意力机制的指导，还包括对特征的显式更新，使得结果视频在时空上更加一致，极大地增强了视频的视觉连贯性。 OMG: 在扩散模型中友好处理遮挡的个性化多概念生成 OMG: 在扩散模型中友好处理遮挡的个性化多概念生成 腾讯这个新研究，支持多角色多概念在一张图片中生成。以前的 ID 或者概念保持项目只能将一个人还原在图片里面，有了这个项目以后就可以多人合照了。 项目还支持与原有的 ID 保持项目一起使用比如 Lora 以及InstantID。代码已经开源，大佬们可以看看插件实现了。 项目介绍： 我们提出