AIGC Weekly #58

AIGC Weekly 58 AIGC Weekly 58 Supadash：直接从数据库生成图表和看板链接： https://www.supadash.co/ Supadash是一款创新性平台，它的设计宗旨是让数据分析仪表板的创建变得简单快捷。利用人工智能技术，Supadash能够在几秒钟内自动生成仪表板，用户无需编写任何代码或SQL查询。通过连接PostgreSQL数据库或REST APIs等数据源——未来还将支持更多数据源——用户可以轻松地将他们的数据转换成富有洞察力的、视觉上吸引人的图表，突出展示关键的数据指标。这大大简化了用户从复杂数据中获取有价值信息的过程。Supadash特别适合那些希望迅速将用户数据或其他类型的信息列表转化成具有实际操作价值的洞察力的用户，无需经历繁复的手动仪表板搭建过程。 Daydream：为管理者和高级财务做的 BI 工具链接： https://daydream.co/ Daydream是一款创新的、基于人工智能的洞察和报告工具，它特别为C级高管、财务专业人员和运营团队设计。该工具旨在克服当前分析工具的局限，这些工具往往不适用于高层决策、运营效率提升或有效执行。Daydream的不同之处在于它将数据与书面背景和团队协作相结合，帮助用户更深入地理解数据背后的故事，从而促进更明智的决策、增强责任感和优化关键绩效指标（KPI）的报告。完全开源的 LLM OLMo 链接： https://blog.allenai.org/olmo open language model 87ccfc95f580?gi=9adc94dc6400 Allen 人工智能研究所推出了完全开源的LLM OLMo，提供了模型的数据、训练代码、模型以及评估代码。首次发布的内容包括四个参数规模达到 70 亿的语言模型，这些模型具有不同的架构、优化器和训练硬件，另外还有一个参数规模为 10 亿的模型。所有这些模型都在至少 2 万亿个词元（token）上接受了训练。每个模型都包含完整的训练数据、模型权重、训练和推理代码、训练日志和性能指标。在多种任务中，OLMo 7B 模型显示出了强大的性能，可以与 Llama 2 等模型相媲美。精选文章🔬 生成式人工智能 150 强：全球最常用的人工智能工具（2024 年 2 月）链接： https://www.flexos.work/learn/generative ai top 150 FlexOS 发布的研究报告《生成式 AI 顶尖 150》深入分析了当前基于网站流量和搜索排名的生成式 AI 工具使用情况。报告主要发现包括： • 主流 AI 平台占主导：ChatGPT 及其相关产品，包括 Bing AI、Bard、Claude 和 Microsoft Copilot，共占据了 66% 的生成式 AI 使用量，显示了少数大平台在市场上的巨大份额。 • AI 工具种类丰富：虽然大平台占据优势，但仍有 50 多个 AI 平台每月估计拥有超过 100 万用户，涵盖了建筑、语言学习、视频制作、社交等多个领域。 • 各领域的佼佼者：在特定领域，一些工具表现突出，如 Grammarly AI 在写作与编辑方面，Character.AI 在社交与角色扮演方面引领潮流。这些领先者的存在预示着市场可能走向整合。 • 教育领域的 AI 工具：像 Brainly 和 CourseHero 这样的教育 AI 工具表现出色，标志着向教育支持应用的转变。 • 行业特定的 AI 应用：在营销和编程领域，AI 的使用尤为普遍，像 Simplified AI、Copy.AI、Scalenut、Huggingface、Github Copilot 和 Replit 等工具广受欢迎。而人力资源和财务等行业的 AI 应用则相对较少。 • 流行的 AI 工具类型：除了主流 AI 平台外，最受欢迎的生成式 AI 类别包括写作与编辑、教育、社交与角色扮演、图像生成。 • 研究型工具的兴起：如 Perplexity.ai 和 ChatPDF 等 AI 驱动的研究工具越来越受欢迎，它们提供对话式回答和链接到可靠来源。报告还详细列出了按类别划分的最常用 AI 工具，并深入探讨了每个细分市场的领先平台。研究方法包括审查超过 200 个 AI 工具，并以网站和搜索流量作为使用量估计的依据。 FlexOS 强调，AI 正在塑造一个更美好的工作未来，减轻日常琐事，助力更有意义的工作。报告还邀请公司提交他们的数据，以便于未来的调查更准确地反映 AI 工具的使用情况。 59 秒内可以完成什么：机遇（也是危机）链接： https://www.oneusefulthing.org/p/what can be done in 59 seconds an 文章《59秒能做什么：机遇与挑战并存》探讨了人工智能（AI）提高工作效率的巨大潜力及其广泛应用的深远影响。作者介绍了一项实验，他们利用AI在不到一分钟的时间内完成了五项任务，包括推出一个新产品、撰写市场调研报告、设计时尚的厨房装饰、制作PowerPoint演示文稿以及编排课程大纲。实验结果令人瞩目，高质量的初稿在短短数十秒内完成，展现了AI在完成传统由人手工作的领域中的巨大潜力[1]。作者指出，随着像Microsoft的Copilot for Office和OpenAI的GPTs等工具变得越来越易于获取和使用，AI的使用已经逐渐成为常态。这些工具并没有本质上改变AI的能力，但却让AI的使用变得更加简单、平常[1]。然而，作者也提出了一个潜在的风险。在许多组织中，员工的主要工作产出是文字，如电子邮件、报告和演示文稿。AI能够制作高质量的文字内容，可能会削弱人类努力和技能的价值。作者认为，当面对AI创作的、复制他们工作成果但无法复制他们思考的内容时，可能会引发一场关于工作本质意义的危机[1]。另一方面，作者也看到了一个机遇。AI可以接管那些人们不愿意做的工作，让他们有更多时间去做自己喜欢的事情，去做别人真正看重的工作。AI还有可能帮助人类扩展自己的能力，激发人们探索新兴趣的可能性[1]。作者在文末总结道，AI的应用必将带来根本性的变化。如何利用这项技术，强调其积极的一面而非消极的一面，这需要领导者和员工共同来决定。对话《三体》视觉导演陆贝珂:GenAl改变的影视特效业链接： https://www.xiaoyuzhoufm.com/episode/65bd8335d748f2331405d829?s=eyJ1IjogIjVlZDRiZjJlMjFhYzg1ODA0MWJhMmJjNSJ9 对技术的探索，影视特效行业一直走在最前列。本期我们邀请到了中国著名的视觉导演、影视制片人，也是《三体》的视觉导演陆贝珂来详细拆解《三体》的特效是如何做成的，以及生成式人工智能在影视特效行业中的作用。正在生成式AI大范围提升行业效率的同时，苹果Vision Pro这种具有空间计算的3D硬件产品，也让特效行业重新经历一轮新的媒介的转化。传统二维拍摄的影像采集方式，正在被纯3D的影像方案替代。将知识放在适当的位置链接： https://wattenberger.com/thoughts/this is not a rant about chatbots 文章《定位知识：在AI界面中增加背景信息的重要性》探讨了在AI增强界面中加入上下文信息的重要性，特别强调这种做法如何通过提供更全面的信息理解，来提升用户体验。作者指出，虽然向大语言模型（LLMs）输入准确的信息非常关键，但向用户提供超越问题直接答案的上下文信息同样重要。文章通过聊天机器人解释物理现象冷凝的例子，以及使用Svelte框架进行网页开发的情景，展示了提供结构化数据、相关概念和可视化是如何帮助用户更深入地理解一个主题的。作者提到，向聊天机器人连续提出问题可能感觉像在黑暗中用手电筒摸索，效率低下且缺乏连贯性。与此相反，结构化数据，如表格或文档，可以让用户迅速把握相关概念，深入研究某个主题，而无需为每一条信息单独提问。这种方式不仅使学习过程更加高效，也能让用户接触到他们之前未曾意识到缺失的信息，即所谓的“未知的未知”。文章还特别指出，任务导向型AI应用中缺少上下文的问题，例如在订购比萨的场景中。作者建议，用户在做出更明智的选择时，会从额外的信息中受益，比如了解不同比萨店的选择范围和价格。这一思路被扩展到一个更广泛的观点：在LLM生成的回答中加入上下文，无论是通过结构化数据、相关概念还是可视化，以满足用户在AI主导的时代中日益增长的期望。文章最后强调，需要提供能够立即让人理解的信息解决方案，同时要应对隐私和信息过载等挑战。作者提倡设计能够在用户明确提出需求之前就理解他们需求的界面，并建议在AI生成的回答中加入上下文信息，这将显著提升用户的理解和满意度。超越聊天机器人：用上下文信息打造未来的应用内AI体验链接： https://blog.dopt.com/more than just chatbots 探讨了将AI助手融入应用内部，提供与用户体验无缝结合的上下文帮助的潜力。作者们认为，现有的以文本为中心、基于轮流对话的聊天机器人并不代表AI体验的未来。他们提出了一种新的AI助手模型，这种助手能够帮助用户学习、导航，以及更有效地使用他们日常工作中的界面。作者们强调，应用内AI体验的未来在于有效利用上下文信息。他们设计了一个基于定制嵌入技术的检索架构，能够准确找到与用户查询和上下文最相关的信息，并通过一个多模态提示系统来生成有意义的回应。文章还特别指出，在构建应用内助手时，需要同时考虑静态和动态的上下文信息[1]。静态上下文是指那些固定不变且可以在应用构建时就确定下来的信息，例如与应用相关的文档和其他帮助支持资源。而动态上下文则是在应用运行时根据不同用户和不同场景收集的信息，与用户正在看到和操作的内容紧密相关，如用户和公司背景、运行时的错误和视图状态、窗口信息、语义HTML信息及视觉UI信息。作者们进一步讨论了在构建AI系统时利用多种上下文信息的重要性。他们提出了一种系统，该系统可以索引各种信息源和操作，根据用户的查询和应用内的动态上下文检索相关信息，并以此为基础，结合用户的查询和上下文信息，为多模态大语言模型（LLM）生成有意义的回应，从而增强应用内体验。总的来说，作者们相信，通过解决现有嵌入式聊天体验中的问题，可以根本性地改变应用内助手的工作方式，使其更具上下文意识、更加用户友好，并更好地融入用户的体验。 AI 是如何工作的链接： https://every.to/p/how ai works Nir Zicherman在他的文章中，用非技术性的语言解释了大型语言模型（LLMs）的工作原理，他采用了烹饪和菜单规划的类比来简化这些概念。Zicherman擅长将复杂的技术概念深入浅出地解释给非技术受众，他将这一过程分为两个主要步骤：构建食物模型和发现模式。在“构建食物模型”的步骤中，目标是教会计算机如何将食物作为数据来处理，而不依赖于口味或食物搭配等定性细节。这一过程通过向计算机输入大量关于过去菜肴搭配的数据来完成，使计算机能够根据菜肴之间的共现频率对它们进行分类。这样就形成了一个“菜肴空间”，在这个空间里，根据共现模式，相似的菜肴被归为一组，而不同的菜肴则相隔较远。第二步“发现模式”则涉及训练模型预测哪种菜肴最能补充一套特定的菜肴组合。模型依据其从数据中学习到的模式，使用这个“菜肴空间”来确定最适合完成一顿餐的菜肴类型。将这个比喻应用到LLMs上，Zicherman建议把食物换成句子，把菜肴换成单词。训练过程包括理解单词之间基于上下文的关系，以及发现用于预测句子中下一个最可能出现的单词的模式。这实际上是文本AI工具的基本操作——“下一个单词预测”。文章强调，尽管AI具有变革性潜力，但其基础原理并不复杂。它涉及简单的数学概念、大量的训练数据，以及找出数据中的模式以模拟机器的“思维”过程。Zicherman在文章最后指出，只要正确解释，AI技术其实是易于理解和简单的，这意味着它并不像许多人所想的那样难以接近。 Microsoft 2023 年未来新工作报告链接： https://www.microsoft.com/en us/research/uploads/prod/2023/12/NFWReport2023 v4.pdf 微软发布了年度《工作未来》报告，这次的主题不是远程工作，而是人工智能。该报告包含 2023 年进行的多项研究的统计数据，并得到了过去几年理论研究的支持。使用 ChatGPT 的知识工作者速度提高了 37%，质量提高了 40%，但准确性降低了约 20%。简单的用户体验解决方案可以解决这个问题。大多数早期研究发现，新工人或低技能工人从LLMs中受益最多。技术水平较低的工人提高了 43%，而技术水平较高的工人则提高了约 17%。人工智能可以帮助将简单的命令分解为微时刻和微任务，从而提高整体质量和效率。 Supadash：直接从数据库生成图表和看板链接： https://www.supadash.co/ Supadash是一款创新性平台，它的设计宗旨是让数据分析仪表板的创建变得简单快捷。利用人工智能技术，Supadash能够在几秒钟内自动生成仪表板，用户无需编写任何代码或SQL查询。通过连接PostgreSQL数据库或REST APIs等数据源——未来还将支持更多数据源——用户可以轻松地将他们的数据转换成富有洞察力的、视觉上吸引人的图表，突出展示关键的数据指标。这大大简化了用户从复杂数据中获取有价值信息的过程。Supadash特别适合那些希望迅速将用户数据或其他类型的信息列表转化成具有实际操作价值的洞察力的用户，无需经历繁复的手动仪表板搭建过程。 Daydream：为管理者和高级财务做的 BI 工具链接： https://daydream.co/ Daydream是一款创新的、基于人工智能的洞察和报告工具，它特别为C级高管、财务专业人员和运营团队设计。该工具旨在克服当前分析工具的局限，这些工具往往不适用于高层决策、运营效率提升或有效执行。Daydream的不同之处在于它将数据与书面背景和团队协作相结合，帮助用户更深入地理解数据背后的故事，从而促进更明智的决策、增强责任感和优化关键绩效指标（KPI）的报告。完全开源的 LLM OLMo 链接： https://blog.allenai.org/olmo open language model 87ccfc95f580?gi=9adc94dc6400 Allen 人工智能研究所推出了完全开源的LLM OLMo，提供了模型的数据、训练代码、模型以及评估代码。首次发布的内容包括四个参数规模达到 70 亿的语言模型，这些模型具有不同的架构、优化器和训练硬件，另外还有一个参数规模为 10 亿的模型。所有这些模型都在至少 2 万亿个词元（token）上接受了训练。每个模型都包含完整的训练数据、模型权重、训练和推理代码、训练日志和性能指标。在多种任务中，OLMo 7B 模型显示出了强大的性能，可以与 Llama 2 等模型相媲美。精选文章🔬 生成式人工智能 150 强：全球最常用的人工智能工具（2024 年 2 月）链接： https://www.flexos.work/learn/generative ai top 150 FlexOS 发布的研究报告《生成式 AI 顶尖 150》深入分析了当前基于网站流量和搜索排名的生成式 AI 工具使用情况。报告主要发现包括： • 主流 AI 平台占主导：ChatGPT 及其相关产品，包括 Bing AI、Bard、Claude 和 Microsoft Copilot，共占据了 66% 的生成式 AI 使用量，显示了少数大平台在市场上的巨大份额。 • AI 工具种类丰富：虽然大平台占据优势，但仍有 50 多个 AI 平台每月估计拥有超过 100 万用户，涵盖了建筑、语言学习、视频制作、社交等多个领域。 • 各领域的佼佼者：在特定领域，一些工具表现突出，如 Grammarly AI 在写作与编辑方面，Character.AI 在社交与角色扮演方面引领潮流。这些领先者的存在预示着市场可能走向整合。 • 教育领域的 AI 工具：像 Brainly 和 CourseHero 这样的教育 AI 工具表现出色，标志着向教育支持应用的转变。 • 行业特定的 AI 应用：在营销和编程领域，AI 的使用尤为普遍，像 Simplified AI、Copy.AI、Scalenut、Huggingface、Github Copilot 和 Replit 等工具广受欢迎。而人力资源和财务等行业的 AI 应用则相对较少。 • 流行的 AI 工具类型：除了主流 AI 平台外，最受欢迎的生成式 AI 类别包括写作与编辑、教育、社交与角色扮演、图像生成。 • 研究型工具的兴起：如 Perplexity.ai 和 ChatPDF 等 AI 驱动的研究工具越来越受欢迎，它们提供对话式回答和链接到可靠来源。报告还详细列出了按类别划分的最常用 AI 工具，并深入探讨了每个细分市场的领先平台。研究方法包括审查超过 200 个 AI 工具，并以网站和搜索流量作为使用量估计的依据。 FlexOS 强调，AI 正在塑造一个更美好的工作未来，减轻日常琐事，助力更有意义的工作。报告还邀请公司提交他们的数据，以便于未来的调查更准确地反映 AI 工具的使用情况。 59 秒内可以完成什么：机遇（也是危机）链接： https://www.oneusefulthing.org/p/what can be done in 59 seconds an 文章《59秒能做什么：机遇与挑战并存》探讨了人工智能（AI）提高工作效率的巨大潜力及其广泛应用的深远影响。作者介绍了一项实验，他们利用AI在不到一分钟的时间内完成了五项任务，包括推出一个新产品、撰写市场调研报告、设计时尚的厨房装饰、制作PowerPoint演示文稿以及编排课程大纲。实验结果令人瞩目，高质量的初稿在短短数十秒内完成，展现了AI在完成传统由人手工作的领域中的巨大潜力[1]。作者指出，随着像Microsoft的Copilot for Office和OpenAI的GPTs等工具变得越来越易于获取和使用，AI的使用已经逐渐成为常态。这些工具并没有本质上改变AI的能力，但却让AI的使用变得更加简单、平常[1]。然而，作者也提出了一个潜在的风险。在许多组织中，员工的主要工作产出是文字，如电子邮件、报告和演示文稿。AI能够制作高质量的文字内容，可能会削弱人类努力和技能的价值。作者认为，当面对AI创作的、复制他们工作成果但无法复制他们思考的内容时，可能会引发一场关于工作本质意义的危机[1]。另一方面，作者也看到了一个机遇。AI可以接管那些人们不愿意做的工作，让他们有更多时间去做自己喜欢的事情，去做别人真正看重的工作。AI还有可能帮助人类扩展自己的能力，激发人们探索新兴趣的可能性[1]。作者在文末总结道，AI的应用必将带来根本性的变化。如何利用这项技术，强调其积极的一面而非消极的一面，这需要领导者和员工共同来决定。对话《三体》视觉导演陆贝珂:GenAl改变的影视特效业链接： https://www.xiaoyuzhoufm.com/episode/65bd8335d748f2331405d829?s=eyJ1IjogIjVlZDRiZjJlMjFhYzg1ODA0MWJhMmJjNSJ9 对技术的探索，影视特效行业一直走在最前列。本期我们邀请到了中国著名的视觉导演、影视制片人，也是《三体》的视觉导演陆贝珂来详细拆解《三体》的特效是如何做成的，以及生成式人工智能在影视特效行业中的作用。正在生成式AI大范围提升行业效率的同时，苹果Vision Pro这种具有空间计算的3D硬件产品，也让特效行业重新经历一轮新的媒介的转化。传统二维拍摄的影像采集方式，正在被纯3D的影像方案替代。将知识放在适当的位置链接： https://wattenberger.com/thoughts/this is not a rant about chatbots 文章《定位知识：在AI界面中增加背景信息的重要性》探讨了在AI增强界面中加入上下文信息的重要性，特别强调这种做法如何通过提供更全面的信息理解，来提升用户体验。作者指出，虽然向大语言模型（LLMs）输入准确的信息非常关键，但向用户提供超越问题直接答案的上下文信息同样重要。文章通过聊天机器人解释物理现象冷凝的例子，以及使用Svelte框架进行网页开发的情景，展示了提供结构化数据、相关概念和可视化是如何帮助用户更深入地理解一个主题的。作者提到，向聊天机器人连续提出问题可能感觉像在黑暗中用手电筒摸索，效率低下且缺乏连贯性。与此相反，结构化数据，如表格或文档，可以让用户迅速把握相关概念，深入研究某个主题，而无需为每一条信息单独提问。这种方式不仅使学习过程更加高效，也能让用户接触到他们之前未曾意识到缺失的信息，即所谓的“未知的未知”。文章还特别指出，任务导向型AI应用中缺少上下文的问题，例如在订购比萨的场景中。作者建议，用户在做出更明智的选择时，会从额外的信息中受益，比如了解不同比萨店的选择范围和价格。这一思路被扩展到一个更广泛的观点：在LLM生成的回答中加入上下文，无论是通过结构化数据、相关概念还是可视化，以满足用户在AI主导的时代中日益增长的期望。文章最后强调，需要提供能够立即让人理解的信息解决方案，同时要应对隐私和信息过载等挑战。作者提倡设计能够在用户明确提出需求之前就理解他们需求的界面，并建议在AI生成的回答中加入上下文信息，这将显著提升用户的理解和满意度。超越聊天机器人：用上下文信息打造未来的应用内AI体验链接： https://blog.dopt.com/more than just chatbots 探讨了将AI助手融入应用内部，提供与用户体验无缝结合的上下文帮助的潜力。作者们认为，现有的以文本为中心、基于轮流对话的聊天机器人并不代表AI体验的未来。他们提出了一种新的AI助手模型，这种助手能够帮助用户学习、导航，以及更有效地使用他们日常工作中的界面。作者们强调，应用内AI体验的未来在于有效利用上下文信息。他们设计了一个基于定制嵌入技术的检索架构，能够准确找到与用户查询和上下文最相关的信息，并通过一个多模态提示系统来生成有意义的回应。文章还特别指出，在构建应用内助手时，需要同时考虑静态和动态的上下文信息[1]。静态上下文是指那些固定不变且可以在应用构建时就确定下来的信息，例如与应用相关的文档和其他帮助支持资源。而动态上下文则是在应用运行时根据不同用户和不同场景收集的信息，与用户正在看到和操作的内容紧密相关，如用户和公司背景、运行时的错误和视图状态、窗口信息、语义HTML信息及视觉UI信息。作者们进一步讨论了在构建AI系统时利用多种上下文信息的重要性。他们提出了一种系统，该系统可以索引各种信息源和操作，根据用户的查询和应用内的动态上下文检索相关信息，并以此为基础，结合用户的查询和上下文信息，为多模态大语言模型（LLM）生成有意义的回应，从而增强应用内体验。总的来说，作者们相信，通过解决现有嵌入式聊天体验中的问题，可以根本性地改变应用内助手的工作方式，使其更具上下文意识、更加用户友好，并更好地融入用户的体验。 AI 是如何工作的链接： https://every.to/p/how ai works Nir Zicherman在他的文章中，用非技术性的语言解释了大型语言模型（LLMs）的工作原理，他采用了烹饪和菜单规划的类比来简化这些概念。Zicherman擅长将复杂的技术概念深入浅出地解释给非技术受众，他将这一过程分为两个主要步骤：构建食物模型和发现模式。在“构建食物模型”的步骤中，目标是教会计算机如何将食物作为数据来处理，而不依赖于口味或食物搭配等定性细节。这一过程通过向计算机输入大量关于过去菜肴搭配的数据来完成，使计算机能够根据菜肴之间的共现频率对它们进行分类。这样就形成了一个“菜肴空间”，在这个空间里，根据共现模式，相似的菜肴被归为一组，而不同的菜肴则相隔较远。第二步“发现模式”则涉及训练模型预测哪种菜肴最能补充一套特定的菜肴组合。模型依据其从数据中学习到的模式，使用这个“菜肴空间”来确定最适合完成一顿餐的菜肴类型。将这个比喻应用到LLMs上，Zicherman建议把食物换成句子，把菜肴换成单词。训练过程包括理解单词之间基于上下文的关系，以及发现用于预测句子中下一个最可能出现的单词的模式。这实际上是文本AI工具的基本操作——“下一个单词预测”。文章强调，尽管AI具有变革性潜力，但其基础原理并不复杂。它涉及简单的数学概念、大量的训练数据，以及找出数据中的模式以模拟机器的“思维”过程。Zicherman在文章最后指出，只要正确解释，AI技术其实是易于理解和简单的，这意味着它并不像许多人所想的那样难以接近。 Microsoft 2023 年未来新工作报告链接： https://www.microsoft.com/en us/research/uploads/prod/2023/12/NFWReport2023 v4.pdf 微软发布了年度《工作未来》报告，这次的主题不是远程工作，而是人工智能。该报告包含 2023 年进行的多项研究的统计数据，并得到了过去几年理论研究的支持。使用 ChatGPT 的知识工作者速度提高了 37%，质量提高了 40%，但准确性降低了约 20%。简单的用户体验解决方案可以解决这个问题。大多数早期研究发现，新工人或低技能工人从LLMs中受益最多。技术水平较低的工人提高了 43%，而技术水平较高的工人则提高了约 17%。人工智能可以帮助将简单的命令分解为微时刻和微任务，从而提高整体质量和效率。 Motion I2V：利用显式运动建模生成一致且可控的图像到视频链接： https://xiaoyushi97.github.io/Motion I2V/ 清华和商汤的这个视频生成项目可以让开源视频模型也有类似 Runway 的运动笔刷能力。而且比 Runway 更进一步支持涂抹区域后在用画笔描绘运动方向，也可以分开使用。希望可以跟现有的开源视频生成模型兼容，我看论文里没写这块。相较于现有技术，Motion I2V 即便面对大幅度的运动和视角变化，也能创造出更为一致的视频。通过为第一阶段配备一个专门的稀疏轨迹控制网络（ControlNet），Motion I2V 允许用户通过少量的轨迹和区域标注来精确控制运动轨迹和运动区域，这比单纯依赖文本指令进行控制提供了更多的灵活性。此外，Motion I2V 的第二阶段还自然地支持了不需要样本训练的视频到视频转换（零样本转换）。通过定性和定量的比较，我们发现 Motion I2V 在生成一致性和可控性强的视频方面，优于以往的方法。 AnimateLCM：将 LCM 用在视频生成链接： https://animatelcm.github.io/ 这个项目好，将 LCM 用在视频生成，只需要 4 步推理就可以生成视频。期待放出代码和权重。从演示来看视频效果也很不错，支持现有 SD 生态 Animatediff 的所有控制方式。我自己试了一下效果也比只使用 LCM 和 Animatediff 的效果好。 nimateLCM可以在极少的步骤中生成高质量的视频。与其在原始视频数据集上直接应用一致性学习，我们提出了一种解耦的一致性学习策略，这种策略分别对图像生成的基础知识和运动生成的基础知识进行提炼，从而提高了训练效率并提升了生成视频的视觉质量。为什么说 2023 年是 AI 视频的突破年？以及 2024 年的展望链接： https://quail.ink/op7418/p/why 2023 ai video breakthrough 2024 outlook a16z的一篇文章，详细盘点了现在人工智能视频生成领域的现状，看完就可以对这个领域有个大概的了解，感兴趣可以看看。他们列出了 2023 视频生成产品的时间表以及对应产品的详细信息。同时对视频生成目前需要解决的问题以及视频生成领域的 ChatGPT 时刻到来需要具备的条件进行了探讨。感谢大家看到这里，如果你也有想推荐的内容的话，可以私信我或者给我发邮件投稿。也可以分享给更多的朋友，让大家都有机会了解这些内容。参考资料 [1]查看更多风格和提示词: https://catjourney.life/ 🔗 原文链接： https://mp.weixin.qq.com/s? biz=Mz... https://mp.weixin.qq.c

在小宇宙note 阅读完整内容