AIGC Weekly #93
👑
AIGC Weekly 93 👑 AIGC Weekly 93 其他动态 ✦ • Midjourney David 官宣了 新的图像编辑器将在下周上线 。支持上传外部图像基于图像的深度信息来生成新的图片。 • Heygen 新功能支持让虚拟人加入 zoom 会议 。这样虚拟人用来整理会议纪要进行总结当主持人都很不错,你甚至可以自己跟自己开会。 • Twitter 最近更新的用户条款显示,他们 会利用用户数据训练模型 ,内容可以与第三方共享,用于人工智能开发,新协议会从11月15号生效。 • Suno 移动应用可以通过图片和视频当做提示词生成音乐 ,同时在移动应用也出现了基于上下滑视频和音频结合的内容信息流,看起来他们野心真的很大。 • Pika 继续出 AI 视频特效 ,现在支持揉碎、溶解、放气和让内容消失。 • 为 B 端企业提供 AI Agents 服务的 decagon ai 公司获得 6500 万美元的 B 轮融资 。这家公司现在的总融资金额已经达到 1 亿美元。他们的网站也很好看,可以参考一下。 • OpenAI正在与Crusoe Energy Systems合作在德州部署一个 10 万张 B200 的超级计算机集群 。这个集群初期将使用 206 兆瓦的可再生能源,相当于约 10 万个普通家庭的用电需求,将在 2025 年上半年投入使用。 • Kimi 居然更新了语音通话模式 ,最好的一个设计是可以在语音界面展示字幕,还有独特的情景模式,目前应该还在灰度。 • Sam 的另一个项目 Worldcoin,更名为World ,并且发布新的虹膜认证工具以及应用内的聊天工具等小程序。 有趣的AI内容 ✦ • 坤导(闲人一坤)在《山海奇镜》之后的新作好像是跟星爷公司合作的《 无名特工队 》即将上线,这次是AI动画风格,感兴趣可以看看。 • 让半夜的自己出现在中土世界变成一个精灵 ,用到的工具有,iPhone 拍摄、Sky glass app、Viggle AI、Runway、Udio。 • 新的爆款 FLUX Lora 预定, 可以生成动漫和现实混合的图片 ,我用生成的图片做了个视频也被各种海外博主来回转。 • 这个 Ethos 餐厅说自己是奥斯汀市排名第一的餐厅 。在 ins 上有 7.2 万的粉丝,但是他们所有展示的食物和场地照片都是AI生成的。 • 这个海螺做的视频好玩。 把经典影视内容所有的武器都变成冰淇淋 。 • Flux Ghibsky Illustration 又一个非常好的 FLUX Lora 。有一点吉卜力的风格,但是会有丰富的细节,饱和度很高,生成的图片很梦幻。 产品及模型推荐 ✦ 陌生人闹钟 思路清奇的赵纯想最新作品,每天早晨,一个陌生人叫你起床。多管线的AI裁判,不知疲倦地负责监督声音,避免性别欺诈、声纹不一致性(变声器)和一切不友好、无意义内容。 把AI用在审核上真是好用法,直接解决陌生人社交最基本的信任问题。 BiLin搜索:沉浸式翻译团队新作 沉浸式翻译团队的新产品 AI 搜索 Bilin 很有意思。完全不做总结,只是提供多语言的搜索结果,拓展信息面。专注于解决某个语言的互联网内容不够的问题,其实已经很够用了。国内很多 AI 搜索质量差的问题是国内能搜到的数据就不行。 Reiden:快捷键副驾驶 这个很有意思,软件会在后台实时运行,然后识别你使用软件的低效时间段,并建议键盘快捷键以提高效率。通过智能键盘快捷键最大限度地减少压力,减少对鼠标的依赖并降低重复性压力损伤的风险。 Reworkd:AI自动针对网页生成爬虫代码 Reworkd 是一个提供无需编码、无需维护的大规模网页数据提取解决方案的平台,它通过 AI 技术自动化整个数据提取流程,并提供深入的分析和维护服务,帮助企业有效地获取和使用网页数据。 该服务支持自动化数据提取、自我修复的爬虫、不产生幻觉的 AI 代码生成、处理任何数据类型(文本、图像、文档)的能力、深入的分析仪表板,以及实时监控和管理数据提取工作的状态。 精选内容 ✦ 红杉:生成式人工智能(AI)进入了 “思维推理” 时代 红杉文章,随着生成式 AI 技术的发展,研究正在从快速预训练响应转向在推理时进行更深层次的推理。 AI 的推理能力的提升,促使了从预训练模型到深层次推理的转变,这种转变类似于 AlphaGo 在棋盘游戏中的思维过程。AI 正在从简单模仿人类模式的行为,向能够在复杂新颖情境中进行深思熟虑的推理思维迈进。这种推理能力的提升,对于 AI 的未来发展具有深远的影响,可能会导致 AI 技术在服务市场中的应用迅速扩展。 在 AI 技术栈中,基础模型层的凝固和推理层的竞争,为 AI 投资和应用提供了新的机遇。尽管存在一些挑战,如构建价值函数和编码领域特定的认知架构,但是 AI 原生应用正在出现,这些应用通过自动化和智能化的方式,为各行各业提供服务,从而创造和扩展市场。 对于现有的软件即服务(SaaS)公司,AI 的推理能力可能会带来破坏性的变革,因为 AI 原生应用不仅能够提供软件,还能够提供服务,这可能会导致 SaaS 公司的商业模式和市场定位发生变化。 使用思维机器的五种新思维方式 Dan Shipper 在其文章中探讨了人工智能时代对我们思维方式的影响,提出了五种新的思维方式,以适应与思维机器合作的新现实。 1. 本质与序列 :在人工智能之前,我们需要将问题简化为其本质,而在人工智能时代,我们更关注导致特定事件发生的底层序列。 2. 规则与模式 :从寻找规则转变为寻找模式,后者不能简化为简单的规则。 3. 过程与直觉 :从依赖过程和规则转变为依赖直觉和序列,以建立无法简化为规则的应用程序。 4. 雕塑与园艺 :创造性工作变得更像园艺,即创造条件让想法自然生长,而不是雕塑,即逐步塑造想法。 5. 解释与预测 :从追求解释转变为追求预测,特别是在复杂领域,预测比解释更能推动进步。 Cursor dethrones Copilot:8 条实用的 Cursor 实用技巧 Beta Acid 介绍了如何使用 Cursor 工具提高开发效率,并分享了一些实用技巧和最佳实践。 比如: • 为任务选择合适的 LLM 模型至关重要,对于日常开发,推荐使用 Anthropic 的 Claude 3.5 Sonnet;对于更深入的架构规划,可以使用 Open AI 的 o1 模型。 • 通过自定义文档和规则,可以让 Cursor 更好地适应项目需求。 添加自定义文档可以提供更好的上下文,而 .cursorrules 文件可以帮助标准化团队的代码风格和偏好。 Impact 应用程序被描述为 “数字世界的志愿消防队”,它通过发送推送通知和提供 AI 生成的文本,组织支持者在社交媒体上进行协调性的真实行为,以对抗不真实的信息和操纵行为。 Impact 的工作原理是通过向支持者发送推送通知,指导他们回应特定的社交媒体帖子,并提供 AI 生成的文本以便复制粘贴,从而淹没回复区域以推广特定的政治信息。 国内饭圈粉圈数据女工的利器啊,但是感觉这么做有点危险,肯定会被打击。 【剩余部分为付费阅读,请转至小报童】 你可以在这里找到我: | 即刻 | 推特 | Quail订阅 | 微信公众号:歸藏的AI工具箱 |邮箱:guohao631@gmail.com | 微信号:op7418 新的图像编辑器将在下周上线 Heygen 新功能支持让虚拟人加入 zoom 会议 会利用用户数据训练模型 Suno 移动应用可以通过图片和视频当做提示词生成音乐 Pika 继续出 AI 视频特效 为 B 端企业提供 AI Agents 服务的 decagon ai 公司获得 6500 万美元的 B 轮融资 OpenAI正在与Crusoe Energy Systems合作在德州部署一个 10 万张 B200 的超级计算机集群 Kimi 居然更新了语音通话模式 Sam 的另一个项目 Worldcoin,更名为World 无名特工队 让半夜的自己出现在中土世界变成一个精灵 可以生成动漫和现实混合的图片 Ethos 餐厅说自己是奥斯汀市排名第一的餐厅 把经典影视内容所有的武器都变成冰淇淋 Flux Ghibsky Illustration 又一个非常好的 FLUX Lora 陌生人闹钟 BiLin搜索:沉浸式翻译团队新作 Reiden:快捷键副驾驶 Reworkd:AI自动针对网页生成爬虫代码 红杉:生成式人工智能(AI)进入了 “思维推理” 时代 使用思维机器的五种新思维方式 Cursor dethrones Copilot:8 条实用的 Cursor 实用技巧 请转至小报童 即刻 推特 Quail订阅 guohao631@gmail.com 其他动态 ✦ • Midjourney David 官宣了 新的图像编辑器将在下周上线 。支持上传外部图像基于图像的深度信息来生成新的图片。 新的图像编辑器将在下周上线 • Heygen 新功能支持让虚拟人加入 zoom 会议 。这样虚拟人用来整理会议纪要进行总结当主持人都很不错,你甚至可以自己跟自己开会。 Heygen 新功能支持让虚拟人加入 zoom 会议 • Twitter 最近更新的用户条款显示,他们 会利用用户数据训练模型 ,内容可以与第三方共享,用于人工智能开发,新协议会从11月15号生效。 会利用用户数据训练模型 • Suno 移动应用可以通过图片和视频当做提示词生成音乐 ,同时在移动应用也出现了基于上下滑视频和音频结合的内容信息流,看起来他们野心真的很大。 Suno 移动应用可以通过图片和视频当做提示词生成音乐 • Pika 继续出 AI 视频特效 ,现在支持揉碎、溶解、放气和让内容消失。 Pika 继续出 AI 视频特效 • 为 B 端企业提供 AI Agents 服务的 decagon ai 公司获得 6500 万美元的 B 轮融资 。这家公司现在的总融资金额已经达到 1 亿美元。他们的网站也很好看,可以参考一下。 为 B 端企业提供 AI Agents 服务的 decagon ai 公司获得 6500 万美元的 B 轮融资 • OpenAI正在与Crusoe Energy Systems合作在德州部署一个 10 万张 B200 的超级计算机集群 。这个集群初期将使用 206 兆瓦的可再生能源,相当于约 10 万个普通家庭的用电需求,将在 2025 年上半年投入使用。 OpenAI正在与Crusoe Energy Systems合作在德州部署一个 10 万张 B200 的超级计算机集群 • Kimi 居然更新了语音通话模式 ,最好的一个设计是可以在语音界面展示字幕,还有独特的情景模式,目前应该还在灰度。 Kimi 居然更新了语音通话模式 • Sam 的另一个项目 Worldcoin,更名为World ,并且发布新的虹膜认证工具以及应用内的聊天工具等小程序。 Sam 的另一个项目 Worldcoin,更名为World 有趣的AI内容 ✦ • 坤导(闲人一坤)在《山海奇镜》之后的新作好像是跟星爷公司合作的《 无名特工队 》即将上线,这次是AI动画风格,感兴趣可以看看。 无名特工队 • 让半夜的自己出现在中土世界变成一个精灵 ,用到的工具有,iPhone 拍摄、Sky glass app、Viggle AI、Runway、Udio。 让半夜的自己出现在中土世界变成一个精灵 • 新的爆款 FLUX Lora 预定, 可以生成动漫和现实混合的图片 ,我用生成的图片做了个视频也被各种海外博主来回转。 可以生成动漫和现实混合的图片 • 这个 Ethos 餐厅说自己是奥斯汀市排名第一的餐厅 。在 ins 上有 7.2 万的粉丝,但是他们所有展示的食物和场地照片都是AI生成的。 Ethos 餐厅说自己是奥斯汀市排名第一的餐厅 • 这个海螺做的视频好玩。 把经典影视内容所有的武器都变成冰淇淋 。 把经典影视内容所有的武器都变成冰淇淋 • Flux Ghibsky Illustration 又一个非常好的 FLUX Lora 。有一点吉卜力的风格,但是会有丰富的细节,饱和度很高,生成的图片很梦幻。 Flux Ghibsky Illustration 又一个非常好的 FLUX Lora 产品及模型推荐 ✦ 陌生人闹钟 陌生人闹钟 思路清奇的赵纯想最新作品,每天早晨,一个陌生人叫你起床。多管线的AI裁判,不知疲倦地负责监督声音,避免性别欺诈、声纹不一致性(变声器)和一切不友好、无意义内容。 把AI用在审核上真是好用法,直接解决陌生人社交最基本的信任问题。 BiLin搜索:沉浸式翻译团队新作 BiLin搜索:沉浸式翻译团队新作 沉浸式翻译团队的新产品 AI 搜索 Bilin 很有意思。完全不做总结,只是提供多语言的搜索结果,拓展信息面。专注于解决某个语言的互联网内容不够的问题,其实已经很够用了。国内很多 AI 搜索质量差的问题是国内能搜到的数据就不行。 Reiden:快捷键副驾驶 Reiden:快捷键副驾驶 这个很有意思,软件会在后台实时运行,然后识别你使用软件的低效时间段,并建议键盘快捷键以提高效率。通过智能键盘快捷键最大限度地减少压力,减少对鼠标的依赖并降低重复性压力损伤的风险。 Reworkd:AI自动针对网页生成爬虫代码 Reworkd:AI自动针对网页生成爬虫代码 Reworkd 是一个提供无需编码、无需维护的大规模网页数据提取解决方案的平台,它通过 AI 技术自动化整个数据提取流程,并提供深入的分析和维护服务,帮助企业有效地获取和使用网页数据。 该服务支持自动化数据提取、自我修复的爬虫、不产生幻觉的 AI 代码生成、处理任何数据类型(文本、图像、文档)的能力、深入的分析仪表板,以及实时监控和管理数据提取工作的状态。 精选内容 ✦ 红杉:生成式人工智能(AI)进入了 “思维推理” 时代 红杉:生成式人工智能(AI)进入了 “思维推理” 时代 红杉文章,随着生成式 AI 技术的发展,研究正在从快速预训练响应转向在推理时进行更深层次的推理。 AI 的推理能力的提升,促使了从预训练模型到深层次推理的转变,这种转变类似于 AlphaGo 在棋盘游戏中的思维过程。AI 正在从简单模仿人类模式的行为,向能够在复杂新颖情境中进行深思熟虑的推理思维迈进。这种推理能力的提升,对于 AI 的未来发展具有深远的影响,可能会导致 AI 技术在服务市场中的应用迅速扩展。 在 AI 技术栈中,基础模型层的凝固和推理层的竞争,为 AI 投资和应用提供了新的机遇。尽管存在一些挑战,如构建价值函数和编码领域特定的认知架构,但是 AI 原生应用正在出现,这些应用通过自动化和智能化的方式,为各行各业提供服务,从而创造和扩展市场。 对于现有的软件即服务(SaaS)公司,AI 的推理能力可能会带来破坏性的变革,因为 AI 原生应用不仅能够提供软件,还能够提供服务,这可能会导致 SaaS 公司的商业模式和市场定位发生变化。 使用思维机器的五种新思维方式 使用思维机器的五种新思维方式 Dan Shipper 在其文章中探讨了人工智能时代对我们思维方式的影响,提出了五种新的思维方式,以适应与思维机器合作的新现实。 1. 本质与序列 :在人工智能之前,我们需要将问题简化为其本质,而在人工智能时代,我们更关注导致特定事件发生的底层序列。 2. 规则与模式 :从寻找规则转变为寻找模式,后者不能简化为简单的规则。 3. 过程与直觉 :从依赖过程和规则转变为依赖直觉和序列,以建立无法简化为规则的应用程序。 4. 雕塑与园艺 :创造性工作变得更像园艺,即创造条件让想法自然生长,而不是雕塑,即逐步塑造想法。 5. 解释与预测 :从追求解释转变为追求预测,特别是在复杂领域,预测比解释更能推动进步。 Cursor dethrones Copilot:8 条实用的 Cursor 实用技巧 Cursor dethrones Copilot:8 条实用的 Cursor 实用技巧 Beta Acid 介绍了如何使用 Cursor 工具提高开发效率,并分享了一些实用技巧和最佳实践。 比如: • 为任务选择合适的 LLM 模型至关重要,对于日常开发,推荐使用 Anthropic 的 Claude 3.5 Sonnet;对于更深入的架构规划,可以使用 Open AI 的 o1 模型。 • 通过自定义文档和规则,可以让 Cursor 更好地适应项目需求。 添加自定义文档可以提供更好的上下文,而 .cursorrules 文件可以帮助标准化团队的代码风格和偏好。 Impact 应用程序被描述为 “数字世界的志愿消防队”,它通过发送推送通知和提供 AI 生成的文本,组织支持者在社交媒体上进行协调性的真实行为,以对抗不真实的信息和操纵行为。 Impact 的工作原理是通过向支持者发送推送通知,指导他们回应特定的社交媒体帖子,并提供 AI 生成的文本以便复制粘贴,从而淹没回复区域以推广特定的政治信息。 国内饭圈粉圈数据女工的利器啊,但是感觉这么做有点危险,肯定会被打击。 【剩余部分为付费阅读,请转至小报童】 请转至小报童 你可以在这里找到我: | 即刻 | 推特 | Quail订阅 | 微信公众号:歸藏的AI工具箱 |邮箱:guohao631@gmail.com | 微信号:op7418 即刻 推特 Quail订阅 guohao631@gmail.com 🔗 原文链接: https://quail.ink/op7418/p/aigc wee... https://quail.ink/op7418/p/aigc wee... ⏰ 发布时间:2024 10 20 作者:歸藏 从这周开始我们的周刊就会开始收费了,收费之后我就可以投入更多时间去整理,会把很多图像以及视频的优质内容也整理进来。这周先增加了一个“有趣的 AI 内容的栏目”,各位关于内容上的问题也可以跟我反馈。 另外为了方便交流也建了一个微信群,可以在这期内容最后加我微信,发我你订阅的邮箱我会拉你进群,一些重要信息和资源我也会先往群里丢。 再次感谢各位的订阅,拜谢🙏。 上周精选 ✦ AI 行业进入深水区,巨无霸卷能源,创业公司卷体验 上周两部分新闻最多,一部分是微软谷歌等几个巨无霸公司不满足于卷算力或者是卷算力达到了瓶颈,开始对能源行业下手,纷纷瞄准了核能这个领域。 相关新闻有: • 美国能源部宣布提供高达 9 亿美元的资金支持小型模块化核反应堆(SMRs)的发展 ,资金来自 2021 年的基础设施法案,旨在促进美国国内核能领域的创新和增长。 美国能源部宣布提供高达 9 亿美元的资金支持小型模块化核反应堆(SMRs)的发展 • 三哩岛核电站将在 2028 年重新开放,为微软的数据中心提供电力 。这是曾经发生过美国历史上最严重商业核事故的电站。 三哩岛核电站将在 2028 年重新开放,为微软的数据中心提供电力 • 谷歌公宣布将从小型模块化反应堆(SMRs)开发商 Kairos Power 购买电力 ,以满足其数据中心不断增长的能源需求。 谷歌公宣布将从小型模块化反应堆(SMRs)开发商 Kairos Power 购买电力 • 亚马逊 AWS 宣布将投资超过 5 亿美元 ,与多个公用事业公司合作开发小型模块化核反应堆(SMRs),以满足其增长的数据中心需求,并推动其向净零碳排放的承诺。 亚马逊 AWS 宣布将投资超过 5 亿美元 另外创业公司和一些模型公司开始在产品细节上下功夫,纷纷开始频繁在产品体验和能力上发力。 AI 创业和投入的门槛都在不断变高,新玩家加入或者想通过简单的优化拿到融资或者起飞越来越困难。 Perplexity 推出了 Space,类似 Claude Project : Perplexity 推出了 Space,类似 Claude Project • 支持上传和存储文件 • 除了网络之外还可以搜索文件 • 选择喜欢的人工智能模型 • 为想要的答案编写自定义说明 • 邀请其他人并协作搜索 还有内部知识搜索功能,可以搜索整个组织的文件和内部网络,只有 Enterprise Pro 才能用。 Perplexity 现在还支持非常详细的股票分析。可以生成历史收益报告,行业同行比较。公司财务状况的详细分析。 ChatGPT Windows 版本上线 : ChatGPT Windows 版本上线 ChatGPT Windows 版本上线,PC 玩家终于有人管了!Alt + Space 可以快速拉起 ChatGPT 让他回答问题。 但是需要通过 Windows Store 安装。微软权限验证有点严格,建议开启 UWP Loopback ,更改地区和语言,再打开 Windows Store 试试。 NotebookLM 支持自定义生成播客的内容和风格 : NotebookLM 支持自定义生成播客的内容和风格 NotebookLM 再次进化,推出两个很有用的新功能: 指导对话:可以在生成播客前输入你的要求,比如只聊某个主题或者给某个具体的受众听的主题。 后台收听:可以让生成的播客在后台播放,同时可以继续操作 UI 界面,使用其他功能。 Claude iOS 和 Android 更新大量体验优化,视觉表现也全部改版,并推出 iPad 应用 。 Claude iOS 和 Android 更新大量体验优化,视觉表现也全部改版,并推出 iPad 应用 Dropbox 发布组织内 AI 搜索功能 : Dropbox 发布组织内 AI 搜索功能 提供了 AI 驱动的全局搜索功能,可以跨越多个连接的应用程序快速找到公司内容。 支持连接诸如 Google Drive、Microsoft OneDrive 和 Dropbox 等常用工具。 还提供了内容控制功能,允许管理员从单一界面监控和调整多个云应用的权限。 英伟达和 Mistral 发布了他们的新 LLM Nvidia 发布 Nemotron 70B 模型 Nvidia 发布 Nemotron 70B 模型 Nvidia 发布的 Nemotron 70B 引发了大规模讨论。从他们自己的测试来看,分数完全超过了 Llama 3.1 405B、GPT4o 和 Claude 3.5 Sonnet。 以下是评估结果 (Nemotron 70B 对比 Claude 3.5 对比 GPT4o): Arena Hard 测试:85.0 vs 79.2 vs 79.3 AlpacaEval 2 LC 测试:57.6 vs 52.4 vs 57.5 MT Bench 测试:8.98 vs 8.81 vs 8.74 但是在一些其他的测试集如 GPQA 和 MMLU Pro 和 aider 上。Nemotron 70B 和 Llama 3.1 70B 的表现差不多甚至更差,所以具体的能力还得看到时候 LLM 竞技场的评分了。 核心是在训练过程中使用了 Llama 3.1 Nemotron 70B Reward 和 HelpSteer2 Preference 提示进行 RLHF 训练。同时模型的权重和数据集都是开源的。 Mistral 发布了两个小模型,Ministral 3B 和 Ministral 8B Mistral 发布了两个小模型,Ministral 3B 和 Ministral 8B Mistral 发布了两个小模型,Ministral 3B 和 Ministral 8B。 他们说这是世界上最好的边缘模型(edge models),数据确实非常亮眼,所有参数全面超越同规模模型。 两种模型均支持长达 128k 的上下文长度; Ministral 8B 有特殊的交错滑动窗口注意力模式,以加快和提高内存利用率; Ministral 8B Instruct 模型可以下载不可商用。 Adobe 发布 AI 视频生成模型和一系列 AI 功能 Adobe 发布 AI 视频生成模型和一系列 AI 功能 Adobe 上周召开了 AdobeMAX 大会,发布了他们预告了很久的视频生成模型以及一堆 AI 功能和产品。 发布 Firefly 视频生成模型,支持文生视频、图生视频: 最强的是支持视频编辑,比如这个镜头拍摄的时候是拿的苹果,可以编辑为拿旁边的梨。 还可以生成一些纯黑背景的光效素材,然后用滤色模式合并。 生成扩展功能 : 可以直接在 Adobe Premiere 中延长生成某一段视频填补镜头之间的间隙、或者延长镜头。 也可以单击并拖动音频剪辑的末端,以延长生成环境声音,以平滑音频编辑。 这个对于创作者来说还是挺重要的,如果生成质量好的话缺的视频和音频就不需要补拍补录了,不过目前不能再大于 1080P 的素材上使用,有点鸡肋。 Nutrition labels : Adobe 的新网络应用程序为了保护创作者的作品不受人工智能的不当使用,同时确保他们获得适当的归属。 通过集中的网络应用程序,Adobe 提供了一种简化的方式来应用和管理内容凭证,这有助于创作者更容易地保护自己的作品。 Project Scenic : Scenic 实际上会生成一个完整的 3D 场景,允许添加、移动特定对象并调整其大小,而不是仅仅依赖文本描述。然后将最终结果用作生成与 3D 计划匹配的 2D 图像的参考。 Project Motion : 这是一个两步工具,可用于轻松制作各种风格的动画图形。第一阶段是一个简单的动画生成器,允许创意人员向文本和基本图像添加运动效果,而无需事先具备动画经验。然后使用文本描述和参考图像对其进行转换 添加颜色、纹理和背景序列。 Project Clean Machine : 是一种编辑工具,可以自动消除图像和视频中烦人的干扰,例如相机闪光灯和走进画面的人。 Meta 开源视频生成模型对应的两个测试集 Meta 开源视频生成模型对应的两个测试集 Meta 开源了他们视频生成模型对应的两个测试集,对从业者和创作者都很有帮助。可以看看 Meta 怎么写提示词和测试的。 推荐视频创作者维护一个自己的测试集对于测试目前层出不穷的视频模型很有帮助。 Movie Gen Video Bench 是迄今为止发布的最大规模、最全面的文本生成视频评估基准。包含 1,000 多个提示词,从详细的人类活动到动物、物理现象、奇特主题等各种概念。 具体的概念分类有: • 人类活动(肢体和嘴巴运动、情绪等) • 动物 • 自然与风景 • 物理学(流体动力学、重力、加速度、碰撞、爆炸等) • 不寻常的主题和不寻常的活动。 同时在上面的分类上还有高、中、低不同的运动幅度测试。 Movie Gen Audio Bench 旨在评估"视频生成音频"和"文本配合视频生成音频"的能力。包括 527 个生成的视频,以及相应的音效和音乐提示。