质朴发言：一文纵览文生图/文生视频技术发展路径与应用场景｜Z 研究第 1 期

质朴发言：一文纵览文生图/文生视频技术发展路径与应用场景｜Z 研究第 1 期 质朴发言：一文纵览文生图/文生视频技术发展路径与应用场景｜Z 研究第 1 期 Modified April 10, 2024 2.4 未来发展趋势（2024 ？) 基于 Diffusion Model 和基于自回归模型的两大主流技术路线，继续同时发展。 1、视频解编码未来可能被基于 token 的处理方法所替代，但这需要长期的模型改进。 2、基于 token 的神经网络解码速度和 CPU 优化目前是技术发展的瓶颈。 3、未来视频生成和显示可能融合，实现即时编辑和更高效的内容生成。 4、基础模型的提升将促进下游研究和应用效果的提高。 5、开源社区的创造力对技术创新和应用发展起到关键作用。 6、不同基础模型对特定问题的适用性和表现各不相同。 7、随着模型规模和训练数据量的增加，性能会得到提升。数据规模和模型规模应相匹配，以达到最佳性能提升。 AIGCBench 评估了四个关键维度：控制 视频对齐、运动效果、时间一致性和视频质量。 2.5 视频生成模型 mapping 三、应用场景 3.1 基于闭源模型 1、Midjourney: Midjourney V1 (Feb 2022) Midjourney V6 (Dec 2023) • 发展历史：Midjourney 最早由 David Holz 创立。Midjourney 使用 Discord 平台作为其主要的用户界面，用户通过与 Midjourney bot 进行对话式交互来生成图片。由于用户门槛较低，图像生成质量高，简单的 Prompt（文本提示词）就能生成高品质的图像，这使得它迅速获得了用户的青睐。凭借用户自传播，Midjourney 社区已成为 Discord 上最大的社区频道。截至 2023 年底，Midjourney 已经实现了 1000 万用户和超过 2.5 亿美元的年营收，估值近 100 亿美元。 • 模型特点：Midjourney 在 AI 公司价值链上占据了数据层、模型层、应用层整个技术栈，其模型为采用了 CLIP 和 Diffusion 构建的闭源模型。Midjourney 的模型对 –stylize 参数非常敏感，用户可以通过尝试不同的风格化范围来微调图像。此外，模型支持多种测试模型和放大器模型，以提供更多样化的图像生成选项。随着用户量增长，Midjourney 的数据飞轮效应日益明显：通过大量社区活跃用户的正/负反馈，持续迭代其模型、产品和服务。 • 落地场景： ◦ 2C: ▪ 个人艺术创作：业余爱好者可以利用 Midjourney 创造个性化的艺术作品，如绘画、插图等。 ▪ 社交媒体内容：用户可生成用于抖音/小红书/微信等社交媒体平台的图片内容。 ▪ 教育：学生和老师可以轻松通过 Midjourney 生成图像辅助学习，如历史事件的视觉呈现、科学概念的图形化等。 ▪ 娱乐与游戏：游戏爱好者可以创建自定义的游戏角色或场景，提升游戏体验。 ◦ 2B: ▪ 设计：软件 UI/产品原型/室内/建筑/服装设计等。例如，Midjourney 可应用于中后台业务中的图标、数据大屏、登录页、官网插图等设计工作。这些应用场景通常要求快速生成较高质量的视觉效果，但不求极致的细节。对于细节要求较高的工作，Midjourney 可作为灵感来源和草稿。 ▪ 营销：低成本大批量生成营销宣传物料。在业务侧服务场景、新媒体应用、形象宣传等方面，Midjourney 能够提供高质量的视觉素材。例如，UU 跑腿团队使用 Midjourney 生成与家政服务场景相关的宣传图。从传统的几千～几万之间/套素材，缩减到<2000 元/套素材，实现了一个数量级的降本效果。https://tech.uupt.com/?p=1233 ▪ 艺术：影视制作/二次元动漫/文章配图。Midjourney 也被用于影视节目的设计工作，例如 KV（关键视觉）设计的前期工作中。根据设计师特定的设计需求，如电台场景的创建、特定风格的实现等，Midjourney 能够根据提供的关键词生成一系列效果图。在此基础上，设计师使用 Upscayl、PS 等工具进行精修，达到商业可用的状态。 https://www.bilibili.com/read/cv26670620/ • 商业化现状：订阅制+梯度定价。Midjourney 采取 SaaS 订阅制模式，初次使用时用户可以免费生成 25 张照片，之后则需按月或年订阅，价格分别为 10、30、60、120 美元/月或 8、24、48、96 美元/月。用户只有在订阅之后才能拥有使用 Midjourney 创作的图片的版权。2023 年，Midjourney 实现 1 亿美元的年营收。 2、OpenAI: DALL E • 发展历史： ◦ DALL E：由 OpenAI 于 2021 年初发布，作为结合自然语言处理和图像生成技术的先锋 AI 模型。 ◦ DALL E 2：在 2022 年推出，作为 DALL E 的进阶版本，带来了图像质量和分辨率的显著提升。 ◦ DALL E 3：2023 年发布，进一步增强了图像生成的准确性和创造性。 • 模型特点：DALL E 系列基于变换器（Transformer）架构，采用稀疏注意力机制，有效处理大量数据。DALL E 2 引入了 CLIP 模型，提高文本理解能力；而 DALL E 3 则在此基础上进一步优化了细节处理和创意表现。图像生成能力：从理解简单的文本描述到处理复杂的文本指令，DALL E 系列在生成各种风格和类型的图像方面展现了卓越的能力。 • 落地场景： ◦ 2C：与 Midjourney 场景类似。可控性强于 Midjourney，但复杂场景和细节处理能力不如 Midjourney。 ◦ 2B：与 Midjourney 场景类似。 • 商业化现状： ◦ API 服务：OpenAI 通过提供 API 服务，使企业和开发者能够将这些强大的图像生成工具集成到自己的应用和服务中。 ◦ 不同版本的定位：初代 DALL E 主要面向艺术和创意产业；而 DALL E 2 和 DALL E 3 则更多地服务于专业领域，如影视制作、游戏设计和科学研究。 ◦ 商业策略：OpenAI 采取了分层的访问和定价策略，允许不同需求的用户选择适合自己的服务级别。这种模式为 OpenAI 带来了持续的收入流，并推动了 AI 技术在不同行业的广泛应用。 ◦ 伦理和合规性：随着技术的发展，OpenAI 加强了对生成内容的审查，确保其符合伦理和法律标准，以应对公众对 AI 生成内容可能带来的社会和文化影响的担忧。 3、Adobe: Adobe Firefly • 发展历史：Adobe Firefly 是 Adobe 公司于 2023 年 3 月推出的一款 AI 图像生成套件，主要面向大型企业，允许企业使用自身的数据资产来训练自己的 Firefly 大模型，以快速生成可安全商用的图像内容。 • 模型特点：Adobe Firefly 基于主流的 Diffusion Model，其核心特点在于训练数据的合规性：用以训练 Firefly 模型的数据内容均来自于 Adobe Stock 图像、公开许可内容和其他版权过期的公共领域内容——Adobe 拥有对这些图像的所有权利；而不会涉及版权纠纷问题（同时，因未经创作者知情或同意抓取图像并用于训练，Stability AI、Midjourney 等人工智能图像生成开发商正面临着日益增加的诉讼）。 • 落地场景： ◦ 2C：与 Midjourney 场景类似，但由于 Adobe 产品专业化程度高，使用门槛高，以企业用户为主，在 C 端推广速度远不及 Midjourney。 ◦ 2B：与 Midjourney 场景类似，但更强调安全性和合规性，因此较受风险厌恶的大 B 客户青睐。 • 商业化现状：订阅制+梯度定价。用户在使用 AI 作图时会消耗生成点数，每个点数对应一张图。Adobe 提供给每个用户每月免费的 25 点生成点数，同时用户也可以选择付费购买额外的点数。截至 2023 年底，Adobe Firefly 的用户已经用这款工具生成了超过 30 亿张图像。目前约有 10%的 Adobe 用户已经使用了 Firefly。 3.2 基于开源模型 1、Stability AI: Stable Diffusion( August 2022) Stable Diffusion XL Turbo( Nov 2023) • 发展历史：Stability AI 专注于开源和社区驱动的模式，将资源投入到具有实际价值和创新性的项目中。公司已经成为时代杂志评选的 100 家最有影响力的公司之一。 • 模型特点：Stable Diffusion 系列是 Stability AI 推出的，基于 Diffusion Model 的开源模型，陆续整合了 VAE/GAN/Transformer 等多个模型优势和技术思想。最新一代的 SDXL Turbo 在前一代 Stable Diffusion 的基础上，加入了对抗性蒸馏技术。这项技术通过引入和修改对抗训练，减少模型除噪步骤，提升效率。 • 落地场景： ◦ 2C：与 Midjourney 场景类似，但美观度和连续性方面都落后于 Dall E 3 和 Midjourney。 ◦ 2B：与 Midjourney 场景类似。 • 商业化现状：暂无商业化动作。Stability AI 目前还没有明确的商业模式，其主要资金来源是创始人兼 CEO 伊马德·莫斯塔克。公司的使命是构建开源 AI 项目，并支持其他开源小组正在研发的工具。 2、其他基于 Stable Diffusion 为代表的开源模型的各种应用： • 设计工具：Canva Text to Image、CF Spark、稿定 AI、墨刀 AI、MasterGO AI 等 • 图片生成：Leonardo.AI、Yodayo、NightCafe Studio、美图设计室等 • 图片编辑：Remove.bg、Fotor、Pixlr 等 • 图片增强：Cutout Pro、ZMO.ai、magnific.ai 等 3、基于开源模型的创作社区 （聚合了多种开源模型，大多数为 Stable Diffusion 的模型变体） • Civitai • 海艺 AI • liblib 主流创作社区各有特色，但共同点在于： 提供了一个平台，让用户可以利用 AI 技术进行图像创作和分享。这些社区通常会集成最新的开源 AI 模型，使用用户无需深入了解 AI 技术细节即可创作出质量较高的作品。 4、AI 视频 改编自：魔方 AI 空间 2.4 未来发展趋势（2024 ？) 基于 Diffusion Model 和基于自回归模型的两大主流技术路线，继续同时发展。 1、视频解编码未来可能被基于 token 的处理方法所替代，但这需要长期的模型改进。 2、基于 token 的神经网络解码速度和 CPU 优化目前是技术发展的瓶颈。 3、未来视频生成和显示可能融合，实现即时编辑和更高效的内容生成。 4、基础模型的提升将促进下游研究和应用效果的提高。 5、开源社区的创造力对技术创新和应用发展起到关键作用。 6、不同基础模型对特定问题的适用性和表现各不相同。 7、随着模型规模和训练数据量的增加，性能会得到提升。数据规模和模型规模应相匹配，以达到最佳性能提升。 AIGCBench 评估了四个关键维度：控制 视频对齐、运动效果、时间一致性和视频质量。 2.5 视频生成模型 mapping 三、应用场景 3.1 基于闭源模型 1、Midjourney: Midjourney V1 (Feb 2022) Midjourney V6 (Dec 2023) • 发展历史：Midjourney 最早由 David Holz 创立。Midjourney 使用 Discord 平台作为其主要的用户界面，用户通过与 Midjourney bot 进行对话式交互来生成图片。由于用户门槛较低，图像生成质量高，简单的 Prompt（文本提示词）就能生成高品质的图像，这使得它迅速获得了用户的青睐。凭借用户自传播，Midjourney 社区已成为 Discord 上最大的社区频道。截至 2023 年底，Midjourney 已经实现了 1000 万用户和超过 2.5 亿美元的年营收，估值近 100 亿美元。 • 模型特点：Midjourney 在 AI 公司价值链上占据了数据层、模型层、应用层整个技术栈，其模型为采用了 CLIP 和 Diffusion 构建的闭源模型。Midjourney 的模型对 –stylize 参数非常敏感，用户可以通过尝试不同的风格化范围来微调图像。此外，模型支持多种测试模型和放大器模型，以提供更多样化的图像生成选项。随着用户量增长，Midjourney 的数据飞轮效应日益明显：通过大量社区活跃用户的正/负反馈，持续迭代其模型、产品和服务。 • 落地场景： ◦ 2C: ▪ 个人艺术创作：业余爱好者可以利用 Midjourney 创造个性化的艺术作品，如绘画、插图等。 ▪ 社交媒体内容：用户可生成用于抖音/小红书/微信等社交媒体平台的图片内容。 ▪ 教育：学生和老师可以轻松通过 Midjourney 生成图像辅助学习，如历史事件的视觉呈现、科学概念的图形化等。 ▪ 娱乐与游戏：游戏爱好者可以创建自定义的游戏角色或场景，提升游戏体验。 ◦ 2B: ▪ 设计：软件 UI/产品原型/室内/建筑/服装设计等。例如，Midjourney 可应用于中后台业务中的图标、数据大屏、登录页、官网插图等设计工作。这些应用场景通常要求快速生成较高质量的视觉效果，但不求极致的细节。对于细节要求较高的工作，Midjourney 可作为灵感来源和草稿。 ▪ 营销：低成本大批量生成营销宣传物料。在业务侧服务场景、新媒体应用、形象宣传等方面，Midjourney 能够提供高质量的视觉素材。例如，UU 跑腿团队使用 Midjourney 生成与家政服务场景相关的宣传图。从传统的几千～几万之间/套素材，缩减到<2000 元/套素材，实现了一个数量级的降本效果。https://tech.uupt.com/?p=1233 ▪ 艺术：影视制作/二次元动漫/文章配图。Midjourney 也被用于影视节目的设计工作，例如 KV（关键视觉）设计的前期工作中。根据设计师特定的设计需求，如电台场景的创建、特定风格的实现等，Midjourney 能够根据提供的关键词生成一系列效果图。在此基础上，设计师使用 Upscayl、PS 等工具进行精修，达到商业可用的状态。 https://www.bilibili.com/read/cv26670620/ ◦ 2C: ▪ 个人艺术创作：业余爱好者可以利用 Midjourney 创造个性化的艺术作品，如绘画、插图等。 ▪ 社交媒体内容：用户可生成用于抖音/小红书/微信等社交媒体平台的图片内容。 ▪ 教育：学生和老师可以轻松通过 Midjourney 生成图像辅助学习，如历史事件的视觉呈现、科学概念的图形化等。 ▪ 娱乐与游戏：游戏爱好者可以创建自定义的游戏角色或场景，提升游戏体验。 ▪ 个人艺术创作：业余爱好者可以利用 Midjourney 创造个性化的艺术作品，如绘画、插图等。 ▪ 社交媒体内容：用户可生成用于抖音/小红书/微信等社交媒体平台的图片内容。 ▪ 教育：学生和老师可以轻松通过 Midjourney 生成图像辅助学习，如历史事件的视觉呈现、科学概念的图形化等。 ▪ 娱乐与游戏：游戏爱好者可以创建自定义的游戏角色或场景，提升游戏体验。 ◦ 2B: ▪ 设计：软件 UI/产品原型/室内/建筑/服装设计等。例如，Midjourney 可应用于中后台业务中的图标、数据大屏、登录页、官网插图等设计工作。这些应用场景通常要求快速生成较高质量的视觉效果，但不求极致的细节。对于细节要求较高的工作，Midjourney 可作为灵感来源和草稿。 ▪ 营销：低成本大批量生成营销宣传物料。在业务侧服务场景、新媒体应用、形象宣传等方面，Midjourney 能够提供高质量的视觉素材。例如，UU 跑腿团队使用 Midjourney 生成与家政服务场景相关的宣传图。从传统的几千～几万之间/套素材，缩减到<2000 元/套素材，实现了一个数量级的降本效果。https://tech.uupt.com/?p=1233 ▪ 艺术：影视制作/二次元动漫/文章配图。Midjourney 也被用于影视节目的设计工作，例如 KV（关键视觉）设计的前期工作中。根据设计师特定的设计需求，如电台场景的创建、特定风格的实现等，Midjourney 能够根据提供的关键词生成一系列效果图。在此基础上，设计师使用 Upscayl、PS 等工具进行精修，达到商业可用的状态。 https://www.bilibili.com/read/cv26670620/ ▪ 设计：软件 UI/产品原型/室内/建筑/服装设计等。例如，Midjourney 可应用于中后台业务中的图标、数据大屏、登录页、官网插图等设计工作。这些应用场景通常要求快速生成较高质量的视觉效果，但不求极致的细节。对于细节要求较高的工作，Midjourney 可作为灵感来源和草稿。 ▪ 营销：低成本大批量生成营销宣传物料。在业务侧服务场景、新媒体应用、形象宣传等方面，Midjourney 能够提供高质量的视觉素材。例如，UU 跑腿团队使用 Midjourney 生成与家政服务场景相关的宣传图。从传统的几千～几万之间/套素材，缩减到<2000 元/套素材，实现了一个数量级的降本效果。https://tech.uupt.com/?p=1233 ▪ 艺术：影视制作/二次元动漫/文章配图。Midjourney 也被用于影视节目的设计工作，例如 KV（关键视觉）设计的前期工作中。根据设计师特定的设计需求，如电台场景的创建、特定风格的实现等，Midjourney 能够根据提供的关键词生成一系列效果图。在此基础上，设计师使用 Upscayl、PS 等工具进行精修，达到商业可用的状态。 https://www.bilibili.com/read/cv26670620/ • 商业化现状：订阅制+梯度定价。Midjourney 采取 SaaS 订阅制模式，初次使用时用户可以免费生成 25 张照片，之后则需按月或年订阅，价格分别为 10、30、60、120 美元/月或 8、24、48、96 美元/月。用户只有在订阅之后才能拥有使用 Midjourney 创作的图片的版权。2023 年，Midjourney 实现 1 亿美元的年营收。 2、OpenAI: DALL E • 发展历史： ◦ DALL E：由 OpenAI 于 2021 年初发布，作为结合自然语言处理和图像生成技术的先锋 AI 模型。 ◦ DALL E 2：在 2022 年推出，作为 DALL E 的进阶版本，带来了图像质量和分辨率的显著提升。 ◦ DALL E 3：2023 年发布，进一步增强了图像生成的准确性和创造性。 ◦ DALL E：由 OpenAI 于 2021 年初发布，作为结合自然语言处理和图像生成技术的先锋 AI 模型。 ◦ DALL E 2：在 2022 年推出，作为 DALL E 的进阶版本，带来了图像质量和分辨率的显著提升。 ◦ DALL E 3：2023 年发布，进一步增强了图像生成的准确性和创造性。 • 模型特点：DALL E 系列基于变换器（Transformer）架构，采用稀疏注意力机制，有效处理大量数据。DALL E 2 引入了 CLIP 模型，提高文本理解能力；而 DALL E 3 则在此基础上进一步优化了细节处理和创意表现。图像生成能力：从理解简单的文本描述到处理复杂的文本指令，DALL E 系列在生成各种风格和类型的图像方面展现了卓越的能力。 • 落地场景： ◦ 2C：与 Midjourney 场景类似。可控性强于 Midjourney，但复杂场景和细节处理能力不如 Midjourney。 ◦ 2B：与 Midjourney 场景类似。 ◦ 2C：与 Midjourney 场景类似。可控性强于 Midjourney，但复杂场景和细节处理能力不如 Midjourney。 ◦ 2B：与 Midjourney 场景类似。 • 商业化现状： ◦ API 服务：OpenAI 通过提供 API 服务，使企业和开发者能够将这些强大的图像生成工具集成到自己的应用和服务中。 ◦ 不同版本的定位：初代 DALL E 主要面向艺术和创意产业；而 DALL E 2 和 DALL E 3 则更多地服务于专业领域，如影视制作、游戏设计和科学研究。 ◦ 商业策略：OpenAI 采取了分层的访问和定价策略，允许不同需求的用户选择适合自己的服务级别。这种模式为 OpenAI 带来了持续的收入流，并推动了 AI 技术在不同行业的广泛应用。 ◦ 伦理和合规性：随着技术的发展，OpenAI 加强了对生成内容的审查，确保其符合伦理和法律标准，以应对公众对 AI 生成内容可能带来的社会和文化影响的担忧。 ◦ API 服务：OpenAI 通过提供 API 服务，使企业和开发者能够将这些强大的图像生成工具集成到自己的应用和服务中。 ◦ 不同版本的定位：初代 DALL E 主要面向艺术和创意产业；而 DALL E 2 和 DALL E 3 则更多地服务于专业领域，如影视制作、游戏设计和科学研究。 ◦ 商业策略：OpenAI 采取了分层的访问和定价策略，允许不同需求的用户选择适合自己的服务级别。这种模式为 OpenAI 带来了持续的收入流，并推动了 AI 技术在不同行业的广泛应用。 ◦ 伦理和合规性：随着技术的发展，OpenAI 加强了对生成内容的审查，确保其符合伦理和法律标准，以应对公众对 AI 生成内容可能带来的社会和文化影响的担忧。 3、Adobe: Adobe Firefly • 发展历史：Adobe Firefly 是 Adobe 公司于 2023 年 3 月推出的一款 AI 图像生成套件，主要面向大型企业，允许企业使用自身的数据资产来训练自己的 Firefly 大模型，以快速生成可安全商用的图像内容。 • 模型特点：Adobe Firefly 基于主流的 Diffusion Model，其核心特点在于训练数据的合规性：用以训练 Firefly 模型的数据内容均来自于 Adobe Stock 图像、公开许可内容和其他版权过期的公共领域内容——Adobe 拥有对这些图像的所有权利；而不会涉及版权纠纷问题（同时，因未经创作者知情或同意抓取图像并用于训练，Stability AI、Midjourney 等人工智能图像生成开发商正面临着日益增加的诉讼）。 • 落地场景： ◦ 2C：与 Midjourney 场景类似，但由于 Adobe 产品专业化程度高，使用门槛高，以企业用户为主，在 C 端推广速度远不及 Midjourney。 ◦ 2B：与 Midjourney 场景类似，但更强调安全性和合规性，因此较受风险厌恶的大 B 客户青睐。 ◦ 2C：与 Midjourney 场景类似，但由于 Adobe 产品专业化程度高，使用门槛高，以企业用户为主，在 C 端推广速度远不及 Midjourney。 ◦ 2B：与 Midjourney 场景类似，但更强调安全性和合规性，因此较受风险厌恶的大 B 客户青睐。 • 商业化现状：订阅制+梯度定价。用户在使用 AI 作图时会消耗生成点数，每个点数对应一张图。Adobe 提供给每个用户每月免费的 25 点生成点数，同时用户也可以选择付费购买额外的点数。截至 2023 年底，Adobe Firefly 的用户已经用这款工具生成了超过 30 亿张图像。目前约有 10%的 Adobe 用户已经使用了 Firefly。 3.2 基于开源模型 1、Stability AI: Stable Diffusion( August 2022) Stable Diffusion XL Turbo( Nov 2023) • 发展历史：Stability AI 专注于开源和社区驱动的模式，将资源投入到具有实际价值和创新性的项目中。公司已经成为时代杂志评选的 100 家最有影响力的公司之一。 • 模型特点：Stable Diffusion 系列是 Stability AI 推出的，基于 Diffusion Model 的开源模型，陆续整合了 VAE/GAN/Transformer 等多个模型优势和技术思想。最新一代的 SDXL Turbo 在前一代 Stable Diffusion 的基础上，加入了对抗性蒸馏技术。这项技术通过引入和修改对抗训练，减少模型除噪步骤，提升效率。 • 落地场景： ◦ 2C：与 Midjourney 场景类似，但美观度和连续性方面都落后于 Dall E 3 和 Midjourney。 ◦ 2B：与 Midjourney 场景类似。 ◦ 2C：与 Midjourney 场景类似，但美观度和连续性方面都落后于 Dall E 3 和 Midjourney。 ◦ 2B：与 Midjourney 场景类似。 • 商业化现状：暂无商业化动作。Stability AI 目前还没有明确的商业模式，其主要资金来源是创始人兼 CEO 伊马德·莫斯塔克。公司的使命是构建开源 AI 项目，并支持其他开源小组正在研发的工具。 2、其他基于 Stable Diffusion 为代表的开源模型的各种应用： • 设计工具：Canva Text to Image、CF Spark、稿定 AI、墨刀 AI、MasterGO AI 等 • 图片生成：Leonardo.AI、Yodayo、NightCafe Studio、美图设计室等 • 图片编辑：Remove.bg、Fotor、Pixlr 等 • 图片增强：Cutout Pro、ZMO.ai、magnific.ai 等 3、基于开源模型的创作社区 （聚合了多种开源模型，大多数为 Stable Diffusion 的模型变体） • Civitai • 海艺 AI • liblib 主流创作社区各有特色，但共同点在于： 提供了一个平台，让用户可以利用 AI 技术进行图像创作和分享。这些社区通常会集成最新的开源 AI 模型，使用用户无需深入了解 AI 技术细节即可创作出质量较高的作品。 4、AI 视频 改编自：魔方 AI 空间 未来视频生成的 GPT 时刻应该是生成效果可控 • 为电影制作打造产品 • 为 C 端普通消费者打造产品 文本到视频人工智能模型的应用场景广泛，涵盖了内容创建、社交媒体营销、讲故事与动画制作、个性化内容、视频摘要、电子学习和培训、新闻媒体、电子游戏开发、虚拟助理和聊天机器人、归档与文档保存以及提高内容的可访问性等多个领域。 1. 在内容创建和企业营销中，这些模型可以帮助快速生成具有视觉吸引力的视频，用于品牌推广和产品演示。社交媒体影响者可以利用这些工具创建引人注目的内容，增强个人品牌并提升粉丝互动。在娱乐行业，尤其是动画制作中，文本到视频技术可以在预制作阶段根据脚本或故事板生成初始场景，让创作者专注于创意发展。 2. 个性化视频内容的制作也是这些模型的一个应用，它们可以根据用户数据生成定制化的视频，提高用户参与度和转化率。在电子学习和培训领域，这些模型可以将文本内容转换为互动视频，帮助学习者更好地理解和记忆复杂概念。 3. 新闻机构可以利用文本到视频技术快速制作视觉报道，而游戏开发者则可以利用它来创建动画过场和叙事序列。集成到虚拟助理和聊天机器人中，可以提供更丰富的用户交互体验。此外，这些模型还可以帮助将历史文本和文档转换为视频，以更吸引人的方式保存和展示信息。 4. 最后，文本到视频技术对于提高内容的可访问性也至关重要，它可以通过音频描述和视觉元素的结合，帮助视觉障碍者更容易地访问和享受信息。这些应用场景不仅展示了文本到视频技术的实用性和效率，也激发了新的创意可能性，为内容创作和媒体制作带来了革命性的变化。 原文链接：https://mp.weixin.qq.com/s/pOLIf6JVQ b8v3T6LcA7Fg 来源：质朴发言 发文时间：2024.01.19 人工智能技术的进步为各行各业带来了革命性的变化，尤其是在图像生成领域。近年来，文生图/文生视频技术的发展已成为计算机视觉和人工智能研究领域的热点。 首先，我们在这份研究报告中从横向和纵向两个维度梳理了文生图技术的发展脉络，重点分析了四个主流路径：基于 GAN 的方法、基于 VAE 的架构、Diffusion Model，以及自回归模型。 每种技术都有其独特的优势和局限性，它们不仅反映了人工智能