新王登基-Meta发布Meta Movie Gen文生视频模型

新王登基 Meta发布Meta Movie Gen文生视频模型 新王登基 Meta发布Meta Movie Gen文生视频模型 Modified October 9, 2024 No access 7586 1728057079 raw 00:00 movie gen research paper.pdf 11.59MB 2410.02746v1.pdf 9.25MB No access AQNqaqS1K8y127TjMDSqVQFKxytdhtS2LIigdvwG1m1B7PSQ9MVJzbHUsmJ2r6NlDo5676AovslXGGRsFDAJof5C 00:00 No access AQODlBNBPphoHO0OxyhgRUjxX2 ypK3 g7d8uLcSSfQKz BWwxaw6O3ru8Hj8P4hsQvePxUXjMkQP1s6LZS0dP B 00:00 No access AQOuOxod5gTk4x2RfQBdpu5EARkJdH eqk WC6V 5YLxIiD0Q8 9XD3dOjwIDskByjO4lIRgylv LwkPkEb1vgX2 00:00 No access AQPTvCnEgzAv uZZH7WBbipPLfOiPrkASXET3vCnX PvkHXFatae5wiME VnB6cdTC7Kg9mNV66KS7Gi4SQsk6hz 00:00 No access AQPW2XiMU7zq5d9N6GImXyHsi5k3vfhAARzUDBsyjLJsnckHMDMR2TVliu6zCZ8FrzzMAG9XWa6uqM 4hqYaIl09 00:00 No access AQN93 PQzwvk9hXxtg CXRKF0iuS3vDfYDAd6o7L2PLo9s46t2mt3PfVgBJfLqyzKvmH3 avUhVuR5vlaFA3KEiY 00:00 No access AQOGoRNNttaiv6GurKZSTJInN2JKv I KDeLmKlP0ezuMNoFSnPj2w UKfMrU7TJ6OuhC5bYmfjbOwcXXRMldykb 00:00 No access AQOqaT9K5XXcswrfjz54HfHzFkGfKM815Wkif RD wo9OUIzwCUDqt7zVOWR9pgOCohjBFxpKaMIZd7uZDS3t6Al 00:00 No access AQPoimKxH0OjSM2nrwEMvGZ4p1MPTVxM86qgLLo3WWrQcs 3k7q2AFxNgDU7wQR9AiODYnzhAvNv66EYk5CL JjC 00:00 Movie Gen Video通过预训练 微调范式完成，在骨干网络架构上，它沿用了Transformer，特别是Llama3的许多设计。 • 预训练阶段 在海量的视频 文本和图像 文本数据集上进行联合训练，学习对视觉世界的理解。这个阶段的训练数据规模达到了O(100)M视频和O(1)B图像，用以学习运动、场景、物理、几何、音频等概念。 • 微调阶段 研究人员精心挑选了一小部分高质量视频进行有监督微调，以进一步提升生成视频的运动流畅度和美学品质。 为了进一步提高效果，模型还引入了流匹配（Flow Matching）作为训练目标，这使得视频生成的效果在精度和细节表现上优于扩散模型。 扩散模型通过从数据分布逐渐加入噪声，然后在推理时通过逆过程去除噪声来生成样本，用大量的迭代步数逐步逼近目标分布。 流匹配则是通过直接学习样本从噪声向目标数据分布转化的速度，模型只需通过估计如何在每个时间步中演化样本，即可生成高质量的结果。 与扩散模型相比，流匹配方法训练更加高效，计算成本更低，并且生成的结果在时间维度上具有更好的连续性和一致性。 在整体架构上，首先通过时空自编码器（Temporal AutoEncoder， TAE）将像素空间的RGB图像和视频压缩到一个时空潜空间，学习一种更加紧凑的表征。 接着，输入的文本提示被一系列预训练的文本编码器编码成向量表示，作为模型的条件信息。这里用到了多种互补的文本编码器，包括理解语义的编码器如UL2、与视觉对齐的编码器如Long prompt MetaCLIP，以及理解视觉文本的字符级编码器如ByT5。 最后，生成模型以Flow Matching的目标函数进行训练，从高斯分布采样的噪声向量作为输入，结合文本条件，生成一个输出潜码。这个潜码经过TAE解码，就得到最终的图像或视频输出。 此外Movie Gen Video在技术上还引入了多项创新： 为了让模型同时适配图像和视频，设计了一套因子化的可学习位置编码（factorized learnable positional embedding）机制。对高度、宽度、时间三个维度分别编码，再相加。这样即适配了不同宽高比，又能支持任意长度的视频。 针对推理效率问题，它采用了线性 二次时间步长调度（linear quadratic t schedule）策略。仅用50步就能逼近1000步采样的效果，大幅提升了推理速度。 为了进一步提高生成效率，Movie Gen Video模型还采用了基于时间平铺（temporal tiling）的推理方法。应对生成高分辨率长视频时，直接对整个视频进行编码和解码可能会遇到的内存限制问题。 在时间平铺推理中，输入视频在时间维度上被分割成多个片段，每个片段独立进行编码和解码，然后在输出时将所有片段重新拼接在一起。这种方法不仅降低了对内存的需求，还提高了推理的效率。 此外，在解码阶段使用了重叠和混合的方式来消除片段边界处的伪影问题，即通过在片段之间引入重叠区域，并对重叠区域进行加权平均，确保生成的视频在时间维度上保持平滑和一致。 另外Meta还开源了多个基准测试数据集，包括Movie Gen Video Bench、Movie Gen Edit Bench和Movie Gen Audio Bench，为后续研究者提供了权威的评测工具，有利于加速整个领域的进步。 这篇长达92页的论文还介绍了更多在架构、训练方法、数据管理、评估、并行训练和推理优化、以及音频模型的更多信息。 感兴趣的可到文末链接查看。 One More Thing AI视频生成这块，这两天热闹不断。 就在Meta发布Movie Gen之前不久，OpenAI Sora主创之一Tim Brooks跳槽谷歌DeepMind，继续视频生成和世界模拟器方面的工作。 这让很多人想到，就像当年谷歌迟迟不推出大模型应用，Transformer 8个作者纷纷出走。 现在OpenAI迟迟发布不了Sora，主要作者也跑了。 不过另外也有人认为，Tim Brooks选择现在离开，或许说明他在OpenAI的主要工作完成了，也让人开始猜测： Meta的发布会迫使OpenAI放出Sora来回应吗？ （截至目前为止，Sora的另一位主创Bill Peebles还未发声。） 现在Meta放出了带有视频编辑功能的模型，再加上10月1日Pika 1.5更新，主打给视频中物体加上融化、膨胀、挤压等物理特效。 不难看出，AI视频生成下半场，要开始卷向AI视频编辑了。 No access 7586 1728057079 raw 00:00 No access 7586 1728057079 raw 00:00 movie gen research paper.pdf 11.59MB movie gen research paper.pdf 11.59MB 2410.02746v1.pdf 9.25MB 2410.02746v1.pdf 9.25MB No access AQNqaqS1K8y127TjMDSqVQFKxytdhtS2LIigdvwG1m1B7PSQ9MVJzbHUsmJ2r6NlDo5676AovslXGGRsFDAJof5C 00:00 No access AQODlBNBPphoHO0OxyhgRUjxX2 ypK3 g7d8uLcSSfQKz BWwxaw6O3ru8Hj8P4hsQvePxUXjMkQP1s6LZS0dP B 00:00 No access AQNqaqS1K8y127TjMDSqVQFKxytdhtS2LIigdvwG1m1B7PSQ9MVJzbHUsmJ2r6NlDo5676AovslXGGRsFDAJof5C 00:00 No access AQNqaqS1K8y127TjMDSqVQFKxytdhtS2LIigdvwG1m1B7PSQ9MVJzbHUsmJ2r6NlDo5676AovslXGGRsFDAJof5C 00:00 No access AQNqaqS1K8y127TjMDSqVQFKxytdhtS2LIigdvwG1m1B7PSQ9MVJzbHUsmJ2r6NlDo5676AovslXGGRsFDAJof5C 00:00 No access AQODlBNBPphoHO0OxyhgRUjxX2 ypK3 g7d8uLcSSfQKz BWwxaw6O3ru8Hj8P4hsQvePxUXjMkQP1s6LZS0dP B 00:00 No access AQODlBNBPphoHO0OxyhgRUjxX2 ypK3 g7d8uLcSSfQKz BWwxaw6O3ru8Hj8P4hsQvePxUXjMkQP1s6LZS0dP B 00:00 No access AQODlBNBPphoHO0OxyhgRUjxX2 ypK3 g7d8uLcSSfQKz BWwxaw6O3ru8Hj8P4hsQvePxUXjMkQP1s6LZS0dP B 00:00 No access AQOuOxod5gTk4x2RfQBdpu5EARkJdH eqk WC6V 5YLxIiD0Q8 9XD3dOjwIDskByjO4lIRgylv LwkPkEb1vgX2 00:00 No access AQPTvCnEgzAv uZZH7WBbipPLfOiPrkASXET3vCnX PvkHXFatae5wiME VnB6cdTC7Kg9mNV66KS7Gi4SQsk6hz 00:00 No access AQOuOxod5gTk4x2RfQBdpu5EARkJdH eqk WC6V 5YLxIiD0Q8 9XD3dOjwIDskByjO4lIRgylv LwkPkEb1vgX2 00:00 No access AQOuOxod5gTk4x2RfQBdpu5EARkJdH eqk WC6V 5YLxIiD0Q8 9XD3dOjwIDskByjO4lIRgylv LwkPkEb1vgX2 00:00 No access AQOuOxod5gTk4x2RfQBdpu5EARkJdH eqk WC6V 5YLxIiD0Q8 9XD3dOjwIDskByjO4lIRgylv LwkPkEb1vgX2 00:00 No access AQPTvCnEgzAv uZZH7WBbipPLfOiPrkASXET3vCnX PvkHXFatae5wiME VnB6cdTC7Kg9mNV66KS7Gi4SQsk6hz 00:00 No access AQPTvCnEgzAv uZZH7WBbipPLfOiPrkASXET3vCnX PvkHXFatae5wiME VnB6cdTC7Kg9mNV66KS7Gi4SQsk6hz 00:00 No access AQPTvCnEgzAv uZZH7WBbipPLfOiPrkASXET3vCnX PvkHXFatae5wiME VnB6cdTC7Kg9mNV66KS7Gi4SQsk6hz 00:00 No access AQPW2XiMU7zq5d9N6GImXyHsi5k3vfhAARzUDBsyjLJsnckHMDMR2TVliu6zCZ8FrzzMAG9XWa6uqM 4hqYaIl09 00:00 No access AQPW2XiMU7zq5d9N6GImXyHsi5k3vfhAARzUDBsyjLJsnckHMDMR2TVliu6zCZ8FrzzMAG9XWa6uqM 4hqYaIl09 00:00 No access AQN93 PQzwvk9hXxtg CXRKF0iuS3vDfYDAd6o7L2PLo9s46t2mt3PfVgBJfLqyzKvmH3 avUhVuR5vlaFA3KEiY 00:00 No access AQN93 PQzwvk9hXxtg CXRKF0iuS3vDfYDAd6o7L2PLo9s46t2mt3PfVgBJfLqyzKvmH3 avUhVuR5vlaFA3KEiY 00:00 No access AQOGoRNNttaiv6GurKZSTJInN2JKv I KDeLmKlP0ezuMNoFSnPj2w UKfMrU7TJ6OuhC5bYmfjbOwcXXRMldykb 00:00 No access AQOGoRNNttaiv6GurKZSTJInN2JKv I KDeLmKlP0ezuMNoFSnPj2w UKfMrU7TJ6OuhC5bYmfjbOwcXXRMldykb 00:00 No access AQOqaT9K5XXcswrfjz54HfHzFkGfKM815Wkif RD wo9OUIzwCUDqt7zVOWR9pgOCohjBFxpKaMIZd7uZDS3t6Al 00:00 No access AQOqaT9K5XXcswrfjz54HfHzFkGfKM815Wkif RD wo9OUIzwCUDqt7zVOWR9pgOCohjBFxpKaMIZd7uZDS3t6Al 00:00 No access AQPoimKxH0OjSM2nrwEMvGZ4p1MPTVxM86qgLLo3WWrQcs 3k7q2AFxNgDU7wQR9AiODYnzhAvNv66EYk5CL JjC 00:00 No access AQPoimKxH0OjSM2nrwEMvGZ4p1MPTVxM86qgLLo3WWrQcs 3k7q2AFxNgDU7wQR9AiODYnzhAvNv66EYk5CL JjC 00:00 Movie Gen Video通过预训练 微调范式完成，在骨干网络架构上，它沿用了Transformer，特别是Llama3的许多设计。 • 预训练阶段 在海量的视频 文本和图像 文本数据集上进行联合训练，学习对视觉世界的理解。这个阶段的训练数据规模达到了O(100)M视频和O(1)B图像，用以学习运动、场景、物理、几何、音频等概念。 • 微调阶段 研究人员精心挑选了一小部分高质量视频进行有监督微调，以进一步提升生成视频的运动流畅度和美学品质。 为了进一步提高效果，模型还引入了流匹配（Flow Matching）作为训练目标，这使得视频生成的效果在精度和细节表现上优于扩散模型。 扩散模型通过从数据分布逐渐加入噪声，然后在推理时通过逆过程去除噪声来生成样本，用大量的迭代步数逐步逼近目标分布。 流匹配则是通过直接学习样本从噪声向目标数据分布转化的速度，模型只需通过估计如何在每个时间步中演化样本，即可生成高质量的结果。 与扩散模型相比，流匹配方法训练更加高效，计算成本更低，并且生成的结果在时间维度上具有更好的连续性和一致性。 在整体架构上，首先通过时空自编码器（Temporal AutoEncoder， TAE）将像素空间的RGB图像和视频压缩到一个时空潜空间，学习一种更加紧凑的表征。 接着，输入的文本提示被一系列预训练的文本编码器编码成向量表示，作为模型的条件信息。这里用到了多种互补的文本编码器，包括理解语义的编码器如UL2、与视觉对齐的编码器如Long prompt MetaCLIP，以及理解视觉文本的字符级编码器如ByT5。 最后，生成模型以Flow Matching的目标函数进行训练，从高斯分布采样的噪声向量作为输入，结合文本条件，生成一个输出潜码。这个潜码经过TAE解码，就得到最终的图像或视频输出。 此外Movie Gen Video在技术上还引入了多项创新： 为了让模型同时适配图像和视频，设计了一套因子化的可学习位置编码（factorized learnable positional embedding）机制。对高度、宽度、时间三个维度分别编码，再相加。这样即适配了不同宽高比，又能支持任意长度的视频。 针对推理效率问题，它采用了线性 二次时间步长调度（linear quadratic t schedule）策略。仅用50步就能逼近1000步采样的效果，大幅提升了推理速度。 为了进一步提高生成效率，Movie Gen Video模型还采用了基于时间平铺（temporal tiling）的推理方法。应对生成高分辨率长视频时，直接对整个视频进行编码和解码可能会遇到的内存限制问题。 在时间平铺推理中，输入视频在时间维度上被分割成多个片段，每个片段独立进行编码和解码，然后在输出时将所有片段重新拼接在一起。这种方法不仅降低了对内存的需求，还提高了推理的效率。 此外，在解码阶段使用了重叠和混合的方式来消除片段边界处的伪影问题，即通过在片段之间引入重叠区域，并对重叠区域进行加权平均，确保生成的视频在时间维度上保持平滑和一致。 另外Meta还开源了多个基准测试数据集，包括Movie Gen Video Bench、Movie Gen Edit Bench和Movie Gen Audio Bench，为后续研究者提供了权威的评测工具，有利于加速整个领域的进步。 这篇长达92页的论文还介绍了更多在架构、训练方法、数据管理、评估、并行训练和推理优化、以及音频模型的更多信息。 感兴趣的可到文末链接查看。 One More Thing AI视频生成这块，这两天热闹不断。 就在Meta发布Movie Gen之前不久，OpenAI Sora主创之一Tim Brooks跳槽谷歌DeepMind，继续视频生成和世界模拟器方面的工作。 这让很多人想到，就像当年谷歌迟迟不推出大模型应用，Transformer 8个作者纷纷出走。 现在OpenAI迟迟发布不了Sora，主要作者也跑了。 不过另外也有人认为，Tim Brooks选择现在离开，或许说明他在OpenAI的主要工作完成了，也让人开始猜测： Meta的发布会迫使OpenAI放出Sora来回应吗？ Meta的发布会迫使OpenAI放出Sora来回应吗？ （截至目前为止，Sora的另一位主创Bill Peebles还未发声。） 现在Meta放出了带有视频编辑功能的模型，再加上10月1日Pika 1.5更新，主打给视频中物体加上融化、膨胀、挤压等物理特效。 不难看出，AI视频生成下半场，要开始卷向AI视频编辑了。 还有一篇值得关注的一个论文https://arxiv.org/abs/2410.02746 CONTRASTIVE LOCALIZED LANGUAGE IMAGE PRE TRAINING 2410.02746v1.pdf 9.25MB 2410.02746v1.pdf 9.25MB CLIP（Contrastive Language Image Pretraining）： • CLIP 是一种将 图像 和 文本 进行对比学习的方法，训练模型来生成图像和文本的表示（embeddings）。它能够理解图像内容并与相应的文本描述进行匹配。CLIP 的训练数据通常是网络上爬取的、图像和文本的配对数据。 • 优点：CLIP 在多模态任务（图像和文本的结合任务）上有着出色的性能，特别是在全图范围内对齐图像和文本的表示。 • 不足：CLIP 主要是从图像的整体视角进行学习，这意味着它对细粒度的区域理解能力较弱。在需要更精细的局部信息时，比如特定区域的物体检测或引用接地，CLIP 的表现可能不够好。 CLOC（Contrastive Localization Language Image Pretraining）： • CLOC 是对 CLIP 的改进，旨在增强其区域级的视觉理解能力。它引入了新的机制，比如通过区域 文本对比损失来让模型理解图片中的细节区域，而不是仅仅看整个图片。 • 关键改进： a. CLOC 引入了 区域 文本对比损失，使得模型能够更好地对齐图像中的特定区域与文本描述。这可以帮助模型在区域级别做更精细的定位。 b. 提出了一个新的概念：可提示嵌入（promptable embeddings），这使得编码器能够在有提示（如指定区域）的情况下生成对应的区域表示。 c. 为了支持大规模的预训练，CLOC 设计了一个视觉丰富且空间定位的字幕框架，以生成大量的伪标签，从而更有效地训练模型。 a. CLOC 引入了 区域 文本对比损失，使得模型能够更好地对齐图像中的特定区域与文本描述。这可以帮助模型在区域级别做更精细的定位。 b. 提出了一个新的概念：可提示嵌入（promptable embeddings），这使得编码器能够在有提示（如指定区域）的情况下生成对应的区域表示。 c. 为了支持大规模的预训练，CLOC 设计了一个视觉丰富且空间定位的字幕框架，以生成大量的伪标签，从而更有效地训练模型。 核心区别： • CLIP 偏重于图像和文本的整体对齐，适合处理全图级别的任务； • CLOC 则更侧重于区域级别的对齐，能够增强对图像中局部区域的理解和定位，更适合那些需要更细粒度视觉信息的任务。 总结来说，CLIP 是整体的，CLOC 更关注细节。CLOC 提供了更强的区域识别能力，弥补了 CLIP 在细粒度视觉任务上的不足 论文地址： https://ai.meta.com/static resource/movie gen research paper 参考链接： [1]https://ai.meta.com/research/movie gen/ [2]https://x.com/AIatMeta/status/1842188252541043075 Meta发布Meta Movie Gen文生视频模型，Meta表示，这是“迄今为止最先进的媒体基础模型（Media Foundation Models）” 注意：模型未公开上线 https://ai.meta.com/research/movie gen/ ✍️ 媒体报道： 量子位：Meta版Sora无预警来袭！抛弃扩散模型，音视频生成/画面编辑全包，92页论文无保留公开 https://mp.weixin.qq.com/s/rs7JQigqHO9yT 0wbF6cTg 歸藏的 AI 工具：Meta 发布视频生成和编辑模型，来看看项目负责人的论文导读 https://mp.weixin.qq.com/s/BLXNgCW0vAHNZtHgd4623g 媒体报道： 量子位：Meta版Sora无预警来袭！抛弃扩散模型，音视频生成/画面编辑全包，92页论文无保留公开 https://mp.weixin.qq.com/s/rs7JQigqHO9yT 0wbF6cTg 歸藏的 AI 工具：Meta 发布视频生成和编辑模型，来看看项目负责人的论文导读 https://mp.weixin.qq.com/s/BLXNgCW0vAHNZtHgd4623g 论文： 92页的论文，架构、训练细节都公开 还有一篇值得关注的一个论文https://arxiv.org/abs/2410.02746 CONTRASTIVE LOCALIZED LANGUAGE IMAGE PRE TRAINING CLIP 偏重于图像和文本的整体对齐，适合处理全图级别的任务； CLOC 则更侧重于区域级别的对齐，能够增强对图像中局部区域的理解和定位，更适合那些需要更细粒度视觉信息的任务。 CLIP 是整体的，CLOC 更关注细节。CLOC 提供了更强的区域识别能力，弥补了 CLIP 在细粒度视觉任务上的不足 Sora有的它都有，可创建不同宽高比的高清长视频，支持1080p、16秒、每秒16帧。 Sora没有的它还有，能生成配套的背景音乐和音效、根据文本指令编辑视频，以及根据用户上传的图像生成个性化视频。 Text input summary: The camera is behind a man. The man is shirtless, wearing a green cloth around his waist. He is barefoot. With a fiery object in each hand, he creates wide circular motions. A calm sea is in the background. The atmosphere is mesmerizing, with the fire dance. 文字输入摘要：摄像机在一个人的后面。男子赤裸上身，腰间系着一块绿布。他赤着脚。他双手各握一个炽热的物体，做出大范围的圆周运动。背景是平静的大海。伴随着火舞，气氛令人着迷。 Text input summary: A fluffy koala bear surfs. It has a grey and white coat and a round nose. The surfboard is yellow. The koala bear is holding onto the surfboard with its paws. The koala bear’s facial expression is focused. The sun is shining. 文本输入摘要：一只毛茸茸的考拉熊在冲浪。它有灰白相间的皮毛和圆鼻子。冲浪板是黄色的。考拉熊用爪子抓住冲浪板。考拉熊的面部表情很专注。阳光明媚。 Text input summary: The camera is behind a man. The man is shirtless, wearing a green cloth around his waist. He is barefoot. With a fiery object in each hand, he creates wide circular motions. A calm sea is in the background. The atmosphere is mesmerizing, with the fire dance. 文字输入摘要：摄像机在一个人的后面。男子赤裸上身，腰间系着一块绿布。他赤着脚。他双手各握一个炽热的物体，做出大范围的圆周运动。背景是平静的大海。伴随着火舞，气氛令人着迷。 Text input summary: The camera is behind a man. The man is shirtless, wearing a green cloth around his waist. He is barefoot. With a fiery object in each hand, he creates wide circular motions. A calm sea is in the background. The atmosphere is mesmerizing, with the fire dance. 文字输入摘要：摄像机在一个人的后面。男子赤裸上身，腰间系着一块绿布。他赤着脚。他双手各握一个炽热的物体，做出大范围的圆周运动。背景是平静的大海。伴随着火舞，气氛令人着迷。 Text input summary: A fluffy koala bear surfs. It has a grey and white coat and a round nose. The surfboard is yellow. The koala bear is holding onto the surfboard with its paws. The koala bear’s facial expression is focused. The sun is shining. 文本输入摘要：一只毛茸茸的考拉熊在冲浪。它有灰白相间的皮毛和圆鼻子。冲浪板是黄色的。考拉熊用爪子抓住冲浪板。考拉熊的面部表情很专注。阳光明媚。 Text input summary: A fluffy koala bear surfs. It has a grey and white coat and a round nose. The surfboard is yellow. The koala bear is holding onto the surfboard with its paws. The koala bear’s faci