Sora：大型视觉模型的背景、技术、局限性和机遇综述 【官方论文】

Sora：大型视觉模型的背景、技术、局限性和机遇综述 【官方论文】 Sora：大型视觉模型的背景、技术、局限性和机遇综述 【官方论文】 [111] Y. Huang, J. Shi, Y. Li, C. Fan, S. Wu, Q. Zhang, Y. Liu, P. Zhou, Y. Wan, N. Z. Gong, 等，“大型语言模型的Metatool基准：决定是否使用工具以及使用哪种工具”，arXiv预印本arXiv:2310.03128，2023。 [112] F. Liu, K. Lin, L. Li, J. Wang, Y. Yacoob, 和 L. Wang, “通过强健指令调整减轻大型多模态模型中的幻觉”，2023。 [113] L. Wang, J. He, S. Li, N. Liu, 和 E. P. Lim, “通过用标题重写微调大型视觉 语言模型来减轻细粒度幻觉”，在国际多媒体建模会议上，第32 45页，Springer，2024。 [114] Y. Zhou, C. Cui, J. Yoon, L. Zhang, Z. Deng, C. Finn, M. Bansal, 和 H. Yao, “分析和减轻大型视觉 语言模型中的对象幻觉”，arXiv预印本arXiv:2310.00754，2023。 [115] I. O. Gallegos, R. A. Rossi, J. Barrow, M. M. Tanjim, S. Kim, F. Dernoncourt, T. Yu, R. Zhang, 和 N. K. Ahmed, “大型语言模型中的偏见和公平性：一项调查”，arXiv预印本arXiv:2309.00770，2023。 [116] J. Zhang, K. Bao, Y. Zhang, W. Wang, F. Feng, 和 X. He, “ChatGPT对推荐公平吗？评估大型语言模型推荐中的公平性”，arXiv预印本arXiv:2305.07609，2023。 [117] Y. Liang, L. Cheng, A. Payani, 和 K. Shu, “超越检测：揭示辱骂性语言模型中的公平性漏洞”，2023。 [118] F. Friedrich, P. Schramowski, M. Brack, L. Struppek, D. Hintersdorf, S. Luccioni, 和 K. Kersting, “公平扩散：指导文本到图像生成模型关于公平性”，arXiv预印本arXiv:2302.10893，2023。 [119] R. Liu, C. Jia, J. Wei, G. Xu, L. Wang, 和 S. Vosoughi, “通过加强校准减轻语言模型中的政治偏见”，人工智能会议论文集，第35卷，第14857 14866页，2021年5月。 [120] R. K. Mahabadi, Y. Belinkov, 和 J. Henderson, “通过在语料库中建模偏见来实现端到端的偏见缓解”，2020。 [121] N. Mireshghallah, H. Kim, X. Zhou, Y. Tsvetkov, M. Sap, R. Shokri, 和 Y. Choi, “LLMs能保守秘密吗？通过情境完整性理论测试语言模型的隐私影响”，arXiv预印本arXiv:2310.17884，2023。 [122] R. Plant, V. Giuffrida, 和 D. Gkatzia, “你写什么就是什么：在大型语言模型时代保护隐私”，arXiv预印本arXiv:2204.09391，2022。 [123] H. Li, Y. Chen, J. Luo, Y. Kang, X. Zhang, Q. Hu, C. Chan, 和 Y. Song, “大型语言模型中的隐私：攻击、防御和未来方向”，2023。[124] R. Bommasani, D. A. Hudson, E. Adeli, R. Altman, S. Arora, S. von Arx, M. S. Bernstein, J. Bohg, A. Bosselut, E. Brunskill, E. Brynjolfsson, S. Buch, D. Card, R. Castellon, N. Chatterji, A. Chen, K. Creel, J. Q. Davis, D. Demszky, C. Donahue, M. Doumbouya, E. Durmus, S. Ermon, J. Etchemendy, K. Ethayarajh, L. Fei Fei, C. Finn, T. Gale, L. Gillespie, K. Goel, N. Goodman, S. Grossman, N. Guha, T. Hashimoto, P. Henderson, J. Hewitt, D. E. Ho, J. Hong, K. Hsu, J. Huang, T. Icard, S. Jain, D. Jurafsky, P. Kalluri, S. Karamcheti, G. Keeling, F. Khani, O. Khattab, P. W. Koh, M. Krass, R. Krishna, R. Kuditipudi, A. Kumar, F. Ladhak, M. Lee, T. Lee, J. Leskovec, I. Levent, X. L. Li, X. Li, T. Ma, A. Malik, C. D. Manning, S. Mirchandani, E. Mitchell, Z. Munyikwa, S. Nair, A. Narayan, D. Narayanan, B. Newman, A. Nie, J. C. Niebles, H. Nilforoshan, J. Nyarko, G. Ogut, L. Orr, I. Papadimitriou, J. S. Park, C. Piech, E. Portelance, C. Potts, A. Raghunathan, R. Reich, H. Ren, F. Rong, Y. Roohani, C. Ruiz, J. Ryan, C. Ré, D. Sadigh, S. Sagawa, K. Santhanam, A. Shih, K. Srinivasan, A. Tamkin, R. Taori, A. W. Thomas, F. Tramèr, R. E. Wang, W. Wang, B. Wu, J. Wu, Y. Wu, S. M. Xie, M. Yasunaga, J. You, M. Zaharia, M. Zhang, T. Zhang, X. Zhang, Y. Zhang, L. Zheng, K. Zhou, 和 P. Liang, “关于基础模型的机遇与风险”，2022年。 [125] T. Shen, R. Jin, Y. Huang, C. Liu, W. Dong, Z. Guo, X. Wu, Y. Liu, 和 D. Xiong, “大型语言模型对齐：一项调查”，arXiv预印本arXiv:2309.15025，2023年。 [126] X. Liu, X. Lei, S. Wang, Y. Huang, Z. Feng, B. Wen, J. Cheng, P. Ke, Y. Xu, W. L. Tam, X. Zhang, L. Sun, H. Wang, J. Zhang, M. Huang, Y. Dong, 和 J. Tang, “Alignbench：大型语言模型中文对齐的基准测试”，2023年。 [127] P. Christiano, J. Leike, T. B. Brown, M. Martic, S. Legg, 和 D. Amodei, “基于人类偏好的深度强化学习”，2023年。 [128] T. Yu, Y. Yao, H. Zhang, T. He, Y. Han, G. Cui, J. Hu, Z. Liu, H. T. Zheng, M. Sun, 和 T. S. Chua, “RLHF V：通过细粒度校正人类反馈实现可信赖的MLLMs行为对齐”，2023年。 [129] M. S. Jahan 和 M. Oussalah, “使用自然语言处理进行仇恨言论自动检测的系统综述。”，《神经计算》，第126232页，2023年。 [130] OpenAI, “Sora安全。”https://openai.com/sora safety，2024年。 [131] Z. Fei, X. Shen, D. Zhu, F. Zhou, Z. Han, S. Zhang, K. Chen, Z. Shen, 和 J. Ge, “Lawbench：大型语言模型的法律知识基准测试”，arXiv预印本arXiv:2309.16289，2023年。 [132] Y. Li, Y. Huang, Y. Lin, S. Wu, Y. Wan, 和 L. Sun, “我思故我在：使用Awarebench对大型语言模型的意识进行基准测试”，2024年。 [133] J. Zhu, H. Yang, H. He, W. Wang, Z. Tuo, W. H. Cheng, L. Gao, J. Song, 和 J. Fu, “MovieFactory：使用大型生成模型从文本自动创建电影”，arXiv预印本arXiv:2306.07257，2023年。 [134] J. Zhu, H. Yang, W. Wang, H. He, Z. Tuo, Y. Yu, W. H. Cheng, L. Gao, J. Song, J. Fu, 等，“MobileVidFactory：从文本为移动设备自动生成基于扩散的社交媒体视频”，在第31届ACM国际多媒体会议论文集中，第9371 9373页，2023年。 [135] S. Zhuang, K. Li, X. Chen, Y. Wang, Z. Liu, Y. Qiao, 和 Y. Wang, “Vlogger：让你的梦想成为视频日志”，arXiv预印本arXiv:2401.09414，2024年。 [136] R. Feng, W. Weng, Y. Wang, Y. Yuan, J. Bao, C. Luo, Z. Chen, 和 B. Guo, “CCEdit：通过扩散模型进行创意和可控的视频编辑”，arXiv预印本arXiv:2309.16496，2023年。 [137] J. Xing, M. Xia, Y. Liu, Y. Zhang, Y. Zhang, Y. He, H. Liu, H. Chen, X. Cun, X. Wang, 等，“Make your video：使用文本和结构指导定制视频生成”，arXiv预印本arXiv:2306.00943，2023年。 [138] Y. Guo, C. Yang, A. Rao, Y. Wang, Y. Qiao, D. Lin, 和 B. Dai, “AnimateDiff：无需特定调整即可动画化你的个性化文本到图像扩散模型”，arXiv预印本arXiv:2307.04725，2023年。 [139] Y. He, M. Xia, H. Chen, X. Cun, Y. Gong, J. Xing, Y. Zhang, X. Wang, C. Weng, Y. Shan, 等，“Animate a story：通过检索增强的视频生成进行讲故事”，arXiv预印本arXiv:2307.06940，2023年。 [140] H. Ni, C. Shi, K. Li, S. X. Huang, 和 M. R. Min, “使用潜在流扩散模型的条件图像到视频生成”，在IEEE/CVF计算机视觉与模式识别会议论文集中，第18444 18455页，2023年。 [141] L. Hu, X. Gao, P. Zhang, K. Sun, B. Zhang, 和 L. Bo, “Animate anyone：一致且可控的图像到视频合成用于角色动画”，arXiv预印本arXiv:2311.17117，2023年。 [142] Y. Hu, C. Luo, 和 Z. Chen, “让它动起来：可控的图像到视频生成与文本描述”，在IEEE/CVF计算机视觉与模式识别会议论文集中，第18219 18228页，2022年。 [143] K. Mei 和 V. Patel, “Vidm：视频隐式扩散模型”，在人工智能AAAI会议论文集中，第37卷，第9117 9125页，2023年。 [144] S. Yu, K. Sohn, S. Kim, 和 J. Shin, “投影潜在空间中的视频概率扩散模型”，在IEEE/CVF计算机视觉与模式识别会议论文集中，第18456 18466页，2023年。 [145] K. Su, K. Qian, E. Shlizerman, A. Torralba, 和 C. Gan, “物理驱动的扩散模型用于从视频合成撞击声音”，在IEEE/CVF计算机视觉与模式识别会议论文集中，第9749 9759页，2023年。 [146] S. Li, W. Dong, Y. Zhang, F. Tang, C. Ma, O. Deussen, T. Y. Lee, 和 C. Xu, “使用基于编码器的文本反转扩散模型的舞蹈到音乐生成”，arXiv预印本arXiv:2401.17800，2024年。 [147] A. Awasthi, J. Nizam, S. Zare, S. Ahmad, M. J. Montalvo, N. Varadarajan, B. Roysam, 和 H. V. Nguyen, “用于凋亡预测的视频扩散模型”，bioRxiv，第2023 11页，2023年。 [148] A. Bozorgpour, Y. Sadegheih, A. Kazerouni, R. Azad, 和 D. Merhof, “Dermosegdiff：用于皮肤病变勾画的边界感知分割扩散模型”，在PRe预测智能医学国际研讨会论文集中，第146 158页，Springer，2023年。 [149] A. Flaborea, L. Collorone, G. M. D. di Melendugno, S. D’Arrigo, B. Prenkaj, 和 F. Galasso, “多模态运动条件扩散模型用于基于骨架的视频异常检测”，在IEEE/CVF国际计算机视觉会议论文集中，第10318 10329页，2023年。 [150] J. Wu, R. Fu, H. Fang, Y. Zhang, 和 Y. Xu, “Medsegdiff v2：基于扩散的医学图像分割与变压器”，arXiv预印本arXiv:2301.11798，2023年。[151] G. J. Chowdary和Z. Yin，“用于医学图像分割的扩散变换器U Net”，在国际医学图像计算和计算机辅助干预会议上，第622 631页，Springer，2023年。 [152] I. Kapelyukh, V. Vosylius和E. Johns，“Dall e bot：将网络规模扩散模型引入机器人技术”，IEEE机器人与自动化信函，2023年。 [153] W. Liu, T. Hermans, S. Chernova和C. Paxton，“Structdiffusion：面向对象的扩散用于新颖对象的语义重排”，在CoRL 2022的语言与机器人学研讨会上，2022年。 [154] M. Janner, Y. Du, J. B. Tenenbaum和S. Levine，“计划与扩散：灵活行为合成的规划”，arXiv预印本arXiv:2205.09991，2022年。 [155] A. Ajay, Y. Du, A. Gupta, J. Tenenbaum, T. Jaakkola和P. Agrawal，“条件生成建模是决策所需的全部吗？”，arXiv预印本arXiv:2211.15657，2022年。 [156] J. Carvalho, A. T. Le, M. Baierl, D. Koert和J. Peters，“运动规划扩散：用扩散模型学习和规划机器人运动”，在2023 IEEE/RSJ国际智能机器人与系统会议（IROS）上，第1916 1923页，IEEE，2023年。 [157] X. Gu, C. Wen, J. Song和Y. Gao，“Seer：用潜在扩散模型进行语言指导的视频预测”，arXiv预印本arXiv:2303.14897，2023年。 [158] Z. Chen, S. Kiami, A. Gupta和V. Kumar，“Genaug：通过生成增强将行为重定向到未见情境”，arXiv预印本arXiv:2302.06671，2023年。 [159] Z. Mandi, H. Bharadhwaj, V. Moens, S. Song, A. Rajeswaran和V. Kumar，“Cacti：一个可扩展的多任务多场景视觉模仿学习框架”，arXiv预印本arXiv:2212.05711，2022年。 [160] T. Chen, L. Li, S. Saxena, G. Hinton和D. J. Fleet，“全景分割图像和视频的通用框架”，在IEEE/CVF国际计算机视觉会议论文集中，第909 919页，2023年。 [161] W. Harvey, S. Naderiparizi, V. Masrani, C. Weilbach和F. Wood，“长视频的灵活扩散建模”，在神经信息处理系统进展中，第35卷，第27953 27965页，2022年。 [162] A. Gupta, S. Tian, Y. Zhang, J. Wu, R. Martín Martín和L. Fei Fei，“Maskvit：视频预测的遮罩视觉预训练”，arXiv预印本arXiv:2206.11894，2022年。 [163] W. Hong, M. Ding, W. Zheng, X. Liu和J. Tang，“Cogvideo：通过变换器进行大规模文本到视频生成的预训练”，arXiv预印本arXiv:2205.15868，2022年。 [164] U. Singer, A. Polyak, T. Hayes, X. Yin, J. An, S. Zhang, Q. Hu, H. Yang, O. Ashual, O. Gafni等，“Make a video：无文本视频数据的文本到视频生成”，arXiv预印本arXiv:2209.14792，2022年。 [165] D. Zhou, W. Wang, H. Yan, W. Lv, Y. Zhu和J. Feng，“Magicvideo：用潜在扩散模型高效视频生成”，arXiv预印本arXiv:2211.11018，2022年。 [166] S. Ge, T. Hayes, H. Yang, X. Yin, G. Pang, D. Jacobs, J. B. Huang和D. Parikh，“用时间不变的VQGAN和时间敏感的变换器生成长视频”，在欧洲计算机视觉会议上，第102 118页，Springer，2022年。 [167] R. Villegas, M. Babaeizadeh, P. J. Kindermans, H. Moraldo, H. Zhang, M. T. Saffar, S. Castro, J. Kunze和D. Erhan，“Phenaki：从开放域文本描述生成可变长度视频”，arXiv预印本arXiv:2210.02399，2022年。 [168] P. Esser, J. Chiu, P. Atighehchian, J. Granskog和A. Germanidis，“用扩散模型引导的结构和内容视频合成”，在IEEE/CVF国际计算机视觉会议论文集中，第7346 7356页，2023年。 [169] L. Khachatryan, A. Movsisyan, V. Tadevosyan, R. Henschel, Z. Wang, S. Navasardyan和H. Shi，“Text2video zero：文本到图像扩散模型是零次视频生成器”，arXiv预印本arXiv:2303.13439，2023年。 [170] Z. Luo, D. Chen, Y. Zhang, Y. Huang, L. Wang, Y. Shen, D. Zhao, J. Zhou和T. Tan，“Videofusion：用于高质量视频生成的分解扩散模型”，在IEEE/CVF计算机视觉与模式识别会议论文集中，第10209 10218页，2023年。 [171] A. Jabri, D. Fleet和T. Chen，“可扩展的自适应计算用于迭代生成”，arXiv预印本arXiv:2212.11972，2022年。 [172] L. Lian, B. Shi, A. Yala, T. Darrell和B. Li，“以LLM为基础的视频扩散模型”，arXiv预印本arXiv:2309.17444，2023年。 [173] E. Molad, E. Horwitz, D. Valevski, A. R. Acha, Y. Matias, Y. Pritch, Y. Leviathan和Y. Hoshen，“Dreamix：视频扩散模型是通用视频编辑器”，arXiv预印本arXiv:2302.01329，2023年。 [174] J. H. Liew, H. Yan, J. Zhang, Z. Xu和J. Feng，“Magicedit：高保真和时间连贯的视频编辑”，arXiv预印本arXiv:2308.14749，2023年。 [175] W. Chen, J. Wu, P. Xie, H. Wu, J. Li, X. Xia, X. Xiao和L. Lin，“Control a video：用扩散模型进行可控文本到视频生成”，arXiv预印本arXiv:2305.13840，2023年。 [176] W. Chai, X. Guo, G. Wang和Y. Lu，“Stablevideo：文本驱动的一致性感知扩散视频编辑”，在IEEE/CVF国际计算机视觉会议论文集中，第23040 23050页，2023年。 [177] S. Yang, Y. Zhou, Z. Liu和C. C. Loy，“重新渲染视频：零次文本引导的视频到视频翻译”，arXiv预印本arXiv:2306.07954，2023年。 [178] D. Ceylan, C. H. P. Huang和N. J. Mitra，“Pix2video：使用图像扩散进行视频编辑”，在IEEE/CVF国际计算机视觉会议论文集中，第23206 23217页，2023年。 [179] B. Qin, J. Li, S. Tang, T. S. Chua和Y. Zhuang，“Instructvid2vid：用自然语言指令进行可控视频编辑”，arXiv预印本arXiv:2305.12328，2023年。 [180] D. Liu, Q. Li, A. D. Dinh, T. Jiang, M. Shah和C. Xu，“扩散动作分割”，在IEEE/CVF国际计算机视觉会议论文集中，第10139 10149页，2023年。 [181] R. Feng, Y. Gao, T. H. E. Tse, X. Ma和H. J. Chang，“Diffpose：基于视频的人体姿态估计的时空扩散模型”，在IEEE/CVF国际计算机视觉会议论文集中，第14861 14872页，2023年。[182] 余L., 程Y., 宋K., 莱扎马J., 张H., 常H., 郝A.G., 杨M. H., 郝Y., 艾萨I.等，“Magvit: 掩蔽式生成视频变换器”，在IEEE/CVF计算机视觉与模式识别会议论文集中，第10459 10469页，2023年。 [183] 李Z., 塔克R., 斯纳夫利N., 和霍林斯基A., “生成图像动态”，arXiv预印本arXiv:2309.07906，2023年。 [184] EasyWithAI, “Zeroscope AI文本到视频模型。”https://easywithai.com/ai video generators/zeroscope/，2023年。 [185] 吉尔达R., 辛格M., 布朗A., 杜瓦尔Q., 阿扎迪S., 拉姆巴特拉S.S., 沙阿A., 尹X., 帕里克D.和米斯拉I., “Emu视频：通过显式图像条件分解文本到视频生成”，arXiv预印本arXiv:2311.10709，2023年。 [186] 曾Y., 魏G., 郑J., 邹J., 魏Y., 张Y.和李H., “让像素跳舞：高动态视频生成”，arXiv预印本arXiv:2311.10982，2023年。 [187] 古普塔A., 余L., 宋K., 顾X., 汉M., 费 费L., 艾萨I., 江L.和莱扎马J., “使用扩散模型的逼真视频生成”，arXiv预印本arXiv:2312.06662，2023年。 [188] 吴B., 莊C. Y., 王X., 贾Y., 克里希纳库马尔K., 肖T., 梁F., 余L.和瓦贾P., “Fairy: 快速并行化指导视频到视频合成”，arXiv预印本arXiv:2312.13834，2023年。 [189] 康德拉秋克D., 余L., 顾X., 莱扎马J., 黄J., 霍恩宁R., 亚当H., 阿克巴里H., 阿隆Y., 比罗德卡V.等，“VideoPoet: 一个用于零样本视频生成的大型语言模型”，arXiv预印本arXiv:2312.14125，2023年。 [190] 吴J., 李X., 司C., 周S., 杨J., 张J., 李Y., 陈K., 童Y., 刘Z.等，“通过多模态大型语言模型实现面向语言的视频修复”，arXiv预印本arXiv:2401.10226，2024年。 [191] 巴 塔尔O., 舍弗H., 托夫O., 赫尔曼C., 帕斯R., 扎达S., 埃弗拉特A., 胡尔J., 李Y., 迈克尔T.等，“Lumiere: 一个用于视频生成的时空扩散模型”，arXiv预印本arXiv:2401.12945，2024年。 相关工作 我们在表1中展示了一些与视频生成任务相关的工作。 表1：视频生成概述。 模型名称 年份 基础架构 任务 组织 Imagen Video[29] 2022 扩散 生成 Google [111] Y. Huang, J. Shi, Y. Li, C. Fan, S. Wu, Q. Zhang, Y. Liu, P. Zhou, Y. Wan, N. Z. Gong, 等，“大型语言模型的Metatool基准：决定是否使用工具以及使用哪种工具”，arXiv预印本arXiv:2310.03128，2023。 [112] F. Liu, K. Lin, L. Li, J. Wang, Y. Yacoob, 和 L. Wang, “通过强健指令调整减轻大型多模态模型中的幻觉”，2023。 [113] L. Wang, J. He, S. Li, N. Liu, 和 E. P. Lim, “通过用标题重写微调大型视觉 语言模型来减轻细粒度幻觉”，在国际多媒体建模会议上，第32 45页，Springer，2024。 [114] Y. Zhou, C. Cui, J. Yoon, L. Zhang, Z. Deng, C. Finn, M. Bansal, 和 H. Yao, “分析和减轻大型视觉 语言模型中的对象幻觉”，arXiv预印本arXiv:2310.00754，2023。 [115] I. O. Gallegos, R. A. Rossi, J. Barrow, M. M. Tanjim, S. Kim, F. Dernoncourt, T. Yu, R. Zhang, 和 N. K. Ahmed, “大型语言模型中的偏见和公平性：一项