AIGC Weekly #68

AIGC Weekly 68 AIGC Weekly 68 报告内容非常丰富，可视化也做的很好，推荐看看。 探讨了人工智能领域的几个关键趋势。报告中特别强调了基础模型（foundation models）在AI发展中的核心地位，性能评估标准的下降可能预示着评估方式或技术进步的变化，AI技术相关成本的急剧上升，以及美国在全球AI领域的领先地位，其影响力远超其他国家。 • 截止到 2023 年底，AI 在很多任务上都超越了人类； • 前沿大模型的价格正在变得越来越昂贵； • 美国大幅领先中国、欧盟和英国，成为了顶级 AI 模型的主要来源国； • 针对 LLM 的安全与标准化评估严重缺乏； • 全球对生成式 AI 的投资急剧增加； • 数据显示 AI 使员工更有生产力，并提高了工作质量； • 得益于 AI 的快速发展，科学进步进一步加速； • 美国对 AI 的合规条例数量急剧增加； • 随着全球各地的人们对 AI 的潜在影响了解越多，担忧也就越多。 Anthropic的可解释性团队月刊 发现个好东西，Anthropic的可解释性团队每个月都会出一篇内容。介绍他们发现的在 LLM 领域可能有价值的研究和想法。内容都比较前沿，很多只有一些小点，不值得写论文的都会被记录在这里。 比如三月份的内容主要是： 用字典学习技术在Othello游戏训练的模型中探索电路发现，以及研究Transformer层实现复杂布尔逻辑功能的可能性。 激活贴片技术及其更高效的替代技术——归因贴片技术，这些技术帮助将行为具体定位到大型语言模型的特定部件。 还涉及到语言模型中的自我修复现象，即模型中的某些部件能够在其他部件失效时进行补偿，保证模型输出的整体准确性。这种自我修复能力与神经网络中LayerNorm组件的非线性特性有关。 人工智能引领服务即软件的范式转变 Foundation Capital 这篇文章的论点非常有意思。 他们认为AI公司正在颠覆SaaS平台的本质，即SaaS平台将会从软件即服务快速过度到服务即软件的范式。 在传统软件业务中,公司出售平台或工具的访问权限,但客户仍需要使用该工具来实现预期目标。 而在服务业务中,实现预期目标的责任则由销售服务的公司承担。 他们在文章中详细探讨了范式转变到服务即软件(或更 谷歌免发布一套长达 300 小时的机器学习工程师课程 谷歌免费发布了一套 15 门课长达 300 小时的机器学习工程师课程。涵盖了机器学习系统的设计、构建、投产、优化、运转和维护工作。 详细的学习内容有： • 机器学习基础：涵盖机器学习的基本原理和方法。 • 特征工程：探讨如何有效地处理和转换数据，以提高模型性能。 • 生产级机器学习系统：介绍如何将机器学习模型部署到生产环境中。 • 计算机视觉与自然语言处理：涉及图像和语言数据的分析和应用。 • 推荐系统：讨论如何构建个性化推荐引擎。 • MLOps：聚焦于机器学习操作的实践，包括模型的部署、监控和维护。 • TensorFlow、Google Cloud、VertexAI：介绍这些工具和平台如何支持机器学习项目的开发和部署。 视频生成的扩散模型 作者是正在 Open AI 工作的 Lilian Weng。强烈建议正在研究视频生成模型的人阅读。前提是你能看懂。用一篇文章详细介绍了从扩散模型到 Dit 模型和 3D U net涉及到的各种算法原理。 内容简介： 从头开始的视频生成建模 扩散模型已经在图像合成领域取得了很好的效果,现在研究界开始将其应用于更具挑战性的视频生成任务。 与图像相比,视频生成需要在时间维度上保持一致性,这就要求模型能够建模时序信息和更多的世界知识。此外,高质量的文本 视频配对数据也比图像数据更难大规模获取。 视频生成建模的一个基本思路是在时间维度上对帧施加高斯噪声,然后学习逆转这个添加噪声的过程以生成清晰的视频。 参数化和采样基础知识 在定义了视频生成的前向噪声添加过程后,可以用DDIM更新规则来逐步去噪并生成视频帧。 一个值得注意的技巧是使用v prediction参数化而不是直接预测噪声,这有助于避免视频生成过程中的颜色偏移问题。 对于条件视频生成,即根据给定视频生成新视频,一种有效的方法是重建指导采样。 具体来说,是将原始的去噪模型调整为以给定视频为条件,同时保留视频的内容和动态特征。 模型架构:3D U Net和DiT 视频生成模型的架构主要有两大类:基于U Net的卷积网络和基于Transformer的DiT。 其中一个代表性工作是将2D图像的U Net扩展到3D空时域并分解为空间和时间两个维度分别处理。在空间维度应用2D卷积和自注意力,在时间维度使用1D卷积和时序注意力。 这种分解处理能在一定程度上缓解计算开销,而添加的时序注意力模块则有助于提高生成视频的时间一致性。类似地,Imagen Video使用了一系列级联的3D U Net,通过时空超分辨率模块来分阶段提高视频的时空分辨率。另一种架构DiT则将输入视频分解为时空块,然后套用Transformer的自注意力和前馈操作。 将图像模型改编为生成视频 除了从头开始构建视频生成模型,另一种更常用的方法是将预训练的文本到图像扩散模型改造为支持视频生成。 这通常包括两个主要思路: 在视频数据上微调或无需训练的适配。微调方法一般是向预训练图像扩散模型中插入时空卷积/注意力层,并在视频数据上重新训练这些新增的时空模块。 例如Make A Video在预训练图像模型的基础上添加了时空卷积/注意力层,并利用跨帧注意力去提高视频连贯性。 Gen 1则考虑在视觉和时间两个维度分别建模视频的结构与内容。无需训练的适配思路则更有创意,如 Text2Video Zero 通过对潜码施加平移变换来引入运动动力学,并利用新的跨帧注意力替换原有的帧内自注意力以提高前景对象的一致性。而ControlVideo则进一步增强了跨帧交互,并提出了交错帧平滑和分层采样等改进。 Dwarkesh Patel 对扎克伯格的访谈 小扎表示，Meta AI发布了新版本Llama 3模型，计划集成Google和Bing并提供更多创作功能。AI发展将带来根本变化，提供创造性工具，但也带来风险。开源AI系统有助于保持力量均衡。马克讨论了开源对科技产业的积极影响，开发者的意义，以及开源的效益和挑战。他还提到了Meta公司的责任和关注点以及芯片的使用计划。 谈论的内容主要有： • Llama 3 • 向通用人工智能 (AGI) 的开源进展 • 定制化硅基芯片、合成数据及其对扩展性的能源制约 • 凯撒·奥古斯都、智能爆炸、生物武器、耗资100亿美元的模型等多项议题 约时报对 Anthropic CEO 的采访 纽约时报发布了对 Anthropic CEO 的采访，这个老哥很少接受采访，所以这个采访可以关注一下。 Amodei 分享他对不久的将来的预见，内容包括： 即将到来的技术突破有哪些？ 什么问题最令他担忧？ 在变革面前，适应能力较弱的社会应该如何准备？ 图表上那一抹曲线，又预示着什么？ 中文总结 Roberto Nickson对扎克伯格的访谈 在Roberto Nickson这个采访里谈论了Meta AI最新突破、AR眼镜未来、元宇宙发展及个人感悟。 Meta AI的最新进展和应用 Meta近期推出了新一代AI助手系统,整合了Llama 3语言模型,号称成为目前最智能的免费AI。新版Meta AI增加了许多实用功能,如实时知识整合、跨平台集成、实时图像生成等。扎克伯格表示,Meta AI未来将进一步与公司各产品深度整合,为用户在信息获取、内容创作等方面提供更强大的支持。 扎克伯格本人已是Meta AI的深度用户,每天数十次使用AI助手解决问题、获取信息。他预测不久的将来,Meta AI能为每一个创作者和企业提供量身定制的智能助手服务。除了工作,扎克伯格也喜欢利用AI与孩子们互动,一起探索创造的乐趣。 Ray Ban Stories智能眼镜与AR眼镜的未来 去年,Meta与著名眼镜品牌Ray Ban合作推出了智能眼镜Ray Ban Stories,集成了音频通话、音乐播放等实用功能,兼具时尚外观,成为广受好评的爆款产品。谈及AR眼镜的未来发展,扎克伯格认为下一代产品有望整合更强大的AI助手,可以实时回答佩戴者的问题,并在其视野中显示通知、呈现可视化信息。 Meta的最终目标是打造一款轻薄时尚、支持全息成像的AR眼镜,让用户佩戴起来就像普通眼镜一样自然舒适。扎克伯格坦言,实现这一理想仍需几代产品的迭代,但他对前景非常乐观。当被问及对元宇宙(Metaverse)的看法时,扎克伯格表示尽管发展仍处早期,但大势所趋,指日可待。他尤其看好下一代消费级脑机接口,有望通过佩戴在手腕的设备,读取神经信号来控制AR眼镜。 Meta Quest 3与Reality Labs的发展 今年是Meta收购Oculus十周年,其虚拟现实部门Reality Labs也已成立近三年。扎克伯格对团队的成果感到骄傲,最新推出的Mix Reality一体机Meta Quest 3代表了该领域的重大突破,综合性能全面领先于更昂贵的同类产品,有望成为首款走向主流市场的MR设备。 此外,Ray Ban Stories智能眼镜的第二代产品也获得了积极的市场反馈,销量远超预期。谈及Meta多年来在VR/MR领域的投入,扎克伯格坦言外界还存在不少质疑,但他对公司的技术积累和未来规划充满信心,相信随着产品体验的不断提升,市场和用户也将逐步认可其价值。 Sam Altman 和 Open AI 的 COO 接受了 VC20 的专访 OpenAI创始人Sam和Brad在采访中提到了AI发展策略、合作伙伴关系、决策过程以及模型改进的速度。他们认为创业公司应该押注在AI模型改进的前提下发展，并平衡技术进步和社会需求。OpenAI将继续推动科学进步，解决重大问题，包括癌症治疗，并专注于提高产品质量和推动科学研究。 重点研究 ✦ 微软发布VASA 1：图片及音频生成说话视频 微软这个VASA 1通过照片和声音生成人物说话视频的项目抢的有点离谱。从显示效果来看基本不存在瑕疵了。视频生成的技术瓶颈又一个被突破。 项目特点： • 可以捕捉到大量的情感和表情细微差别以及自然的头部动作，从而增强真实感和生动感。 • 支持接受可选信号作为条件，例如主眼注视方向和头部距离，以及情绪偏移。 • 能够处理超出训练分布的照片和音频输入。它可以处理艺术照片、歌唱音频和非英语语音。 • 支持表情和姿势的编辑。 • 在离线批处理模式下以每秒 45 帧的速度生成 512x512 大小的视频帧，在在线流模式下可支持高达每秒 40 帧的速度，之前的延迟时间仅为 170 毫秒。 Best fit Packing方法来减少不必要的文档截断 16 号的一个论文，提出用Best fit Packing方法优化语言模型训练,通过减少不必要的文档截断,最大程度保留原文完整性。 该方法在多个任务上取得显著性能提升,同时有效降低幻觉生成问题。 论文简介： • Best fit Packing方法来减少不必要的文档截断 • 作者提出了Best fit Packing方法来减少训练中的文档截断。该方法首先将长文档分割成最大长度的块,短文档则保持原样。 然后使用组合优化算法将这些文档块紧密地装箱成训练序列。通过这种方式,Best fit Packing避免了不必要的文档截断,在满足最大长度限制的前提下最大程度地保留了原文的完整性。 同时,通过算法优化,该方法实现了与连接再截断方法相当的训练效率,几乎没有额外开销。 • 通过数学模型分析截断对学习的影响 • 为了更好地理解截断对学习的影响,作者还构建了一个简化的随机过程模型。 通过理论推导,他们证明了即使在数据充足的情况下,在截断数据上训练的模型性能也会严格劣于在完整数据上训练的模型。进一步的分析表明,截断信息的影响程度取决于后续token与被截断token之间的相关性。 如果后续token与被截断的信息高度相关,则截断的负面影响会持续更长时间。 • Best fit Packing算法的具体步骤和优化 • Best fit Packing算法的核心是将文档装箱问题转化为一个组合优化问题。 作者证明了该问题的NP难度,因此采用了近似算法First/Best Fit Decreasing来获得次优解。 得益于文档长度分布的特点(大部分文档都远小于最大长度限制),作者进一步将算法的时间复杂度优化到了O(NlogL),其中N为文档数,L为最大长度。实验表明,优化后的算法在10亿量级的大规模文档数据上依然具有良好的线性可扩展性。 Dynamic Typography 文字标题动画解决方案 Dynamic Typography 这个文字标题动画解决方案针不戳。可以在对应的文字标题合适位置展示一个 SVG 动画增强标题的吸引力。 论文简介： 一个名为“动态排版（Dynamic Typography）”的自动化文字动画方案，它结合了变形字母表达语义和根据用户指令添加动态效果这两项技术难题。 我们的方法采用了矢量图形表示和端到端的优化框架，使用神经位移场技术将字母转换成基本形状，并配合逐帧动态效果，确保动画与文字的意图保持一致。 通过形状保持技术和感知损失正则化，我们确保了动画在整个制作过程中的可读性和结构完整性。 Meta 发布自己的图像模型蒸馏技术 Meta 除了 Llama3 之外还发布了他们在 Meta AI 中使用的图像生成蒸馏技术。通过三步的推理就可以生成跟原始模型一样质量的图像。 此方法包括三大核心技术： • 逆向蒸馏（Backward Distillation），此技术通过在模型自身的逆向路径上进行微调，以减少训练与推理间的差异； • 动态重构损失（Shifted Reconstruction Loss），这一策略能根据当前的时间步骤动态调整知识传递； • 噪声修正（Noise Correction），这是一种在推理阶段使用的技术，通过改善噪声预测的精确度来提升样本质量。 Stability Audio 的技术论文，用 DiT 架构生成音乐 通过对生成模型在长时间序列上的训练，能够创作出长达4分45秒的音乐作品。 模型采用了一种高度压缩的连续潜在表示，运用Diffusion Transformer 技术处理（潜在频率为21.5Hz）。根据音频质量和与输入提示的对齐程度等评价指标，这种模型达到了最新技术水平。 MagicClothing：AI 换装项目 MagicClothing 这个AI 换装的演示效果有点强啊。而且还可以与 ControlNet 和 IP Adapter 等其他技术结合使用。还是开源的，期待对应的 ComfUI 节点。 项目简介： 推出了一种名为 Magic Clothing 的新型网络架构，它基于潜在扩散模型（LDM）进行开发，专门处理一项新的图像合成任务——服装驱动的图像合成。 Anthropic的可解释性团队月刊 人工智能引领服务即软件的范式转变 谷歌免发布一套长达 300 小时的机器学习工程师课程 视频生成的扩散模型 Dwarkesh Patel 对扎克伯格的访谈 约时报对 Anthropic CEO 的采访 中文总结 Roberto Nickson对扎克伯格的访谈 Sam Altman 和 Open AI 的 COO 接受了 VC20 的专访 微软发布VASA 1：图片及音频生成说话视频 Best fit Packing方法来减少不必要的文档截断 Dynamic Typography 文字标题动画解决方案 Meta 发布自己的图像模型蒸馏技术 Stability Audio 的技术论文，用 DiT 架构生成音乐 MagicClothing：AI 换装项目 报告内容非常丰富，可视化也做的很好，推荐看看。 探讨了人工智能领域的几个关键趋势。报告中特别强调了基础模型（foundation models）在AI发展中的核心地位，性能评估标准的下降可能预示着评估方式或技术进步的变化，AI技术相关成本的急剧上升，以及美国在全球AI领域的领先地位，其影响力远超其他国家。 • 截止到 2023 年底，AI 在很多任务上都超越了人类； • 前沿大模型的价格正在变得越来越昂贵； • 美国大幅领先中国、欧盟和英国，成为了顶级 AI 模型的主要来源国； • 针对 LLM 的安全与标准化评估严重缺乏； • 全球对生成式 AI 的投资急剧增加； • 数据显示 AI 使员工更有生产力，并提高了工作质量； • 得益于 AI 的快速发展，科学进步进一步加速； • 美国对 AI 的合规条例数量急剧增加； • 随着全球各地的人们对 AI 的潜在影响了解越多，担忧也就越多。 Anthropic的可解释性团队月刊 Anthropic的可解释性团队月刊 发现个好东西，Anthropic的可解释性团队每个月都会出一篇内容。介绍他们发现的在 LLM 领域可能有价值的研究和想法。内容都比较前沿，很多只有一些小点，不值得写论文的都会被记录在这里。 比如三月份的内容主要是： 用字典学习技术在Othello游戏训练的模型中探索电路发现，以及研究Transformer层实现复杂布尔逻辑功能的可能性。 激活贴片技术及其更高效的替代技术——归因贴片技术，这些技术帮助将行为具体定位到大型语言模型的特定部件。 还涉及到语言模型中的自我修复现象，即模型中的某些部件能够在其他部件失效时进行补偿，保证模型输出的整体准确性。这种自我修复能力与神经网络中LayerNorm组件的非线性特性有关。 人工智能引领服务即软件的范式转变 人工智能引领服务即软件的范式转变 Foundation Capital 这篇文章的论点非常有意思。 他们认为AI公司正在颠覆SaaS平台的本质，即SaaS平台将会从软件即服务快速过度到服务即软件的范式。 在传统软件业务中,公司出售平台或工具的访问权限,但客户仍需要使用该工具来实现预期目标。 而在服务业务中,实现预期目标的责任则由销售服务的公司承担。 他们在文章中详细探讨了范式转变到服务即软件(或更 谷歌免发布一套长达 300 小时的机器学习工程师课程 谷歌免发布一套长达 300 小时的机器学习工程师课程 谷歌免费发布了一套 15 门课长达 300 小时的机器学习工程师课程。涵盖了机器学习系统的设计、构建、投产、优化、运转和维护工作。 详细的学习内容有： • 机器学习基础：涵盖机器学习的基本原理和方法。 • 特征工程：探讨如何有效地处理和转换数据，以提高模型性能。 • 生产级机器学习系统：介绍如何将机器学习模型部署到生产环境中。 • 计算机视觉与自然语言处理：涉及图像和语言数据的分析和应用。 • 推荐系统：讨论如何构建个性化推荐引擎。 • MLOps：聚焦于机器学习操作的实践，包括模型的部署、监控和维护。 • TensorFlow、Google Cloud、VertexAI：介绍这些工具和平台如何支持机器学习项目的开发和部署。 视频生成的扩散模型 视频生成的扩散模型 作者是正在 Open AI 工作的 Lilian Weng。强烈建议正在研究视频生成模型的人阅读。前提是你能看懂。用一篇文章详细介绍了从扩散模型到 Dit 模型和 3D U net涉及到的各种算法原理。 内容简介： 从头开始的视频生成建模 扩散模型已经在图像合成领域取得了很好的效果,现在研究界开始将其应用于更具挑战性的视频生成任务。 与图像相比,视频生成需要在时间维度上保持一致性,这就要求模型能够建模时序信息和更多的世界知识。此外,高质量的文本 视频配对数据也比图像数据更难大规模获取。 视频生成建模的一个基本思路是在时间维度上对帧施加高斯噪声,然后学习逆转这个添加噪声的过程以生成清晰的视频。 参数化和采样基础知识 在定义了视频生成的前向噪声添加过程后,可以用DDIM更新规则来逐步去噪并生成视频帧。 一个值得注意的技巧是使用v prediction参数化而不是直接预测噪声,这有助于避免视频生成过程中的颜色偏移问题。 对于条件视频生成,即根据给定视频生成新视频,一种有效的方法是重建指导采样。 具体来说,是将原始的去噪模型调整为以给定视频为条件,同时保留视频的内容和动态特征。 模型架构:3D U Net和DiT 视频生成模型的架构主要有两大类:基于U Net的卷积网络和基于Transformer的DiT。 其中一个代表性工作是将2D图像的U Net扩展到3D空时域并分解为空间和时间两个维度分别处理。在空间维度应用2D卷积和自注意力,在时间维度使用1D卷积和时序注意力。 这种分解处理能在一定程度上缓解计算开销,而添加的时序注意力模块则有助于提高生成视频的时间一致性。类似地,Imagen Video使用了一系列级联的3D U Net,通过时空超分辨率模块来分阶段提高视频的时空分辨率。另一种架构DiT则将输入视频分解为时空块,然后套用Transformer的自注意力和前馈操作。 将图像模型改编为生成视频 除了从头开始构建视频生成模型,另一种更常用的方法是将预训练的文本到图像扩散模型改造为支持视频生成。 这通常包括两个主要思路: 在视频数据上微调或无需训练的适配。微调方法一般是向预训练图像扩散模型中插入时空卷积/注意力层,并在视频数据上重新训练这些新增的时空模块。 例如Make A Video在预训练图像模型的基础上添加了时空卷积/注意力层,并利用跨帧注意力去提高视频连贯性。 Gen 1则考虑在视觉和时间两个维度分别建模视频的结构与内容。无需训练的适配思路则更有创意,如 Text2Video Zero 通过对潜码施加平移变换来引入运动动力学,并利用新的跨帧注意力替换原有的帧内自注意力以提高前景对象的一致性。而ControlVideo则进一步增强了跨帧交互,并提出了交错帧平滑和分层采样等改进。 Dwarkesh Patel 对扎克伯格的访谈 Dwarkesh Patel 对扎克伯格的访谈 小扎表示，Meta AI发布了新版本Llama 3模型，计划集成Google和Bing并提供更多创作功能。AI发展将带来根本变化，提供创造性工具，但也带来风险。开源AI系统有助于保持力量均衡。马克讨论了开源对科技产业的积极影响，开发者的意义，以及开源的效益和挑战。他还提到了Meta公司的责任和关注点以及芯片的使用计划。 谈论的内容主要有： • Llama 3 • 向通用人工智能 (AGI) 的开源进展 • 定制化硅基芯片、合成数据及其对扩展性的能源制约 • 凯撒·奥古斯都、智能爆炸、生物武器、耗资100亿美元的模型等多项议题 约时报对 Anthropic CEO 的采访 约时报对 Anthropic CEO 的采访 纽约时报发布了对 Anthropic CEO 的采访，这个老哥很少接受采访，所以这个采访可以关注一下。 Amodei 分享他对不久的将来的预见，内容包括： 即将到来的技术突破有哪些？ 什么问题最令他担忧？ 在变革面前，适应能力较弱的社会应该如何准备？ 图表上那一抹曲线，又预示着什么？ 中文总结 中文总结 Roberto Nickson对扎克伯格的访谈 Roberto Nickson对扎克伯格的访谈 在Roberto Nickson这个采访里谈论了Meta AI最新突破、AR眼镜未来、元宇宙发展及个人感悟。 Meta AI的最新进展和应用 Meta近期推出了新一代AI助手系统,整合了Llama 3语言模型,号称成为目前最智能的免费AI。新版Meta AI增加了许多实用功能,如实时知识整合、跨平台集成、实时图像生成等。扎克伯格表示,Meta AI未来将进一步与公司各产品深度整合,为用户在信息获取、内容创作等方面提供更强大的支持。 扎克伯格本人已是Meta AI的深度用户,每天数十次使用AI助手解决问题、获取信息。他预测不久的将来,Meta AI能为每一个创作者和企业提供量身定制的智能助手服务。除了工作,扎克伯格也喜欢利用AI与孩子们互动,一起探索创造的乐趣。 Ray Ban Stories智能眼镜与AR眼镜的未来 去年,Meta与著名眼镜品牌Ray Ban合作推出了智能眼镜Ray Ban Stories,集成了音频通话、音乐播放等实用功能,兼具时尚外观,成为广受好评的爆款产品。谈及AR眼镜的未来发展,扎克伯格认为下一代产品有望整合更强大的AI助手,可以实时回答佩戴者的问题,并在其视野中显示通知、呈现可视化信息。 Meta的最终目标是打造一款轻薄时尚、支持全息成像的AR眼镜,让用户佩戴起来就像普通眼镜一样自然舒适。扎克伯格坦言,实现这一理想仍需几代产品的迭代,但他对前景非常乐观。当被问及对元宇宙(Metaverse)的看法时,扎克伯格表示尽管发展仍处早期,但大势所趋,指日可待。他尤其看好下一代消费级脑机接口,有望通过佩戴在手腕的设备,读取神经信号来控制AR眼镜。 Meta Quest 3与Reality Labs的发展 今年是Meta收购Oculus十周年,其虚拟现实部门Reality Labs也已成立近三年。扎克伯格对团队的成果感到骄傲,最新推出的Mix Reality一体机Meta Quest 3代表了该领域的重大突破,综合性能全面领先于更昂贵的同类产品,有望成为首款走向主流市场的MR设备。 此外,Ray Ban Stories智能眼镜的第二代产品也获得了积极的市场反馈,销量远超预期。谈及Meta多年来在VR/MR领域的投入,扎克伯格坦言外界还存在不少质疑,但他对公司的技术积累和未来规划充满信心,相信随着产品体验的不断提升,市场和用户也将逐步认可其价值。 Sam Altman 和 Open AI 的 COO 接受了 VC20 的专访 Sam Altman 和 Open AI 的 COO 接受了 VC20 的专访 OpenAI创始人Sam和Brad在采访中提到了AI发展策略、合作伙伴关系、决策过程以及模型改进的速度。他们认为创业公司应该押注在AI模型改进的前提下发展，并平衡技术进步和社会需求。OpenAI将继续推动科学进步，解决重大问题，包括癌症治疗，并专注于提高产品质量和推动科学研究。 重点研究 ✦ 微软发布VASA 1：图片及音频生成说话视频 微软发布VASA 1：图片及音频生成说话视频 微软这个VASA 1通过照片和声音生成人物说话视频的项目抢的有点离谱。从显示效果来看基本不存在瑕疵了。视频生成的技术瓶颈又一个被突破。 项目特点： • 可以捕捉到大量的情感和表情细微差别以及自然的头部动作，从而增强真实感和生动感。 • 支持接受可选信号作为条件，例如主眼注视方向和头部距离，以及情绪偏移。 • 能够处理超出训练分布的照片和音频输入。它可以处理艺术照片、歌唱音频和非英语语音。 • 支持表情和姿势的编辑。 • 在离线批处理模式下以每秒 45 帧的速度生成 512x512 大小的视频帧，在在线流模式下可支持高达每秒 40 帧的速度，之前的延迟时间仅为 170 毫秒。 Best fit Packing方法来减少不必要的文档截断 Best fit Packing方法来减少不必要的文档截断 16 号的一个论文，提出用Best fit Packing方法优化语言模型训练,通过减少不必要的文档截断,最大程度保留原文完整性。 该方法在多个任务上取得显著性能提升,同时有效降低幻觉生成问题。 论文简介： • Best fit Packing方法来减少不必要的文档截断 • 作者提出了Best fit Packing方法来减少训练中的文档截断。该方法首先将长文档分割成最大长度的块,短文档则保持原样。 然后使用组合优化算法将这些文档块紧密地装箱成训练序列。通过这种方式,Best fit Packing避免了不必要的文档截断,在满足最大长度限制的前提下最大程度地保留了原文的完整性。 同时,通过算法优化,该方法实现了与连接再截断方法相当的训练效率,几乎没有额外开销。 • 通过数学模型分析截断对学习的影响 • 为了更好地理解截断对学习的影响,作者还构建了一个简化的随机过程模型。 通过理论推导,他们证明了即使在数据充足的情况下,在截断数据上训练的模型性能也会严格劣于在完整数据上训练的模型。进一步的分析表明,截断信息的影响程度取决于后续token与被截断token之间的相关性。 如果后续token与被截断的信息高度相关,则截断的负面影响会持续更长时间。 • Best fit Packing算法的具体步骤和优化 • Best fit Packing算法的核心是将文档装箱问题转化为一个组合优化问题。 作者证明了该问题的NP难度,因此采用了近似算法First/Best Fit Decreasing来获得次优解。 得益于文档长度分布的特点(大部分文档都远小于最大长度限制),作者进一步将算法的时间复杂度优化到了O(NlogL),其中N为文档数,L为最大长度。实验表明,优化后的