2024 北京智源大会 图文直播

2024 北京智源大会 图文直播 2024 北京智源大会 图文直播 思考模型就类似给它一个说明书，就会自动读说明书。 思考模型就类似给它一个说明书，就会自动读说明书。 每一代的工业革命的核心技术都有很强的通用性 3.3 尖峰对话：通往 AGI 之路 对话嘉宾: • 王小川 | 百川智能CEO • 张 鹏 | 智谱AI CEO • 杨植麟 | 月之暗面CEO • 李大海 | 面壁智能CEO 对话嘉宾: • 王小川 | 百川智能CEO • 张 鹏 | 智谱AI CEO • 杨植麟 | 月之暗面CEO • 李大海 | 面壁智能CEO 关于 AGI 的观点 • 王小川： ◦ 光有Scaling Law 还不够 ◦ 我评价 AGI 形象化映射是 AI能不能造出医生（智力密度高、有推理能力、降低幻觉） ◦ 光有Scaling Law 还不够 ◦ 我评价 AGI 形象化映射是 AI能不能造出医生（智力密度高、有推理能力、降低幻觉） • 李大海： ◦ 系统 1 是目前做得比较多的，系统 2 的慢思考是下一步值得做的，如 Agent ◦ 从经济学角度来定义，边际成本降低到 0 ，所以大模型是能够走得最远 ◦ 去年还需要做很多微调，今年已经降低很多了，之后会越来越低 ◦ 大模型的智能密度也非常重要，大模型的小型化也很重要 ◦ 系统 1 是目前做得比较多的，系统 2 的慢思考是下一步值得做的，如 Agent ◦ 从经济学角度来定义，边际成本降低到 0 ，所以大模型是能够走得最远 ◦ 去年还需要做很多微调，今年已经降低很多了，之后会越来越低 ◦ 大模型的智能密度也非常重要，大模型的小型化也很重要 • 杨植麟： ◦ AGI 最重要的作用是让大众来做出准备； ◦ 短期内需要量化 ◦ AGI 最重要的作用是让大众来做出准备； ◦ 短期内需要量化 • 张鹏： ◦ 我也更相信AGI 是一个符号，内涵和外延是不断变化的 ◦ 随着我们认识更多、更深入，AGI 也是不断变化的 ◦ 没有人能说清楚AGI，反倒是一件好事 ◦ 第一步是更像人，下一步是超越人 ◦ 我也更相信AGI 是一个符号，内涵和外延是不断变化的 ◦ 随着我们认识更多、更深入，AGI 也是不断变化的 ◦ 没有人能说清楚AGI，反倒是一件好事 ◦ 第一步是更像人，下一步是超越人 关于Scaling Law • 杨植麟： ◦ Scaling Law 仍然是第一性原理，未来一段时间再增长3 4的数量级不是问题 ◦ 但怎么更高效地 Scale 、Scale what 需要持续更新，方法可能会发生很多不一样的变化 ◦ 我觉得大语言模型可能是世界模型的特例 ◦ Scaling Law 仍然是第一性原理，未来一段时间再增长3 4的数量级不是问题 ◦ 但怎么更高效地 Scale 、Scale what 需要持续更新，方法可能会发生很多不一样的变化 ◦ 我觉得大语言模型可能是世界模型的特例 • 王小川： ◦ 美国在这方面的认真程度远高于中国，我们很明确在跟进 ◦ 在范式上要发生变化 ◦ 美国在这方面的认真程度远高于中国，我们很明确在跟进 ◦ 在范式上要发生变化 • 张鹏 ◦ 对这个定律都可能有推翻的一天 ◦ 到目前为止，我们没有看到被推翻的预兆 ◦ 并不是只追求参数量，里面的复杂度也不断增加 ◦ 对这个定律都可能有推翻的一天 ◦ 到目前为止，我们没有看到被推翻的预兆 ◦ 并不是只追求参数量，里面的复杂度也不断增加 • 李大海 ◦ 随着我们对模型观察度越来越多，认识也会越来越深 ◦ 随着我们对模型观察度越来越多，认识也会越来越深 关于开源 • 李大海 ◦ 斯坦福被抄袭的事件澄清下，是个别小团队的个别学生去做的 ◦ 更加坚定开源的社区，5 月 29 日热心社区参与者曝光了这件事 ◦ 斯坦福被抄袭的事件澄清下，是个别小团队的个别学生去做的 ◦ 更加坚定开源的社区，5 月 29 日热心社区参与者曝光了这件事 • 王小川 ◦ 开源是当时市场上有这样的需求，去年 9 月开源了第二版 ◦ 得到了市场上很好的认可，也是给行业交了投名状 ◦ 也看到了模型在快速的进步，今天最好明天可能就不是最好的了 ◦ 开源是当时市场上有这样的需求，去年 9 月开源了第二版 ◦ 得到了市场上很好的认可，也是给行业交了投名状 ◦ 也看到了模型在快速的进步，今天最好明天可能就不是最好的了 关于安全 • 杨植麟 ◦ 安全非常重要，需要提前准备 ◦ 比如 prompt 注入，就需要关注；模型本身是否能框定它的宪法 ◦ 安全非常重要，需要提前准备 ◦ 比如 prompt 注入，就需要关注；模型本身是否能框定它的宪法 • 王小川 ◦ 意识形态安全，与国家发展一致，对民族负责，是底线 ◦ 对人类文明的安全，AI 比人类更聪明，这个是有意义的 ◦ 现实的安全，近期还不存在触碰文明安全的边界 ◦ 意识形态安全，与国家发展一致，对民族负责，是底线 ◦ 对人类文明的安全，AI 比人类更聪明，这个是有意义的 ◦ 现实的安全，近期还不存在触碰文明安全的边界 • 张鹏 ◦ 签署负责任的 AI 承诺书 ◦ 更多方面问题，比如帮助人类、社会 ◦ 防守比破坏更难，要正面面对这个安全问题 ◦ 签署负责任的 AI 承诺书 ◦ 更多方面问题，比如帮助人类、社会 ◦ 防守比破坏更难，要正面面对这个安全问题 • 李大海 ◦ 目前是基础安全和内容安全 ◦ 当下还是只读型，以后部署到机器人之后，变成可读可写，安全就更加重要 ◦ 目前是基础安全和内容安全 ◦ 当下还是只读型，以后部署到机器人之后，变成可读可写，安全就更加重要 关于 ROI 和价格战 • 杨植麟 ◦ 最终回归价值本身 ◦ 第一个节点：算力的推理成本显著超越训练成本 ◦ 第二个节点：C端的推理成本显著低于获客成本 ◦ 第三个节点：AI 在人类工作里的占比，超过人做的事情，现在AI工作流不到1% ◦ 最终回归价值本身 ◦ 第一个节点：算力的推理成本显著超越训练成本 ◦ 第二个节点：C端的推理成本显著低于获客成本 ◦ 第三个节点：AI 在人类工作里的占比，超过人做的事情，现在AI工作流不到1% • 王小川 ◦ 价格战对国内 AI 发展特别好 ▪ 启蒙：更多公司和个人开始用起来了 ▪ 减少消耗：但凡有些技术能力的公司都想训练大模型，带来很多资金的浪费 ◦ 价格战对国内 AI 发展特别好 ▪ 启蒙：更多公司和个人开始用起来了 ▪ 减少消耗：但凡有些技术能力的公司都想训练大模型，带来很多资金的浪费 ▪ 启蒙：更多公司和个人开始用起来了 ▪ 减少消耗：但凡有些技术能力的公司都想训练大模型，带来很多资金的浪费 • 张鹏 ◦ 给用户最大的价值，用创新去降低成本 ◦ 真正把大模型作为基础设施，变为类似水电 ◦ 给用户最大的价值，用创新去降低成本 ◦ 真正把大模型作为基础设施，变为类似水电 • 李大海 ◦ 端侧看到了越早落地的可能性 ◦ 很同意大家的观点，未来一定会更便宜，而且大家都会有利润 ◦ 端侧看到了越早落地的可能性 ◦ 很同意大家的观点，未来一定会更便宜，而且大家都会有利润 录音与AI 速记： https://waytoagi.feishu.cn/minutes/obcnwuh195i97vi3598eg187 介绍 北京智源大会是人工智能领域综合性内行盛会，自2019年10月首度亮相，已成功举办五届，今年是第六届。大会以全球技术视野、内行精英汇聚、洞察关键趋势为鲜明特色，邀请海内外研究者开展精彩演讲与深入对话。共有11位图灵奖得主曾参与大会，每年有200位顶尖专家出席，来自30多个国家和地区的50万观众汇聚一堂，分享研究成果、探寻前沿知识、交流实践经验、建立紧密合作。 介绍 北京智源大会是人工智能领域综合性内行盛会，自2019年10月首度亮相，已成功举办五届，今年是第六届。大会以全球技术视野、内行精英汇聚、洞察关键趋势为鲜明特色，邀请海内外研究者开展精彩演讲与深入对话。共有11位图灵奖得主曾参与大会，每年有200位顶尖专家出席，来自30多个国家和地区的50万观众汇聚一堂，分享研究成果、探寻前沿知识、交流实践经验、建立紧密合作。 介绍 北京智源大会是人工智能领域综合性内行盛会，自2019年10月首度亮相，已成功举办五届，今年是第六届。大会以全球技术视野、内行精英汇聚、洞察关键趋势为鲜明特色，邀请海内外研究者开展精彩演讲与深入对话。共有11位图灵奖得主曾参与大会，每年有200位顶尖专家出席，来自30多个国家和地区的50万观众汇聚一堂，分享研究成果、探寻前沿知识、交流实践经验、建立紧密合作。 论坛议程及介绍：https://mp.weixin.qq.com/s/x hDzdTMtzigyq68 aNFVg 2024年6月14日 上午 主持人：黄铁军，智源研究院理事长 开幕式 09:00 09:20 致辞 智源进展报告 09:20 10:00 报告人：王仲远，智源研究院院长 全体大会 10:00 11:00 主题报告：多模态大模型 报告人：特邀嘉宾 Aditya Ramesh，OpenAl Sora及DALL.E团队负责人 对话嘉宾：谢赛宁，纽约大学助理教授 11:00 12:30 主题讨论：通用人工智能 Talk 2. • 环节1：Fireside Chat 对话嘉宾： 李开复，零一万物CEO 张亚勤，清华大学智能产业研究院院长，智源学术顾问委员 • 环节2：报告 大模型为通用人工智能带来曙光 报告人：王海峰，百度CTO • 环节3：尖峰对话：通往AGI之路 主持人：王仲远，智源研究院院长 对话嘉宾： 王小川，百川智能CEO 张鹏，智谱AI CEO 杨植麟，月之暗面CEO 李大海，面壁智能CEO 1. 智源研究院院长 王仲远 全家桶及技术基座 FlagAI是大模型算法、模型，及各种优化工具的一站式、高质量开源项目，集成全球各种主流大模型算法技术，以及多种大模型并行处理和训练加速技术，支持高效训练和微调，旨在降低大模型开发和应用的门槛，提高大模型的开发效率。FlagAI涵盖多个领域明星模型，如语言大模型OPT、T5，视觉大模型ViT、Swin Transformer，多模态大模型CLIP等。 1. 千万级数据集：BAAI创建了首个千万级别的高质量开源指令微调数据集。 2. 模型性能与数据质量：强调了模型性能与数据质量之间的高度相关性。 3. 技术亮点： ◦ 使用了高质量的指令数据筛选与合成技术。 ◦ 这些技术显著提升了模型遵循指令的能力。 ◦ 使用了高质量的指令数据筛选与合成技术。 ◦ 这些技术显著提升了模型遵循指令的能力。 4. 性能比较： ◦ 提到综合性能达到了GPT 4的水平。 ◦ 1000条高质量数据微调的效果可以超过52,000条普通数据。 ◦ 提到综合性能达到了GPT 4的水平。 ◦ 1000条高质量数据微调的效果可以超过52,000条普通数据。 5. 数据集评估： ◦ 使用了AlpacaEval和MT Bench等评估工具来筛选数据。 ◦ 使用了AlpacaEval和MT Bench等评估工具来筛选数据。 具身智能大模型 1. 分级大模型系统：两个“专模专用，各司其职”的分级大模型系统，意味着存在两个专门化的模型系统，它们各自负责不同的任务。 2. 操作大模型系统：SAGE系统，它是一个能反思、可随机应变的操作大模型系统。 3. 全球首个开放指令六自由度取放：Open6DOR，这可能是一个全球首个支持开放指令的六自由度取放系统，六自由度通常指的是在三维空间中物体可以沿三个坐标轴移动和旋转。 医疗方面应用： 推出一款名为“领视智选”的智能超声机器人。 1. 创新点：全球首创的智能心脏超声机器人，探索了“医疗+AI+机器人”的新模式。 2. 技术成就：实现了全球首例在真人身上的自主心脏超声扫查，这可能意味着机器人能够在没有人工干预的情况下完成心脏超声检查。 3. 临床验证：提到了智能超声机器人的临床验证，这表明该技术已经通过了医学界的初步测试和评估。 生物计算大模型 1. 目标：生成式人工智能有望成为打开生命科学领域的钥匙，这可能意味着通过AI技术来模拟、生成和理解生物过程和分子结构。 2. 跨学科融合：生物学需要整合物理学、统计学、计算机科学等领域的成功方法，以取得定量、分析和预测的能力。 3. 研究方式的变革：生物学研究需要从传统的统计学、唯象学和定性观点转向一个基于数学或可计算原理构建的新框架。 2. OpenAI Aditya Ramesh《多模态大模型》 Sora 及 DALL·E 团队负责人 Aditya Ramesh 图像 大范式转变 我们不再需要为给定领域手工制作标签来训练一个好的分类器，我们可以利用互联网上的自由形式文本来学习一个适用于所有领域的好分类器。 讨论了图像表示学习（image representation learning）的演变，以及随着计算资源（FLOPs，即浮点运算次数）预算的增加，我们可能会如何发展。 文本条件建模是否学习到了好的表示？ • iGPT表明，大规模生成模型学习了数据的底层结构，因此最终学习到了好的图像表示——尽管效率不高。 • 对于文本到图像的模型，是否也存在类似的结果？ 文本条件建模是否学习到了好的表示？ • 你的扩散模型实际上是一个零样本分类器（Li等人，2023年）。 • 要点：一个预训练的文本到图像的模型可以像CLiP一样用作零样本分类器，只是相似度函数更昂贵。 压缩宇宙可以高效完成吗？ • 从DALL E 3得到的启示：使用超描述性（UD）字幕进行训练可以使模型更加计算高效，即使我们用较短的字幕来衡量产生的样本的质量。 • 这表明我们可以通过使用UD字幕作为支撑来获得更好的无条件模型，即使我们在推理时不使用UD字幕。 讨论了图像信息与模型通过去噪（diffusion）去除图像信息后所需最小化字幕（caption）的关系： 1. 图像信息：展示了图像中每个像素点可能包含的信息。 2. 去噪过程：通过某种去噪过程，模型尝试从图像中移除信息。 3. 最小化字幕：即使图像的某些信息被模型去除，仍需要最少的文字描述来传达图像未被去除的核心信息。 4. 示例对比：提供了两个描述同一图像的字幕示例，一个是详细的描述（"A Yorkshire terrier with tan colored fur with its hair up in bangs is sitting on a hardwood floor"），另一个是简化的描述（"A small, brown colored dog"）。 图像表示学习可能的发展方向： 1. Deep Convolutional Neural Networks (CNNs)：从2012年的ImageNet分类开始，深度卷积神经网络学习了手工制作的标签与视觉世界之间的交集。 2. Learning Transferable Visual Models：2021年，通过自然语言监督学习，模型开始学习自然语言与视觉世界之间的交集，以获得可转移的视觉模型。 3. Image Captioners and Scalable Vision Learners：到了2023年，图像字幕生成器和可扩展的视觉学习器能够从视觉世界中重建自然语言。 4. DALL E 3：2023年，DALL E 3模型通过超描述性语言（ultra descriptive language）从文本重建视觉世界，表明扩散模型实际上是零样本分类器。 5. Zero Shot Classification：Li等人在2023年的研究指出，扩散模型在没有明确分类任务训练的情况下，也能进行分类。 6. 未来展望：最终，图像表示学习可能会发展到能够从文本描述中重建任何事物。 总结来说，图像表示学习正在从依赖手工标签的深度学习模型，发展到能够通过自然语言和描述性文本重建视觉内容的更高级模型，未来可能会实现无需传统分类训练即可从文本重建视觉世界的智能。 思考方式的转变： 1. 传统方法：通常的做法是固定数据集，然后在目标函数和模型架构上进行优化（即“爬山”），以提升性能。 2. 新思考方式：建议固定目标函数和模型架构（确保其可扩展性），然后在数据集上进行优化，即优化被建模的内容以及建模的方式。 3. 重点转移：强调了从优化模型和目标函数转移到优化数据集的重要性，以适应不断变化的数据和建模需求。 总结来说，这张图片提倡在机器学习中采取一种新的方法，即在确保目标函数和模型架构可扩展的前提下，通过不断优化数据集来提高模型的性能和适应性。 视频 将文本信息整合到视觉学习中，可以提高模型对图像内容的理解能力，并实现多种视觉任务的统一处理，从而创造出更加丰富和多样化的视觉内容。 通过将文本信息整合到视觉学习中，未来可以实现更高级的AI功能，如从静态图像生成动态视频，这将极大地扩展AI在创意和实用领域的应用潜力。 总结 关于宇宙压缩和语言智能的观点： 1. 宇宙压缩：提出学习压缩宇宙可能是正确的方法，其中语言是实现这一目标的必需支撑。 2. 语言的必要性：语言不仅是理解世界的工具，也可能是实现高效信息压缩和模拟的关键。 3. 可能的不足：虽然语言智能很重要，但可能还需要其他技巧或方法来完全达到目标。 4. 语言与视觉智能的融合：在大规模应用中，语言智能可能会融入视觉智能，形成更综合的智能形式。 5. 世界模拟器：这种融合可能为我们提供了一种途径，创建一个世界模拟器，我们可以在其中请求任何我们想要的东西。 总结来说，他认为通过语言智能来压缩和理解宇宙是一种有效的方法，但可能需要结合其他技术来完善，最终实现一个能够模拟和预测任何事物的系统。 谢赛宁 | 纽约大学助理教授 对话嘉宾 3. 主题讨论：通用人工智能 议程 • 环节1：Fireside Chat ◦ 李开复 | 零一万物CEO ◦ 张亚勤 | 清华大学智能产业研究院院长，智源学术顾问委员 • 环节2：报告：大模型为通用人工智能带来曙光 ◦ 王海峰 | 百度CTO • 环节3：尖峰对话：通往AGI之路 主持人：王仲远 | 智源研究院院长 对话嘉宾: ◦ 王小川 | 百川智能CEO ◦ 张 鹏 | 智谱AICEO ◦ 杨植麟 | 月之暗面CEO ◦ 李大海 | 面壁智能CEO • 环节1：Fireside Chat ◦ 李开复 | 零一万物CEO ◦ 张亚勤 | 清华大学智能产业研究院院长，智源学术顾问委员 ◦ 李开复 | 零一万物CEO ◦ 张亚勤 | 清华大学智能产业研究院院长，智源学术顾问委员 • 环节2：报告：大模型为通用人工智能带来曙光 ◦ 王海峰 | 百度CTO ◦ 王海峰 | 百度CTO • 环节3：尖峰对话：通往AGI之路 主持人：王仲远 | 智源研究院院长 对话嘉宾: ◦ 王小川 | 百川智能CEO ◦ 张 鹏 | 智谱AICEO ◦ 杨植麟 | 月之暗面CEO ◦ 李大海 | 面壁智能CEO 主持人：王仲远 | 智源研究院院长 对话嘉宾: ◦ 王小川 | 百川智能CEO ◦ 张 鹏 | 智谱AICEO ◦ 杨植麟 | 月之暗面CEO ◦ 李大海 | 面壁智能CEO 3.1 李开复&张亚勤 Fireside Chat 关于大模型 张亚勤： 大模型什么做对了： ◦ Scaling laws：模型能力与模型尺度之间的渐近关系 ◦ Token Based：所有内容都可以抽象为 Token，和大脑神经元很像。 ◦ 通用性：不仅用在文本、视频、也可以用在生物智能 大模型目前存在的问题： ◦ 效率太低 ◦ 大模型还没有真正理解物理世界 ◦ 边界问题：大模型还不知道我知道什么、不知道什么 大模型什么做对了： ◦ Scaling laws：模型能力与模型尺度之间的渐近关系 ◦ Token Based：所有内容都可以抽象为 Token，和大脑神经元很像。 ◦ 通用性：不仅用在文本、视频、也可以用在生物智能 大模型目前存在的问题： ◦ 效率太低 ◦ 大模型还没有真正理解物理世界 ◦ 边界问题：大模型还不知道我知道什么、不知道什么 李开复： • 科学研究和工程要并行 • 2C 从工具开始，未来会有相应的顺序 • TC PMF：PMF这一概念已经不能完整定义以大模型为基础的AI First创业，应当引入 Technology（技术）与 Cost（成本）组成四维概念（延伸阅读） 延伸阅读 • 2C 如果验证 PMF，要抓住时间窗口，打造可持续优势 • 零一万物的选择是谨慎去做 2B • 无论做 2B、2C，API 的价格都很重要 关于具身智能和自动驾驶 张亚勤： • 目前真正赚钱的是 2B，尤其是芯片、服务器等，应用是先 2C 再 2B • 我把智能分成 3 个阶段：信息智能、具身智能、生物智能 ◦ L4 智能驾驶可能是第一个具身智能最大的应用场景，目前安全性比人类高 10 倍 ◦ 无人驾驶不仅需要好司机（守规矩），也需要老司机（更人性化） ◦ L4 智能驾驶可能是第一个具身智能最大的应用场景，目前安全性比人类高 10 倍 ◦ 无人驾驶不仅需要好司机（守规矩），也需要老司机（更人性化） 李开复： • 无人驾驶面临巨大的机会：终于可以落地了 • FSD 会带来一个新的机会，简单说就是把大模型带入了无人驾驶 • 大模型非常非常适合虚拟世界，比如金融公司等 ◦ 接入物理世界会面临很多现实问题 ◦ 绝大多数的场景下，机器人并不需要人形机器人 ◦ 创业者更适合从虚拟世界的AI 创业开始 ◦ 接入物理世界会面临很多现实问题 ◦ 绝大多数的场景下，机器人并不需要人形机器人 ◦ 创业者更适合从虚拟世界的AI 创业开始 张亚勤的预测： • 0 5年：信息智能。0至5年内，在信息智能领域，对语言、图像、声音和视频的理解、生成等方面通过新图灵测试。 • 5 10年：物理智能（具身智能）。0至10年内，在物理智能领域，实现大模型在物理环境中的理解与操作能力，通过新图灵测试。 • 15 20年：生物智能。0至20年内，在生物智能领域，聚焦人体、脑机接口、生物体、制药和生命科学，实现大模型与生物体连结的生物智能，通过图灵测试。 延伸阅读：《张亚勤：人工智能发展的一些观点》 张亚勤：人工智能发展的一些观点 关于AGI 张亚勤 • 我不认为现在做的事，AI可以产生意识 • 做 Agent 方向，而不是做成另一种物种 李开复 • 长期会担心人类的失控 • 近期担忧的是坏人用它做坏事 3.2 报告：大模型为通用人工智能带来曙光 王海峰 百度 CTO 形式语言更加没有歧义，可以直接执行，架起了从思维到模型的桥梁 基础的能力有四项 文心大模型