极客公园创新大会 IF2024-Wiings的笔记

极客公园创新大会 IF2024 Wiings的笔记 极客公园创新大会 IF2024 Wiings的笔记 Modified December 19, 2023 极客公园创新大会 IF2024.pdf 58.46MB 极客公园创新大会 IF2024.pdf 89.06MB 补充性笔记 @晓勇 ◦ 第一天 ◦ 第二天 极客公园创新大会 IF2024.pdf 58.46MB 极客公园创新大会 IF2024.pdf 58.46MB 极客公园创新大会 IF2024.pdf 89.06MB 极客公园创新大会 IF2024.pdf 89.06MB 补充性笔记 @晓勇 ◦ 第一天 ◦ 第二天 ◦ 第一天 ◦ 第二天 作者：清华计算法学法硕Wiings，本科网络安全（研究NLP） Warning：还是学生，行业了解有限，有些评论来自不成熟的个人观点，仅供参考！ 作者：清华计算法学法硕Wiings，本科网络安全（研究NLP） Warning：还是学生，行业了解有限，有些评论来自不成熟的个人观点，仅供参考！ 活动链接 ◦ 不错过 AGI 时代的每一波浪潮，极客公园创新大会 2024 全议程公布 (qq.com) ◦ 嘉宾全阵容官宣，与 32 位创新者一起，窥见未来！ (qq.com) ◦ 极客公园 2023 年度「中国创新力量 50 榜单（InnoForce 50）」发布 (qq.com) 不错过 AGI 时代的每一波浪潮，极客公园创新大会 2024 全议程公布 (qq.com) 嘉宾全阵容官宣，与 32 位创新者一起，窥见未来！ (qq.com) 极客公园 2023 年度「中国创新力量 50 榜单（InnoForce 50）」发布 (qq.com) ◦ 不错过 AGI 时代的每一波浪潮，极客公园创新大会 2024 全议程公布 (qq.com) 不错过 AGI 时代的每一波浪潮，极客公园创新大会 2024 全议程公布 (qq.com) ◦ 嘉宾全阵容官宣，与 32 位创新者一起，窥见未来！ (qq.com) 嘉宾全阵容官宣，与 32 位创新者一起，窥见未来！ (qq.com) ◦ 极客公园 2023 年度「中国创新力量 50 榜单（InnoForce 50）」发布 (qq.com) 极客公园 2023 年度「中国创新力量 50 榜单（InnoForce 50）」发布 (qq.com) • 笔记的pdf版本第一天和第二天 活动主题 ◦ 草稿 ◦ 极客公园：活动、文化、思维碰撞方式 ▪ 人是科技的动力 ▪ 人是科技的尺度 ▪ 社区孵化的大会 ◦ 创新 ▪ 始于好奇 ▪ 行于实践 ▪ 成于分享 ◦ AI：增强人生 ▪ 2023年，你一定看到了AI技术的突飞猛进。 ▪ 这预示着未来十年的转变。A正像加速燃烧的火焰，推动技术领域的跨越式发展，我们正处在一场工业革命般的转折点。 ▪ 在AI的变革中，每个人都被赋予了「增强」 的机会。无论是创业还是追求个人的快乐与自由，现在正是来点儿科技知识，加点儿极客精神的绝佳时机。我们每个人都是自己生活的「创始人」，让我们掌握科技，而不是被科技所驾驭。 ◦ 草稿 ◦ 极客公园：活动、文化、思维碰撞方式 ▪ 人是科技的动力 ▪ 人是科技的尺度 ▪ 社区孵化的大会 ▪ 人是科技的动力 ▪ 人是科技的尺度 ▪ 社区孵化的大会 ◦ 创新 ▪ 始于好奇 ▪ 行于实践 ▪ 成于分享 ▪ 始于好奇 ▪ 行于实践 ▪ 成于分享 ◦ AI：增强人生 ▪ 2023年，你一定看到了AI技术的突飞猛进。 ▪ 这预示着未来十年的转变。A正像加速燃烧的火焰，推动技术领域的跨越式发展，我们正处在一场工业革命般的转折点。 ▪ 在AI的变革中，每个人都被赋予了「增强」 的机会。无论是创业还是追求个人的快乐与自由，现在正是来点儿科技知识，加点儿极客精神的绝佳时机。我们每个人都是自己生活的「创始人」，让我们掌握科技，而不是被科技所驾驭。 ▪ 2023年，你一定看到了AI技术的突飞猛进。 ▪ 这预示着未来十年的转变。A正像加速燃烧的火焰，推动技术领域的跨越式发展，我们正处在一场工业革命般的转折点。 ▪ 在AI的变革中，每个人都被赋予了「增强」 的机会。无论是创业还是追求个人的快乐与自由，现在正是来点儿科技知识，加点儿极客精神的绝佳时机。我们每个人都是自己生活的「创始人」，让我们掌握科技，而不是被科技所驾驭。 12月16日：「浸」入未来 上午：有「智」新青年——2023年 AGI革命 如火如荼 ◦ 我们邀请了站在时代前列的 AI 技术推动者，为你剖析这场革命对企业、社会和个人的意义，帮你找到大模型带给你的时代机遇。 【李彦宏】Al native时代，需要怎样的产品和开发者？【原生应用】 • 与谈者 ◦ 李彦宏 Robin：百度 创始人、董事长兼首席执行官 ▪ 商业色彩：其核心在于回报，而非追求理想，想象力有些受商业束缚 ◦ 张鹏：极客公园 创始人&总裁 • 总结：百度做了什么 ◦ AI发展历程：波折，很多先驱已经疲惫 ◦ 追求：标准化产品、有应用性、有商业价值、通用性 ◦ 认为最主要的增长点：基础模型之上的AI原生应用 ▪ 产生更多的机会 ▪ 类比微信的价值不比安卓的价值差 ▪ 认为许多资源精力“浪费”在基础模型的训练上 • 中美大模型距离如何丈量 ◦ 差别： ▪ 政策差别 ▪ 芯片限制 ▪ 发展方向：美国企业级软件市场更大，中国ToC软件更加活跃（中国企业级软件市场小） ▪ 技术差距：技术应当为应用服务：不应该直接看刷榜和跑分，认为类似于高考【以应用为导向】 • 要定义好什么算好的模型，这个标准对于企业很重要，企业最好要有自己的评价框架 • 大模型的发展是拼「大力出奇迹」吗？ ◦ 未来应当是拼效率，肯定会涉及成本的考量 ▪ 我认为Robin太有一个商业的思考了，不是一个技术范儿，在目前AI大模型发展早期还是应该重视核心能力 ◦ 产业政策 ▪ Robin 依赖国家的政策和资源 ◦ 【利用】除了大模型能力突破之外，企业有没有利用大模型对其关键指标进行优化也非常重要 ▪ 做起来不容易 • 大公司反应很慢，慢半拍【大公司反应落后生产力，不习惯创新，体系臃肿，重做的成本高】 • 中型企业、创业公司反应更快，更倾向于拥抱大模型，开发迭代出新一代的应用 ◦ Super APP：主要靠创业公司和VC ◦ 百模大战的结果 ▪ 中国大模型企业逐渐转向大模型 based应用开发 ▪ 认为几百个模型，在算力受限制的情况下，是对社会资源的浪费 • 到底什么是「用AI重构所有应用」？ ◦ 如何把兴奋传导到百度整个公司？ ◦ 上下开会对齐、布道、指令性要求（重做每一个产品和应用） ◦ 接入大模型 重构应用 ▪ 和大厂的肌肉记忆较劲，接入最简单，最不需要动脑筋，价值最低 ▪ 大模型的创造要反应到业务的关键指标，必须要重构应用，不能靠着惯性 • 大模型必须要对业务有帮助（对业务的关键指标有正向影响） • 不看跑分和刷榜【说到底没有那么在意大模型本身，而是在意大模型对于业务的增长，与OpenAI的理想主义不同】 ◦ 大模型和百度搜索的关系是什么？ ▪ 在搜索功能上的结合：【bing】 • 极致满足：给出对问题的唯一答案 • 推荐激发：猜测推荐进一步相关的问题 • 多轮交互：不具有唯一正确答案，澄清用户需求 ▪ 大模型【全新的超级应用】越来越像搜索引擎【对现有应用的改造】 • 哪个路线更优，难说 ▪ 大企业 V 创业公司 • Microsoft、Adobe通过大模型达到极大地增强 • 在AGI时代百度的业务「边界」是什么？ ◦ 战略布局：确定边界，作出决策【是不是决策和战略会重新火起来】 • 大模型时代大厂会拿走所有红利吗？ ◦ 机会在创业公司和大厂如何分配 ◦ Robin：大厂会拿走大多数福利 ▪ 利用大模型能力改进应用，其获得的收益增益会更大 ▪ 新价值的创造小于对现有世界的改造 • 什么是「AI Native」 ◦ 基于大模型开发出来的应用？ ◦ 这样的应用有什么特点？ ▪ 纯自然语言而非纯图形应用界面 • 纯自然语言交互的门槛也不低【不就类似于朋友交流吗？如果有记忆，我觉得门槛也可以很低啊】 • 百度：自然语言界面与图形应用界面结合 ▪ 过去技术做不到的内容 • 生成式而非辨别式能力 ◦ AI原生技术开发有什么不同 ▪ 开发方法不同 • 产品经理PM地位增强 ◦ PM：RD比例增大 • 什么样的产品经理PM是适合新时代的？【尤其是卷AI native产品】 ◦ 最重要的是综合能力+学习能力 ▪ 复合背景 ▪ 学习能力 ▪ 产品、市场的感觉 ▪ 不害怕新技术，敢读技术论文 • 不一定自己要做技术，思考重心在于产品而非技术 ▪ 不满足于对现有技术的应用，敢想 ▪ 对新技术有热情 ◦ Prompt达人 ◦ AI超级用户 ◦ 大厂高P 上午：有「智」新青年——2023年 AGI革命 如火如荼 ◦ 我们邀请了站在时代前列的 AI 技术推动者，为你剖析这场革命对企业、社会和个人的意义，帮你找到大模型带给你的时代机遇。 【李彦宏】Al native时代，需要怎样的产品和开发者？【原生应用】 • 与谈者 ◦ 李彦宏 Robin：百度 创始人、董事长兼首席执行官 ▪ 商业色彩：其核心在于回报，而非追求理想，想象力有些受商业束缚 ◦ 张鹏：极客公园 创始人&总裁 • 总结：百度做了什么 ◦ AI发展历程：波折，很多先驱已经疲惫 ◦ 追求：标准化产品、有应用性、有商业价值、通用性 ◦ 认为最主要的增长点：基础模型之上的AI原生应用 ▪ 产生更多的机会 ▪ 类比微信的价值不比安卓的价值差 ▪ 认为许多资源精力“浪费”在基础模型的训练上 • 中美大模型距离如何丈量 ◦ 差别： ▪ 政策差别 ▪ 芯片限制 ▪ 发展方向：美国企业级软件市场更大，中国ToC软件更加活跃（中国企业级软件市场小） ▪ 技术差距：技术应当为应用服务：不应该直接看刷榜和跑分，认为类似于高考【以应用为导向】 • 要定义好什么算好的模型，这个标准对于企业很重要，企业最好要有自己的评价框架 • 大模型的发展是拼「大力出奇迹」吗？ ◦ 未来应当是拼效率，肯定会涉及成本的考量 ▪ 我认为Robin太有一个商业的思考了，不是一个技术范儿，在目前AI大模型发展早期还是应该重视核心能力 ◦ 产业政策 ▪ Robin 依赖国家的政策和资源 ◦ 【利用】除了大模型能力突破之外，企业有没有利用大模型对其关键指标进行优化也非常重要 ▪ 做起来不容易 • 大公司反应很慢，慢半拍【大公司反应落后生产力，不习惯创新，体系臃肿，重做的成本高】 • 中型企业、创业公司反应更快，更倾向于拥抱大模型，开发迭代出新一代的应用 ◦ Super APP：主要靠创业公司和VC ◦ 百模大战的结果 ▪ 中国大模型企业逐渐转向大模型 based应用开发 ▪ 认为几百个模型，在算力受限制的情况下，是对社会资源的浪费 • 到底什么是「用AI重构所有应用」？ ◦ 如何把兴奋传导到百度整个公司？ ◦ 上下开会对齐、布道、指令性要求（重做每一个产品和应用） ◦ 接入大模型 重构应用 ▪ 和大厂的肌肉记忆较劲，接入最简单，最不需要动脑筋，价值最低 ▪ 大模型的创造要反应到业务的关键指标，必须要重构应用，不能靠着惯性 • 大模型必须要对业务有帮助（对业务的关键指标有正向影响） • 不看跑分和刷榜【说到底没有那么在意大模型本身，而是在意大模型对于业务的增长，与OpenAI的理想主义不同】 ◦ 大模型和百度搜索的关系是什么？ ▪ 在搜索功能上的结合：【bing】 • 极致满足：给出对问题的唯一答案 • 推荐激发：猜测推荐进一步相关的问题 • 多轮交互：不具有唯一正确答案，澄清用户需求 ▪ 大模型【全新的超级应用】越来越像搜索引擎【对现有应用的改造】 • 哪个路线更优，难说 ▪ 大企业 V 创业公司 • Microsoft、Adobe通过大模型达到极大地增强 • 在AGI时代百度的业务「边界」是什么？ ◦ 战略布局：确定边界，作出决策【是不是决策和战略会重新火起来】 • 大模型时代大厂会拿走所有红利吗？ ◦ 机会在创业公司和大厂如何分配 ◦ Robin：大厂会拿走大多数福利 ▪ 利用大模型能力改进应用，其获得的收益增益会更大 ▪ 新价值的创造小于对现有世界的改造 • 什么是「AI Native」 ◦ 基于大模型开发出来的应用？ ◦ 这样的应用有什么特点？ ▪ 纯自然语言而非纯图形应用界面 • 纯自然语言交互的门槛也不低【不就类似于朋友交流吗？如果有记忆，我觉得门槛也可以很低啊】 • 百度：自然语言界面与图形应用界面结合 ▪ 过去技术做不到的内容 • 生成式而非辨别式能力 ◦ AI原生技术开发有什么不同 ▪ 开发方法不同 • 产品经理PM地位增强 ◦ PM：RD比例增大 • 什么样的产品经理PM是适合新时代的？【尤其是卷AI native产品】 ◦ 最重要的是综合能力+学习能力 ▪ 复合背景 ▪ 学习能力 ▪ 产品、市场的感觉 ▪ 不害怕新技术，敢读技术论文 • 不一定自己要做技术，思考重心在于产品而非技术 ▪ 不满足于对现有技术的应用，敢想 ▪ 对新技术有热情 ◦ Prompt达人 ◦ AI超级用户 ◦ 大厂高P 【李彦宏】Al native时代，需要怎样的产品和开发者？【原生应用】 • 与谈者 ◦ 李彦宏 Robin：百度 创始人、董事长兼首席执行官 ▪ 商业色彩：其核心在于回报，而非追求理想，想象力有些受商业束缚 ◦ 张鹏：极客公园 创始人&总裁 • 总结：百度做了什么 ◦ AI发展历程：波折，很多先驱已经疲惫 ◦ 追求：标准化产品、有应用性、有商业价值、通用性 ◦ 认为最主要的增长点：基础模型之上的AI原生应用 ▪ 产生更多的机会 ▪ 类比微信的价值不比安卓的价值差 ▪ 认为许多资源精力“浪费”在基础模型的训练上 • 中美大模型距离如何丈量 ◦ 差别： ▪ 政策差别 ▪ 芯片限制 ▪ 发展方向：美国企业级软件市场更大，中国ToC软件更加活跃（中国企业级软件市场小） ▪ 技术差距：技术应当为应用服务：不应该直接看刷榜和跑分，认为类似于高考【以应用为导向】 • 要定义好什么算好的模型，这个标准对于企业很重要，企业最好要有自己的评价框架 • 大模型的发展是拼「大力出奇迹」吗？ ◦ 未来应当是拼效率，肯定会涉及成本的考量 ▪ 我认为Robin太有一个商业的思考了，不是一个技术范儿，在目前AI大模型发展早期还是应该重视核心能力 ◦ 产业政策 ▪ Robin 依赖国家的政策和资源 ◦ 【利用】除了大模型能力突破之外，企业有没有利用大模型对其关键指标进行优化也非常重要 ▪ 做起来不容易 • 大公司反应很慢，慢半拍【大公司反应落后生产力，不习惯创新，体系臃肿，重做的成本高】 • 中型企业、创业公司反应更快，更倾向于拥抱大模型，开发迭代出新一代的应用 ◦ Super APP：主要靠创业公司和VC ◦ 百模大战的结果 ▪ 中国大模型企业逐渐转向大模型 based应用开发 ▪ 认为几百个模型，在算力受限制的情况下，是对社会资源的浪费 • 到底什么是「用AI重构所有应用」？ ◦ 如何把兴奋传导到百度整个公司？ ◦ 上下开会对齐、布道、指令性要求（重做每一个产品和应用） ◦ 接入大模型 重构应用 ▪ 和大厂的肌肉记忆较劲，接入最简单，最不需要动脑筋，价值最低 ▪ 大模型的创造要反应到业务的关键指标，必须要重构应用，不能靠着惯性 • 大模型必须要对业务有帮助（对业务的关键指标有正向影响） • 不看跑分和刷榜【说到底没有那么在意大模型本身，而是在意大模型对于业务的增长，与OpenAI的理想主义不同】 ◦ 大模型和百度搜索的关系是什么？ ▪ 在搜索功能上的结合：【bing】 • 极致满足：给出对问题的唯一答案 • 推荐激发：猜测推荐进一步相关的问题 • 多轮交互：不具有唯一正确答案，澄清用户需求 ▪ 大模型【全新的超级应用】越来越像搜索引擎【对现有应用的改造】 • 哪个路线更优，难说 ▪ 大企业 V 创业公司 • Microsoft、Adobe通过大模型达到极大地增强 • 在AGI时代百度的业务「边界」是什么？ ◦ 战略布局：确定边界，作出决策【是不是决策和战略会重新火起来】 • 大模型时代大厂会拿走所有红利吗？ ◦ 机会在创业公司和大厂如何分配 ◦ Robin：大厂会拿走大多数福利 ▪ 利用大模型能力改进应用，其获得的收益增益会更大 ▪ 新价值的创造小于对现有世界的改造 • 什么是「AI Native」 ◦ 基于大模型开发出来的应用？ ◦ 这样的应用有什么特点？ ▪ 纯自然语言而非纯图形应用界面 • 纯自然语言交互的门槛也不低【不就类似于朋友交流吗？如果有记忆，我觉得门槛也可以很低啊】 • 百度：自然语言界面与图形应用界面结合 ▪ 过去技术做不到的内容 • 生成式而非辨别式能力 ◦ AI原生技术开发有什么不同 ▪ 开发方法不同 • 产品经理PM地位增强 ◦ PM：RD比例增大 • 什么样的产品经理PM是适合新时代的？【尤其是卷AI native产品】 ◦ 最重要的是综合能力+学习能力 ▪ 复合背景 ▪ 学习能力 ▪ 产品、市场的感觉 ▪ 不害怕新技术，敢读技术论文 • 不一定自己要做技术，思考重心在于产品而非技术 ▪ 不满足于对现有技术的应用，敢想 ▪ 对新技术有热情 ◦ Prompt达人 ◦ AI超级用户 ◦ 大厂高P • 与谈者 ◦ 李彦宏 Robin：百度 创始人、董事长兼首席执行官 ▪ 商业色彩：其核心在于回报，而非追求理想，想象力有些受商业束缚 ◦ 张鹏：极客公园 创始人&总裁 ◦ 李彦宏 Robin：百度 创始人、董事长兼首席执行官 ▪ 商业色彩：其核心在于回报，而非追求理想，想象力有些受商业束缚 ▪ 商业色彩：其核心在于回报，而非追求理想，想象力有些受商业束缚 ◦ 张鹏：极客公园 创始人&总裁 • 总结：百度做了什么 ◦ AI发展历程：波折，很多先驱已经疲惫 ◦ 追求：标准化产品、有应用性、有商业价值、通用性 ◦ 认为最主要的增长点：基础模型之上的AI原生应用 ▪ 产生更多的机会 ▪ 类比微信的价值不比安卓的价值差 ▪ 认为许多资源精力“浪费”在基础模型的训练上 ◦ AI发展历程：波折，很多先驱已经疲惫 ◦ 追求：标准化产品、有应用性、有商业价值、通用性 ◦ 认为最主要的增长点：基础模型之上的AI原生应用 ▪ 产生更多的机会 ▪ 类比微信的价值不比安卓的价值差 ▪ 认为许多资源精力“浪费”在基础模型的训练上 ▪ 产生更多的机会 ▪ 类比微信的价值不比安卓的价值差 ▪ 认为许多资源精力“浪费”在基础模型的训练上 • 中美大模型距离如何丈量 ◦ 差别： ▪ 政策差别 ▪ 芯片限制 ▪ 发展方向：美国企业级软件市场更大，中国ToC软件更加活跃（中国企业级软件市场小） ▪ 技术差距：技术应当为应用服务：不应该直接看刷榜和跑分，认为类似于高考【以应用为导向】 • 要定义好什么算好的模型，这个标准对于企业很重要，企业最好要有自己的评价框架 ◦ 差别： ▪ 政策差别 ▪ 芯片限制 ▪ 发展方向：美国企业级软件市场更大，中国ToC软件更加活跃（中国企业级软件市场小） ▪ 技术差距：技术应当为应用服务：不应该直接看刷榜和跑分，认为类似于高考【以应用为导向】 • 要定义好什么算好的模型，这个标准对于企业很重要，企业最好要有自己的评价框架 ▪ 政策差别 ▪ 芯片限制 ▪ 发展方向：美国企业级软件市场更大，中国ToC软件更加活跃（中国企业级软件市场小） ▪ 技术差距：技术应当为应用服务：不应该直接看刷榜和跑分，认为类似于高考【以应用为导向】 • 要定义好什么算好的模型，这个标准对于企业很重要，企业最好要有自己的评价框架 • 要定义好什么算好的模型，这个标准对于企业很重要，企业最好要有自己的评价框架 • 大模型的发展是拼「大力出奇迹」吗？ ◦ 未来应当是拼效率，肯定会涉及成本的考量 ▪ 我认为Robin太有一个商业的思考了，不是一个技术范儿，在目前AI大模型发展早期还是应该重视核心能力 ◦ 产业政策 ▪ Robin 依赖国家的政策和资源 ◦ 【利用】除了大模型能力突破之外，企业有没有利用大模型对其关键指标进行优化也非常重要 ▪ 做起来不容易 • 大公司反应很慢，慢半拍【大公司反应落后生产力，不习惯创新，体系臃肿，重做的成本高】 • 中型企业、创业公司反应更快，更倾向于拥抱大模型，开发迭代出新一代的应用 ◦ Super APP：主要靠创业公司和VC ◦ 百模大战的结果 ▪ 中国大模型企业逐渐转向大模型 based应用开发 ▪ 认为几百个模型，在算力受限制的情况下，是对社会资源的浪费 ◦ 未来应当是拼效率，肯定会涉及成本的考量 ▪ 我认为Robin太有一个商业的思考了，不是一个技术范儿，在目前AI大模型发展早期还是应该重视核心能力 ▪ 我认为Robin太有一个商业的思考了，不是一个技术范儿，在目前AI大模型发展早期还是应该重视核心能力 ◦ 产业政策 ▪ Robin 依赖国家的政策和资源 ▪ Robin 依赖国家的政策和资源 ◦ 【利用】除了大模型能力突破之外，企业有没有利用大模型对其关键指标进行优化也非常重要 ▪ 做起来不容易 • 大公司反应很慢，慢半拍【大公司反应落后生产力，不习惯创新，体系臃肿，重做的成本高】 • 中型企业、创业公司反应更快，更倾向于拥抱大模型，开发迭代出新一代的应用 ▪ 做起来不容易 • 大公司反应很慢，慢半拍【大公司反应落后生产力，不习惯创新，体系臃肿，重做的成本高】 • 中型企业、创业公司反应更快，更倾向于拥抱大模型，开发迭代出新一代的应用 • 大公司反应很慢，慢半拍【大公司反应落后生产力，不习惯创新，体系臃肿，重做的成本高】 • 中型企业、创业公司反应更快，更倾向于拥抱大模型，开发迭代出新一代的应用 ◦ Super APP：主要靠创业公司和VC ◦ 百模大战的结果 ▪ 中国大模型企业逐渐转向大模型 based应用开发 ▪ 认为几百个模型，在算力受限制的情况下，是对社会资源的浪费 ▪ 中国大模型企业逐渐转向大模型 based应用开发 ▪ 认为几百个模型，在算力受限制的情况下，是对社会资源的浪费 • 到底什么是「用AI重构所有应用」？ ◦ 如何把兴奋传导到百度整个公司？ ◦ 上下开会对齐、布道、指令性要求（重做每一个产品和应用） ◦ 接入大模型 重构应用 ▪ 和大厂的肌肉记忆较劲，接入最简单，最不需要动脑筋，价值最低 ▪ 大模型的创造要反应到业务的关键指标，必须要重构应用，不能靠着惯性 • 大模型必须要对业务有帮助（对业务的关键指标有正向影响） • 不看跑分和刷榜【说到底没有那么在意大模型本身，而是在意大模型对于业务的增长，与OpenAI的理想主义不同】 ◦ 大模型和百度搜索的关系是什么？ ▪ 在搜索功能上的结合：【bing】 • 极致满足：给出对问题的唯一答案 • 推荐激发：猜测推荐进一步相关的问题 • 多轮交互：不具有唯一正确答案，澄清用户需求 ▪ 大模型【全新的超级应用】越来越像搜索引擎【对现有应用的改造】 • 哪个路线更优，难说 ▪ 大企业 V 创业公司 • Microsoft、Adobe通过大模型达到极大地增强 ◦ 如何把兴奋传导到百度整个公司？ ◦ 上下开会对齐、布道、指令性要求（重做每一个产品和应用） ◦ 接入大模型 重构应用 ▪ 和大厂的肌肉记忆较劲，接入最简单，最不需要动脑筋，价值最低 ▪ 大模型的创造要反应到业务的关键指标，必须要重构应用，不能靠着惯性 • 大模型必须要对业务有帮助（对业务的关键指标有正向影响） • 不看跑分和刷榜【说到底没有那么在意大模型本身，而是在意大模型对于业务的增长，与OpenAI的理想主义不同】 ▪ 和大厂的肌肉记忆较劲，接入最简单，最不需要动脑筋，价值最低 ▪ 大模型的创造要反应到业务的关键指标，必须要重构应用，不能靠着惯性 • 大模型必须要对业务有帮助（对业务的关键指标有正向影响） • 不看跑分和刷榜【说到底没有那么在意大模型本身，而是在意大模型对于业务的增长，与OpenAI的理想主义不同】 • 大模型必须要对业务有帮助（对业务的关键指标有正向影响） • 不看跑分和刷榜【说到底没有那么在意大模型本身，而是在意大模型对于业务的增长，与OpenAI的理想主义不同】 ◦ 大模型和百度搜索的关系是什么？ ▪ 在搜索功能上的结合：【bing】 • 极致满足：给出对问题的唯一答案 • 推荐激发：猜测推荐进一步相关的问题 • 多轮交互：不具有唯一正确答案，澄清用户需求 ▪ 大模型【全新的超级应用】越来越像搜索引擎【对现有应用的改造】 • 哪个路线更优，难说 ▪ 大企业 V 创业公司 • Microsoft、Adobe通过大模型达到极大地增强 ▪ 在搜索功能上的结合：【bing】 • 极致满足：给出对问题的唯一答案 • 推荐激发：猜测推荐进一步相关的问题 • 多轮交互：不具有唯一正确答案，澄清用户需求 • 极致满足：给出对问题的唯一答案 • 推荐激发：猜测推荐进一步相关的问题 • 多轮交互：不具有唯一正确答案，澄清用户需求 ▪ 大模型【全新的超级应用】越来越像搜索引擎【对现有应用的改造】 • 哪个路线更优，难说 • 哪个路线更优，难说 ▪ 大企业 V 创业公司 • Microsoft、Adobe通过大模型达到极大地增强 • Microsoft、Adobe通过大模型达到极大地增强 • 在AGI时代百度的业务「边界」是什么？ ◦ 战略布局：确定边界，作出决策【是不是决策和战略会重新火起来】 ◦ 战略布局：确定边界，作出决策【是不是决策和战略会重新火起来】 • 大模型时代大厂会拿走所有红利吗？ ◦ 机会在创业公司和大厂如何分配 ◦ Robin：大厂会拿走大多数福利 ▪ 利用大模型能力改进应用，其获得的收益增益会更大 ▪ 新价值的创造小于对现有世界的改造 ◦ 机会在创业公司和大厂如何分配 ◦ Robin：大厂会拿走大多数福利 ▪ 利用大模型能力改进应用，其获得的收益增益会更大 ▪ 新价值的创造小于对现有世界的改造 ▪ 利用大模型能力改进应用，其获得的收益增益会更大 ▪ 新价值的创造小于对现有世界的改造 • 什么是「AI Native」 ◦ 基于大模型开发出来的应用？ ◦ 这样的应用有什么特点？ ▪ 纯自然语言而非纯图形应用界面 • 纯自然语言交互的门槛也不低【不就类似于朋友交流吗？如果有记忆，我觉得门槛也可以很低啊】 • 百度：自然语言界面与图形应用界面结合 ▪ 过去技术做不到的内容 • 生成式而非辨别式能力 ◦ AI原生技术开发有什么不同 ▪ 开发方法不同 • 产品经理PM地位增强 ◦ PM：RD比例增大 ◦ 基于大模型开发出来的应用？ ◦ 这样的应用有什么特点？ ▪ 纯自然语言而非纯图形应用界面 • 纯自然语言交互的门槛也不低【不就类似于朋友交流吗？如果有记忆，我觉得门槛也可以很低啊】 • 百度：自然语言界面与图形应用界面结合 ▪ 过去技术做不到的内容 • 生成式而非辨别式能力 ▪ 纯自然语言而非纯图形应用界面 • 纯自然语言交互的门槛也不低【不就类似于朋友交流吗？如果有记忆，我觉得门槛也可以很低啊】 • 百度：自然语言界面与图形应用界面结合 • 纯自然语言交互的门槛也不低【不就类似于朋友交流吗？如果有记忆，我觉得门槛也可以很低啊】 • 百度：自然语言界面与图形应用界面结合 ▪ 过去技术做不到的内容 • 生成式而非辨别式能力 • 生成式而非辨别式能力 ◦ AI原生技术开发有什么不同 ▪ 开发方法不同 • 产品经理PM地位增强 ◦ PM：RD比例增大 ▪ 开发方法不同 • 产品经理PM地位增强 ◦ PM：RD比例增大 • 产品经理PM地位增强 ◦ PM：RD比例增大 ◦ PM：RD比例增大 • 什么样的产品经理PM是适合新时代的？【尤其是卷AI native产品】 ◦ 最重要的是综合能力+学习能力 ▪ 复合背景 ▪ 学习能力 ▪ 产品、市场的感觉 ▪ 不害怕新技术，敢读技术论文 • 不一定自己要做技术，思考重心在于产品而非技术 ▪ 不满足于对现有技术的应用，敢想 ▪ 对新技术有热情 ◦ Prompt达人 ◦ AI超级用户 ◦ 大厂高P ◦ 最重要的是综合能力+学习能力 ▪ 复合背景 ▪ 学习能力 ▪ 产品、市场的感觉 ▪ 不害怕新技术，敢读技术论文 • 不一定自己要做技术，思考重心在于产品而非技术 ▪ 不满足于对现有技术的应用，敢想 ▪ 对新技术有热情 ▪ 复合背景 ▪ 学习能力 ▪ 产品、市场的感觉 ▪ 不害怕新技术，敢读技术论文 • 不一定自己要做技术，思考重心在于产品而非技术 • 不一定自己要做技术，思考重心在于产品而非技术 ▪ 不满足于对现有技术的应用，敢想 ▪ 对新技术有热情 ◦ Prompt达人 ◦ AI超级用户 ◦ 大厂高P ◦ 精英开发者 ◦ 成熟产品经理 ◦ 技术大咖：开发门槛越来越低 • 新一代的开发者如何开始行动？ ◦ 重点是去试 ▪ 认知快速迭代，迭代的动力子在于尝试 ◦ 对时间的预期 ▪ 早抓而防止落后 • 但也可以憋大招 ▪ 但会是一个长期的机会 ◦ 重点是去试 ▪ 认知快速迭代，迭代的动力子在于尝试 ▪ 认知快速迭代，迭代的动力子在于尝试 ◦ 对时间的预期 ▪ 早抓而防止落后 • 但也可以憋大招 ▪ 但会是一个长期的机会 ▪ 早抓而防止落后 • 但也可以憋大招 • 但也可以憋大招 ▪ 但会是一个长期的机会 【技术人】大模型「皇冠上的明珠」，到底是什么？【大模型关键技术】 • 与谈者 ◦ 张宏江：美国国家工程院院士、前智源研究院 理事长 ◦ 卢一峰：Google DeepMind 资深工程师 • Q ◦ 思维能力 ▪ 快思考 • 知识来源于数据，判断 ▪ 慢思考：创新、解决前沿问题 • 需要实验、探索 • 学习能力、智慧 ◦ 目前的LLM：快思考模式 ▪ 慢思考模式：创新、解决前沿问题比较难 ▪ Q 朝着自我进化的能力的方向发展 ◦ 慢思考能力是如何获得的 ▪ Auto regressive 自回归的Decoding • 第一个问题：在Decoding的时候什么时候会不确定？ • 第二个问题：不确定的时候，可以Stop，进行进一步探索【更像Agent：Action based】，有哪些探索手段？ ◦ 上网搜索：融合RAG Research Engine ◦ 翻书：知识图谱 ◦ 与别人讨论：LOM，Multi Agent • 获得知识后，是否更加确定？ ◦ 确定：继续Decode ◦ 不确定：进行进一步的探索 ▪ 类比人类的慢思考能力来源 • 如何解决幻觉问题：提升大模型的可靠性 ◦ 精细化对齐 ▪ Pretrain的大模型已经压缩了互联网的许多知识 ▪ 已经对现有知识有比较reasonable的了解【知识储备层面】 ▪ 如果进行对齐时，没有很仔细的去做，可能促使其撒谎【行为层面】 • 所以要进行更好的对齐，用QA data进行仔细的fine tune • 要特别仔细的选择fine tune数据（真实地反映了data） ◦ RAG：Retrival augmented Generation ▪ 将搜索引擎返回的结果放入Context，让返回结果更Factural ▪ 在模型不确定时，定制化调用搜索引擎、专家系统、Agent（模拟实验等） ◦ 但目前还不够靠谱 ▪ 测量量化不确定的概率和时间 ◦ 如何Predict Uncertainty：商业化应用 • Transformer架构是唯一可行的架构吗？ ◦ 其实已经不是最初Paper所指代的架构了 ▪ Architecture层面已经提出了很多改进 ▪ 而且除了架构外，还包括一系列的解决方案（GPU TPU Dense的加速器；Next token Generation的traning任务/目标） ◦ 如果完全推翻transformer似乎可能有难度 ▪ 目前业界已经进行了许多优化，要找到新的方向，要先跳出现有的局部最优，甚至要走弯路 ▪ 可能引起的变化 • 硬件的变化：如TPU GPU的硬件提升 ◦ Transformer其实是最大化的利用了现有新兴硬件的能力 ◦ 如果硬件有突破，软件也可能有突破 ◦ 也可能是Co design • 新的Training objective ◦ 改进Next token Generation ◦ Multi modelity 多模态 ▪ 文本+图像+音频：更多材料获得更多世界运行的规律 ▪ 尤其是更加直觉的方面，不能描述的方面 • 什么是美？ • 数据问题 ◦ 文字数据 ▪ 现有Transformer架构下：数据可能是最重要的模块 • 数据实际上是任务、承载的是目标 • 数据的分类 ◦ pretraining的数据 ▪ 所有互联网的语料 ▪ 能不能深入地看看到底是在做什么？实际上是在做各种类型的Task • 对语言的理解（预测） • 推理判断（侦探小说） • coding • 写诗 • 事实问答 ▪ 世界模型 • 啥都知道一点 ▪ 除了pre training的数据，还需要什么数据？ • Synthetic data（创造的数据） ◦ 尤其是超人类的数据 ◦ 创造出超出人类普遍能力的数据 ◦ 这样才能训练出超出average能力的模型 • 现在只能替代普通人，未来会不会把精英人群也给替代了... • Self Play + 博弈的方法（慢思考的过程）陈升的成果作为创造的数据 • 与谈者 ◦ 张宏江：美国国家工程院院士、前智源研究院 理事长 ◦ 卢一峰：Google DeepMind 资深工程师 ◦ 张宏江：美国国家工程院院士、前智源研究院 理事长 ◦ 卢一峰：Google DeepMind 资深工程师 • Q ◦ 思维能力 ▪ 快思考 • 知识来源于数据，判断 ▪ 慢思考：创新、解决前沿问题 • 需要实验、探索 • 学习能力、智慧 ◦ 目前的LLM：快思考模式 ▪ 慢思考模式：创新、解决前沿问题比较难 ▪ Q 朝着自我进化的能力的方向发展 ◦ 慢思考能力是如何获得的 ▪ Auto regressive 自回归的Decoding • 第一个问题：在Decoding的时候什么时候会不确定？ • 第二个问题：不确定的时候，可以Stop，进行进一步探索【更像Agent：Action based】，有哪些探索手段？ ◦ 上网搜索：融合RAG Research Engine ◦ 翻书：知识图谱 ◦ 与别人讨论：LOM，Multi Agent • 获得知识后，是否更加确定？ ◦ 确定：继续Decode ◦ 不确定：进行进一步的探索 ▪ 类比人类的慢思考能力来源 ◦ 思维能力 ▪ 快思考 • 知识来源于数据，判断 ▪ 慢思考：创新、解决前沿问题 • 需要实验、探索 • 学习能力、智慧 ▪ 快思考 • 知识来源于数据，判断 • 知识来源于数据，判断 ▪ 慢思考：创新、解决前沿问题 • 需要实验、探索 • 学习能力、智慧 • 需要实验、探索 • 学习能力、智慧 ◦ 目前的LLM：快思考模式 ▪ 慢思考模式：创新、解决前沿问题比较难 ▪ Q 朝着自我进化的能力的方向发展 ▪ 慢思考模式：创新、解决前沿问题比较难 ▪ Q 朝着自我进化的能力的方向发展 ◦ 慢思考能力是如何获得的 ▪ Auto regressive 自回归的Decoding • 第一个问题：在Decoding的时候什么时候会不确定？ • 第二个问题：不确定的时候，可以Stop，进行进一步探索【更像Agent：Action based】，有哪些探索手段？ ◦ 上网搜索：融合RAG Research Engine ◦ 翻书：知识图谱 ◦ 与别人讨论：LOM，Multi Agent • 获得知识后，是否更加确定？ ◦ 确定：继续Decode ◦ 不确定：进行进一步的探索 ▪ 类比人类的慢思考能力来源 ▪ Auto regressive 自回归的Decoding • 第一个问题：在Decoding的时候什么时候会不确定？ • 第二个问题：不确定的时候，可以Stop，进行进一步探索【更像Agent：Action based】，有哪些探索手段？ ◦ 上网搜索：融合RAG Research Engine ◦ 翻书：知识图谱 ◦ 与别人讨论：LOM，Multi A