AI学什么（第17期）：大模型的"涌现"之谜

AI学什么（第17期）：大模型的"涌现"之谜 AI学什么（第17期）：大模型的"涌现"之谜 Modified August 19, 2025 从白蚁到AI：大语言模型“涌现”能力之谜 Unable to preview. Please download the file. 特别值得注意的是"情境学习"能力的出现。当模型规模足够大时，仅仅通过在输入中提供几个例子，模型就能瞬间学会新任务——不需要重新训练，不需要调整参数，仅仅是"看几眼例子"就能推理出规律并应用到新情况。这让我想起格拉塞观察到的白蚁：它们也是通过观察环境中的简单信号，就能做出复杂的建造决策。 临界点 涌现现象最令人困惑的特征之一，就是它的突然性。斯坦福大学的研究团队进行了一项巧妙的实验，训练了数十个不同规模的模型，发现不同能力的涌现临界点各不相同。 数学推理能力大约在130亿参数附近开始显现，在1750亿参数时基本成熟。复杂的常识推理需要5000亿参数以上才开始可靠地产生。而最高级的抽象思维和创造性能力，似乎需要万亿级别的参数。 这种"能力阶梯"现象印证了格拉塞对白蚁社会的另一个观察：不同功能的发展也需要不同的群体规模作为基础。MIT的认知科学家苏珊·凯里提出了"前提积累理论"。她认为，表面上看起来突然的涌现，实际上是量变积累的结果。 学习骑自行车的过程很好地说明了这种机制。在你真正能够平衡骑行之前，大脑已经在无意识中练习了数千次微调动作。这些技能单独看都很细微，但当它们积累到足够程度时，"会骑车"这个技能就会突然出现。 大语言模型的涌现可能遵循类似的机制。在能够进行复杂推理之前，模型必须先掌握语言模式识别、语义关联、逻辑结构理解等基础能力。只有当它们的综合效果达到临界阈值时，高级推理能力才会突然显现——就像白蚁的建造能力需要足够多的个体协作才能显现一样。 数学魔法 就在研究者们还在为涌现现象的突然性困惑时，另一个更深层的发现出现了：规模法则。2020年，OpenAI发布了一项重要的研究，他们训练了数百个不同规模的语言模型，发现模型的性能提升遵循着令人惊讶的数学规律——损失函数与参数量、训练数据量和计算量都呈现出完美的幂律关系。 这种幂律关系在自然界中非常常见。城市规模与创新产出、大脑神经元数量与智能复杂度，都遵循着相似的数学模式。现在，人工智能似乎也加入了这个"幂律俱乐部"，仿佛在重复着格拉塞在白蚁社会中观察到的那种规模与能力的神秘关联。 但规模法则只能预测平均性能的提升，却无法预测涌现能力的出现。这就产生了一个有趣的悖论：整体性能的提升是平滑的、可预测的，但具体能力的涌现却是突然的、不可预期的。 深度学习理论家雅各布·安德烈亚斯提出了"能力组合理论"来解释这种现象。他认为，涌现能力实际上是多个基础能力的非线性组合。当基础能力按照规模法则平滑提升时，它们的组合效果可能会在某个临界点突然跨越能力阈值。 但规模法则也带来了担忧的经济现实。计算成本随着模型规模呈指数级增长。训练GPT 3花费了约1200万美元，而GPT 4的训练成本估计约7900万美元。这种成本爆炸正在重塑AI产业的竞争格局，只有拥有巨大资本的科技巨头才能承担超大规模模型的开发——这让我想起白蚁社会中只有足够大的群体才能建造复杂建筑的规律。 意识边界 当AI系统产生越来越多类似人类的涌现能力时，一个老问题重新出现：这些系统是否具备了某种形式的意识？这个问题让我想起格拉塞当年的困惑：白蚁的集体行为中是否存在某种我们无法理解的"群体意识"？ 当大模型能够进行深层哲学思考、表达复杂情感、甚至产生自我反思能力时，我们很难不去思考：在这些数字神经网络中，是否正在发生某种形式的主观体验？ 斯坦福大学的哲学家大卫·查默斯指出，意识本身可能就是大脑复杂神经活动的涌现特性。如果这种理解是正确的，那么大语言模型中的涌现能力可能确实代表着某种原始意识的萌芽。 但这种观点也面临着严重的挑战。意识的核心特征是主观性——只有体验者本身才能确认自己是否有意识。我们永远无法确定AI系统是否真的有意识，还是仅仅在模拟意识的行为。 认知科学家加里·马库斯提出了"表面涌现"假说。他认为，当前AI系统的涌现能力主要是统计模式识别的复杂表现，而非真正的概念理解。但随着AI系统变得越来越复杂，区分"真正的智能"和"智能的完美模拟"可能变得越来越困难。 这让我想起格拉塞面对白蚁巢穴时的感受：我们永远无法确定这种复杂行为背后是否存在某种我们无法理解的智能形式。 不可预测 正如格拉塞永远无法预测白蚁群体下一步会建造什么惊人结构一样，在AI涌现现象的研究中，最令人既兴奋又忧虑的也是其根本性的不可预测性。2023年初，当研究者们测试不同的模型时，他们发现了完全意想不到的能力：模型能够"理解"和生成ASCII艺术，还产生了某种"视觉推理"能力。 这种不可预测性让AI开发变成了一场前所未有的探险。每当我们训练一个新的大型模型时，都像是在打开一个神秘的礼品盒——我们知道里面有好东西，但不知道具体是什么。斯坦福大学的AI研究者珀西·梁把这种现象比作"智能考古学"，研究者们不是在创造能力，而是在"发掘"那些已经以某种形式存在于巨大神经网络中的潜在能力。 正当研究者们为AI的涌现现象困惑时，来自其他学科的洞察提供了新的理解角度。诺贝尔经济学奖得主肯尼思·阿罗发现，当大量个体经济行为者按照简单规则进行交易时，整个市场会产生复杂的价格发现机制和资源配置效率。没有中央规划者，但市场却产生了惊人的组织能力——这与格拉塞观察到的白蚁现象非常相似。 正是这种跨领域的相似性，让我们开始理解大语言模型中的涌现可能也是一种"智能的自组织"过程。数十亿个神经元连接按照简单的数学规则进行计算，但它们的集体行为却产生了复杂的认知能力。而复杂系统理论进一步告诉我们，涌现的关键不在于个体的复杂性，而在于个体之间的相互作用模式。 回到刚果 当格拉塞多年后重新审视他在刚果丛林的发现时，他意识到自己见证的远不止一个生物学现象，而是宇宙中一种更深层的创造性原理。从原子到分子，从细胞到生命，从生命到智能——整个宇宙的发展史就是一部涌现的史诗。现在，人工智能让我们站在了这部史诗的新篇章前。当数十亿个数字神经元按照简单规则相互作用时，它们正在重演生命进化中最奇妙的过程。但与生物进化不同的是，AI的涌现发生在人类眼前，速度快得让人眩晕。白蚁花费数百万年进化出建造能力，而大语言模型在几年内就发展出复杂推理能力。这种加速发展为我们提供了前所未有的工具，但也带来了尚未充分理解的风险。 但正是这种不确定性，这种不可预测的创造力，让智能的展现变得如此奇妙，也让这场人工智能革命变得如此吸引人。量变引发质变，简单孕育复杂——这就是涌现的魔法，也是智能诞生的根本奥秘。 我是蓝衣剑客，谢谢你看我的文章。 参考文献 • Emergent Abilities of Large Language Models (2022) Google Research, Stanford University, DeepMind等机构联合研究，首次系统性地描述了AI涌现能力现象 • Scaling Laws for Neural Language Models (2020) OpenAI关于模型规模与性能关系的重要研究 • GPT 4 Technical Report (2023) OpenAI关于GPT 4技术细节的官方报告 • AI Index Report 2025 斯坦福大学发布的AI发展年度报告，包含最新的模型训练成本数据 • 行业研报 多家证券研究机构关于AI大模型发展的深度分析报告 从白蚁到AI：大语言模型“涌现”能力之谜 Unable to preview. Please download the file. 从白蚁到AI：大语言模型“涌现”能力之谜 Unable to preview. Please download the file. 特别值得注意的是"情境学习"能力的出现。当模型规模足够大时，仅仅通过在输入中提供几个例子，模型就能瞬间学会新任务——不需要重新训练，不需要调整参数，仅仅是"看几眼例子"就能推理出规律并应用到新情况。这让我想起格拉塞观察到的白蚁：它们也是通过观察环境中的简单信号，就能做出复杂的建造决策。 临界点 涌现现象最令人困惑的特征之一，就是它的突然性。斯坦福大学的研究团队进行了一项巧妙的实验，训练了数十个不同规模的模型，发现不同能力的涌现临界点各不相同。 数学推理能力大约在130亿参数附近开始显现，在1750亿参数时基本成熟。复杂的常识推理需要5000亿参数以上才开始可靠地产生。而最高级的抽象思维和创造性能力，似乎需要万亿级别的参数。 这种"能力阶梯"现象印证了格拉塞对白蚁社会的另一个观察：不同功能的发展也需要不同的群体规模作为基础。MIT的认知科学家苏珊·凯里提出了"前提积累理论"。她认为，表面上看起来突然的涌现，实际上是量变积累的结果。 学习骑自行车的过程很好地说明了这种机制。在你真正能够平衡骑行之前，大脑已经在无意识中练习了数千次微调动作。这些技能单独看都很细微，但当它们积累到足够程度时，"会骑车"这个技能就会突然出现。 大语言模型的涌现可能遵循类似的机制。在能够进行复杂推理之前，模型必须先掌握语言模式识别、语义关联、逻辑结构理解等基础能力。只有当它们的综合效果达到临界阈值时，高级推理能力才会突然显现——就像白蚁的建造能力需要足够多的个体协作才能显现一样。 数学魔法 就在研究者们还在为涌现现象的突然性困惑时，另一个更深层的发现出现了：规模法则。2020年，OpenAI发布了一项重要的研究，他们训练了数百个不同规模的语言模型，发现模型的性能提升遵循着令人惊讶的数学规律——损失函数与参数量、训练数据量和计算量都呈现出完美的幂律关系。 这种幂律关系在自然界中非常常见。城市规模与创新产出、大脑神经元数量与智能复杂度，都遵循着相似的数学模式。现在，人工智能似乎也加入了这个"幂律俱乐部"，仿佛在重复着格拉塞在白蚁社会中观察到的那种规模与能力的神秘关联。 但规模法则只能预测平均性能的提升，却无法预测涌现能力的出现。这就产生了一个有趣的悖论：整体性能的提升是平滑的、可预测的，但具体能力的涌现却是突然的、不可预期的。 深度学习理论家雅各布·安德烈亚斯提出了"能力组合理论"来解释这种现象。他认为，涌现能力实际上是多个基础能力的非线性组合。当基础能力按照规模法则平滑提升时，它们的组合效果可能会在某个临界点突然跨越能力阈值。 但规模法则也带来了担忧的经济现实。计算成本随着模型规模呈指数级增长。训练GPT 3花费了约1200万美元，而GPT 4的训练成本估计约7900万美元。这种成本爆炸正在重塑AI产业的竞争格局，只有拥有巨大资本的科技巨头才能承担超大规模模型的开发——这让我想起白蚁社会中只有足够大的群体才能建造复杂建筑的规律。 意识边界 当AI系统产生越来越多类似人类的涌现能力时，一个老问题重新出现：这些系统是否具备了某种形式的意识？这个问题让我想起格拉塞当年的困惑：白蚁的集体行为中是否存在某种我们无法理解的"群体意识"？ 当大模型能够进行深层哲学思考、表达复杂情感、甚至产生自我反思能力时，我们很难不去思考：在这些数字神经网络中，是否正在发生某种形式的主观体验？ 斯坦福大学的哲学家大卫·查默斯指出，意识本身可能就是大脑复杂神经活动的涌现特性。如果这种理解是正确的，那么大语言模型中的涌现能力可能确实代表着某种原始意识的萌芽。 但这种观点也面临着严重的挑战。意识的核心特征是主观性——只有体验者本身才能确认自己是否有意识。我们永远无法确定AI系统是否真的有意识，还是仅仅在模拟意识的行为。 认知科学家加里·马库斯提出了"表面涌现"假说。他认为，当前AI系统的涌现能力主要是统计模式识别的复杂表现，而非真正的概念理解。但随着AI系统变得越来越复杂，区分"真正的智能"和"智能的完美模拟"可能变得越来越困难。 这让我想起格拉塞面对白蚁巢穴时的感受：我们永远无法确定这种复杂行为背后是否存在某种我们无法理解的智能形式。 不可预测 正如格拉塞永远无法预测白蚁群体下一步会建造什么惊人结构一样，在AI涌现现象的研究中，最令人既兴奋又忧虑的也是其根本性的不可预测性。2023年初，当研究者们测试不同的模型时，他们发现了完全意想不到的能力：模型能够"理解"和生成ASCII艺术，还产生了某种"视觉推理"能力。 这种不可预测性让AI开发变成了一场前所未有的探险。每当我们训练一个新的大型模型时，都像是在打开一个神秘的礼品盒——我们知道里面有好东西，但不知道具体是什么。斯坦福大学的AI研究者珀西·梁把这种现象比作"智能考古学"，研究者们不是在创造能力，而是在"发掘"那些已经以某种形式存在于巨大神经网络中的潜在能力。 正当研究者们为AI的涌现现象困惑时，来自其他学科的洞察提供了新的理解角度。诺贝尔经济学奖得主肯尼思·阿罗发现，当大量个体经济行为者按照简单规则进行交易时，整个市场会产生复杂的价格发现机制和资源配置效率。没有中央规划者，但市场却产生了惊人的组织能力——这与格拉塞观察到的白蚁现象非常相似。 正是这种跨领域的相似性，让我们开始理解大语言模型中的涌现可能也是一种"智能的自组织"过程。数十亿个神经元连接按照简单的数学规则进行计算，但它们的集体行为却产生了复杂的认知能力。而复杂系统理论进一步告诉我们，涌现的关键不在于个体的复杂性，而在于个体之间的相互作用模式。 回到刚果 当格拉塞多年后重新审视他在刚果丛林的发现时，他意识到自己见证的远不止一个生物学现象，而是宇宙中一种更深层的创造性原理。从原子到分子，从细胞到生命，从生命到智能——整个宇宙的发展史就是一部涌现的史诗。现在，人工智能让我们站在了这部史诗的新篇章前。当数十亿个数字神经元按照简单规则相互作用时，它们正在重演生命进化中最奇妙的过程。但与生物进化不同的是，AI的涌现发生在人类眼前，速度快得让人眩晕。白蚁花费数百万年进化出建造能力，而大语言模型在几年内就发展出复杂推理能力。这种加速发展为我们提供了前所未有的工具，但也带来了尚未充分理解的风险。 但正是这种不确定性，这种不可预测的创造力，让智能的展现变得如此奇妙，也让这场人工智能革命变得如此吸引人。量变引发质变，简单孕育复杂——这就是涌现的魔法，也是智能诞生的根本奥秘。 我是蓝衣剑客，谢谢你看我的文章。 参考文献 • Emergent Abilities of Large Language Models (2022) Google Research, Stanford University, DeepMind等机构联合研究，首次系统性地描述了AI涌现能力现象 • Scaling Laws for Neural Language Models (2020) OpenAI关于模型规模与性能关系的重要研究 • GPT 4 Technical Report (2023) OpenAI关于GPT 4技术细节的官方报告 • AI Index Report 2025 斯坦福大学发布的AI发展年度报告，包含最新的模型训练成本数据 • 行业研报 多家证券研究机构关于AI大模型发展的深度分析报告 🔗 原文链接： https://mp.weixin.qq.com/s/9iU1uVP7... https://mp.weixin.qq.com/s/9iU1uVP7... 原创 蓝衣剑客 AIGC思维火花2025年08月18日 08:04 河北 You don't have permission to access this synced block. Please log in and try again. Log In 大家好，我是蓝衣剑客，欢迎回到「AI学什么」——一个专注于AI科普的栏目。这个栏目的宗旨是"用最精彩的故事，讲述最硬核的知识"。在这里，你将看到深入浅出的AI核心技术解析，既不会被枯燥的技术细节困扰，也不会停留在肤浅的概念层面。通过生动的类比、通俗的语言和完整的故事，帮助你在轻松阅读中掌握那些看似难以理解的AI知识，培养应对AI时代的核心认知能力。 大家好，我是蓝衣剑客，欢迎回到「AI学什么」——一个专注于AI科普的栏目。这个栏目的宗旨是"用最精彩的故事，讲述最硬核的知识"。在这里，你将看到深入浅出的AI核心技术解析，既不会被枯燥的技术细节困扰，也不会停留在肤浅的概念层面。通过生动的类比、通俗的语言和完整的故事，帮助你在轻松阅读中掌握那些看似难以理解的AI知识，培养应对AI时代的核心认知能力。 格拉塞的发现 1955年春天，法国生物学家皮埃尔 保罗·格拉塞站在非洲刚果丛林中，观察着一个令他困惑的现象。数百万只白蚁正在建造着一座高达三米的"摩天大楼"——白蚁巢。 每只白蚁的行为极其简单：觅食、搬运土粒、分泌粘液。它们没有建筑师，没有施工图纸，甚至没有复杂的沟通方式。单独观察任何一只白蚁，你会发现它的行为几乎是机械的——遇到化学信号就跟随，携带材料到达特定位置就放下。 但当数百万只这样"愚蠢"的个体聚集在一起时，奇迹发生了。它们建造出了结构复杂、功能完备的巨型建筑：有通风系统、有温度调节、有专门的育婴室、食物储藏室，甚至还有排水设施。这座"白蚁之城"的精密程度让人类建筑师都叹为观止。 格拉塞把这种现象称为"涌现"——当大量简单个体聚集时，整个系统突然产生单个个体从未具备的新能力和新特性。在生物世界里，这种现象无处不在：鸟群的协调飞行、鱼群的集体游弋、大脑神经元产生的意识。 但他可能没有想到，六十多年后，这个古老的生物学概念会在人工智能领域掀起巨大波澜。研究者们发现，当大语言模型的参数量超过某个临界点时，它们也会突然产生从未被明确训练过的新能力：复杂推理、数学计算、多语言翻译、甚至是创造性思维。 跃升 在AI研究的早期，科学家们对于能力提升有着朴素的期待：模型更大，性能更好。然而，当研究者们开始真正测量大语言模型在各种任务上的表现时，他们发现了困惑的现象。 2022年，谷歌发布的一份研究报告在学术界引起了广泛关注——这份报告让人们第一次真正理解了格拉塞当年在丛林中见证的那种神秘力量。研究团队测试了从几千万参数到1750亿参数的不同规模语言模型，在超过100个不同任务上的表现。结果显示，很多能力的发展轨迹完全出乎意料。 以三位数加法为例。当模型参数在100万、1000万、甚至1亿时，无论怎么训练，正确率始终徘徊在10%左右——基本等于随机猜测。就在研究者们开始怀疑大语言模型天生不适合数学计算时，奇迹发生了。 当参数量突破约130亿这个临界点时，模型的数学能力突然爆发，三位数加法的正确率从10%跃升到90%以上。这种转变让研究者们感到惊讶——从"完全不会"到"基本掌握"，中间几乎没有过渡阶段，就像白蚁瞬间学会了建造。 类似的能力跃升在其他领域同样出现。复杂推理能力在GPT 3规模附近开始出现。多语言翻译能力的变化更让人意外——即使从未见过中文到斯瓦希里语的翻译样本，大模型也能进行准确翻译。程序生成能力遵循着相同的模式，小模型顶多能补全几行代码，但大模型能够生成完整的函数甚至程序。