AI学什么(第3期）：为什么大模型有“健忘症"？

AI学什么(第3期）：为什么大模型有“健忘症"？ AI学什么(第3期）：为什么大模型有“健忘症"？ Modified July 11, 2025 关键信息前置 ：重要的指令和信息放在对话的开始或最近部分。就像人类记忆一样，最先和最后的内容往往更容易被记住。 Code block Plain Text 示例提示： [核心要求] 在回答所有问题时，请始终使用通俗易懂的语言解释复杂概念，避免专业术语。作为一位量子物理学专家，请帮我回答几个关于量子纠缠的问题... 分段处理复杂任务 ：大任务拆成多个小块，每块都能塞进一个上下文窗口。写长文章时分章节处理，分析大数据时分批提供信息。 Code block Plain Text 示例提示： 我需要你帮我写一篇关于环保的文章，我们将分步完成： [第1步] 先写一个引人入胜的开头，介绍塑料污染问题的严重性[后续步骤将陆续提供] // 收到回复后 [第2步] 现在详细分析塑料污染的三大主要来源和影响[稍后将讨论解决方案] 定期总结和重置 ：长对话中，让大模型总结已讨论内容，然后开启新对话。这就像人类做笔记一样，提炼核心点，减轻记忆负担。 Code block Plain Text 示例提示： 我们已经讨论了很多关于人工智能伦理的问题，请总结一下我们的主要观点和结论。 // 收到总结后 谢谢总结。现在让我们开始新的讨论：如何在实际应用中落实这些AI伦理原则？ 使用"记忆提示" ：长对话里，不时重申关键要点： Code block Plain Text 请记住以下关键要点： 1. 这是一个科普文章，目标读者是高中生 2. 需要使用简单易懂的语言 3. 需要提供具体例子 // 几轮对话后 重申要点：我们在创作面向高中生的科普内容，请继续保持简单语言和具体例子。现在请解释神经网络如何"学习"识别图像。 选对模型 ：简单任务用普通模型，复杂文档分析选择大窗口模型。就像选择合适工具一样，没必要用推土机挖小花坛。 Code block Plain Text 简单任务（适合标准窗口模型）： 请简明扼要地解释什么是碳足迹？ 复杂任务（需要大窗口模型）： 我需要分析这份含有30页内容的财务报告，找出其中的异常支出模式和潜在风险。报告如下：[大量财务数据...] 突破记忆限制 大模型的"健忘"困境正在被新技术一步步突破。几种前沿方法正在重塑大语言模型与信息的关系，让它们的记忆能力更接近人类。 检索增强生成(RAG)技术正成为这场变革的主角。这相当于给大模型配了一个随身笔记本，它可以随时查阅外部知识库。当需要回忆之前的信息时，不必挤占宝贵的上下文窗口，而是直接查阅"笔记"。这特别适合处理海量文档或长期对话，让大模型能"记住"远超其窗口限制的信息量。 与此同时，记忆压缩技术也取得了显著进展。谷歌的研究团队开发了MEMORY VQ，通过向量量化技术可以将模型记忆表示压缩至原大小的十六分之一，同时保持几乎相同的性能。NVIDIA近期也推出了动态记忆压缩(DMC)技术，能够自适应地压缩对话状态，大幅减少存储需求。这些技术相当于在不显著增加计算量的情况下，有效扩大了模型的处理能力。以前需要消耗大量内存的长文档处理，现在可以更高效地完成。 此外，还有像JetStream和LUMEN VQ这样的开源项目，分别针对大语言模型推理和记忆增强场景进行了优化。Meta AI也在探索量化技术(如QLoRA和SpinQuant)，使模型能在移动设备上高效运行，同时保持性能。 分层注意力机制则模仿了人类记忆的多层结构。新一代模型开始区分"工作记忆"和"长期记忆"，优先处理重要信息，同时将次要内容存入"长期记忆"，需要时再调用。这让大语言模型不仅能处理更长文本，也让信息处理方式更贴近人类思维。 某些研究项目甚至在探索持久化记忆系统，让大模型建立"个性化记忆"，记住与特定用户的互动历史。即使在不同对话中，大模型也能记得你的偏好、习惯和共享信息，提供连贯且个性化的体验。这可能彻底改变我们与大语言模型的互动方式，让每次对话不再是孤立事件，而是持续关系的延续。 内隐的追忆 在克莱夫残损的记忆中，有种东西顽强地存活了下来。他依然能弹奏复杂的钢琴曲，能在每一次"初见"时重新爱上自己的妻子。这种选择性的留存，这种记忆的层次性，是我们人类认知的独特风景。普鲁斯特在《追忆似水年华》中描写那块玛德莱娜小饼干唤醒的记忆洪流，不正是这种奇妙特性的体现吗？一个味道、一首歌、一缕阳光，便能带回整个世界。 相比之下，大模型的"记忆"如同严格划分的数字档案库，要么完整保留，要么彻底消失，中间没有过渡地带。它们不会"隐约记得"，不会因为某个词的情感共鸣而突然想起曾经的对话。当信息被挤出上下文窗口，它就如同从未存在过。 人类记忆是主观的，带着情感的温度；我们不是记录事实，而是记录事实如何让我们感受。正因如此，记忆会随着时间流逝而改变形状、颜色和质地。悲伤的事件可能在回忆中变得苦乐参半，快乐的瞬间可能因后来的经历而蒙上阴影。 而目前的大模型，尽管拥有惊人的信息处理能力，却仍然缺乏这种记忆的"生命力"。它们没有主观体验，无法建立情感联系，不会因为特定的触发而唤醒已消失的记忆片段。当我们试图让AI"记住"更多内容时，我们其实是在扩展它们的数据存储，而非赋予它们人类式的记忆能力。 在有限的记忆与无限的理解之间，在冰冷的数据与炙热的情感之间，在计算与体验之间，可能永远存在着一道美丽而深刻的鸿沟。这道鸿沟不是技术的失败，而是人性的独特之处。 我是蓝衣剑客，谢谢你看我的文章。 You don't have permission to access this synced block. Please log in and try again. Log In 🔗 原文链接： https://mp.weixin.qq.com/s/ tOJjaYv... 原创 蓝衣剑客 AIGC思维火花2025年07月09日 10:07 河北 https://mp.weixin.qq.com/s/ tOJjaYv... 关键信息前置 ：重要的指令和信息放在对话的开始或最近部分。就像人类记忆一样，最先和最后的内容往往更容易被记住。 分段处理复杂任务 ：大任务拆成多个小块，每块都能塞进一个上下文窗口。写长文章时分章节处理，分析大数据时分批提供信息。 定期总结和重置 ：长对话中，让大模型总结已讨论内容，然后开启新对话。这就像人类做笔记一样，提炼核心点，减轻记忆负担。 使用"记忆提示" ：长对话里，不时重申关键要点： 选对模型 ：简单任务用普通模型，复杂文档分析选择大窗口模型。就像选择合适工具一样，没必要用推土机挖小花坛。 突破记忆限制 大模型的"健忘"困境正在被新技术一步步突破。几种前沿方法正在重塑大语言模型与信息的关系，让它们的记忆能力更接近人类。 检索增强生成(RAG)技术正成为这场变革的主角。这相当于给大模型配了一个随身笔记本，它可以随时查阅外部知识库。当需要回忆之前的信息时，不必挤占宝贵的上下文窗口，而是直接查阅"笔记"。这特别适合处理海量文档或长期对话，让大模型能"记住"远超其窗口限制的信息量。 与此同时，记忆压缩技术也取得了显著进展。谷歌的研究团队开发了MEMORY VQ，通过向量量化技术可以将模型记忆表示压缩至原大小的十六分之一，同时保持几乎相同的性能。NVIDIA近期也推出了动态记忆压缩(DMC)技术，能够自适应地压缩对话状态，大幅减少存储需求。这些技术相当于在不显著增加计算量的情况下，有效扩大了模型的处理能力。以前需要消耗大量内存的长文档处理，现在可以更高效地完成。 此外，还有像JetStream和LUMEN VQ这样的开源项目，分别针对大语言模型推理和记忆增强场景进行了优化。Meta AI也在探索量化技术(如QLoRA和SpinQuant)，使模型能在移动设备上高效运行，同时保持性能。 分层注意力机制则模仿了人类记忆的多层结构。新一代模型开始区分"工作记忆"和"长期记忆"，优先处理重要信息，同时将次要内容存入"长期记忆"，需要时再调用。这让大语言模型不仅能处理更长文本，也让信息处理方式更贴近人类思维。 某些研究项目甚至在探索持久化记忆系统，让大模型建立"个性化记忆"，记住与特定用户的互动历史。即使在不同对话中，大模型也能记得你的偏好、习惯和共享信息，提供连贯且个性化的体验。这可能彻底改变我们与大语言模型的互动方式，让每次对话不再是孤立事件，而是持续关系的延续。 内隐的追忆 在克莱夫残损的记忆中，有种东西顽强地存活了下来。他依然能弹奏复杂的钢琴曲，能在每一次"初见"时重新爱上自己的妻子。这种选择性的留存，这种记忆的层次性，是我们人类认知的独特风景。普鲁斯特在《追忆似水年华》中描写那块玛德莱娜小饼干唤醒的记忆洪流，不正是这种奇妙特性的体现吗？一个味道、一首歌、一缕阳光，便能带回整个世界。 相比之下，大模型的"记忆"如同严格划分的数字档案库，要么完整保留，要么彻底消失，中间没有过渡地带。它们不会"隐约记得"，不会因为某个词的情感共鸣而突然想起曾经的对话。当信息被挤出上下文窗口，它就如同从未存在过。 人类记忆是主观的，带着情感的温度；我们不是记录事实，而是记录事实如何让我们感受。正因如此，记忆会随着时间流逝而改变形状、颜色和质地。悲伤的事件可能在回忆中变得苦乐参半，快乐的瞬间可能因后来的经历而蒙上阴影。 而目前的大模型，尽管拥有惊人的信息处理能力，却仍然缺乏这种记忆的"生命力"。它们没有主观体验，无法建立情感联系，不会因为特定的触发而唤醒已消失的记忆片段。当我们试图让AI"记住"更多内容时，我们其实是在扩展它们的数据存储，而非赋予它们人类式的记忆能力。 在有限的记忆与无限的理解之间，在冰冷的数据与炙热的情感之间，在计算与体验之间，可能永远存在着一道美丽而深刻的鸿沟。这道鸿沟不是技术的失败，而是人性的独特之处。 我是蓝衣剑客，谢谢你看我的文章。 You don't have permission to access this synced block. Please log in and try again. Log In 🔗 原文链接： https://mp.weixin.qq.com/s/ tOJjaYv... https://mp.weixin.qq.com/s/ tOJjaYv... 原创 蓝衣剑客 AIGC思维火花2025年07月09日 10:07 河北 大家好，我是蓝衣剑客，欢迎回到「AI学什么」——一个专注于AI科普的栏目。这个栏目的宗旨是"用最精彩的故事，讲述最硬核的知识"。在这里，你将看到深入浅出的AI核心技术解析，既不会被枯燥的技术细节困扰，也不会停留在肤浅的概念层面。通过生动的类比、通俗的语言和完整的故事，帮助你在轻松阅读中掌握那些看似难以理解的AI知识，培养应对AI时代的核心认知能力。无论你是AI领域的新手，还是希望加深理解的从业者，这里都能为你提供清晰的知识和独特的思考角度。 大家好，我是蓝衣剑客，欢迎回到「AI学什么」——一个专注于AI科普的栏目。这个栏目的宗旨是"用最精彩的故事，讲述最硬核的知识"。在这里，你将看到深入浅出的AI核心技术解析，既不会被枯燥的技术细节困扰，也不会停留在肤浅的概念层面。通过生动的类比、通俗的语言和完整的故事，帮助你在轻松阅读中掌握那些看似难以理解的AI知识，培养应对AI时代的核心认知能力。无论你是AI领域的新手，还是希望加深理解的从业者，这里都能为你提供清晰的知识和独特的思考角度。 鱼的记忆 1985年3月，英国音乐家克莱夫·韦林的生活被彻底改写。一场单纯疱疹病毒感染侵袭了他的大脑。当他从昏迷中醒来，世界对他而言已经完全陌生 — 他失去了形成新记忆的能力。仅仅7秒，这就是他能记住任何新事物的极限。 那张著名的照片里，克莱夫和妻子黛博拉相拥而坐。尽管他的记忆如流水般消逝，但对妻子的爱意却顽固地留存。黛博拉只要离开房间片刻再回来，他就会像阔别多年后重逢一样激动地拥抱她。 记者们慕名而来，想一睹这位"记忆只有7秒的人"的奇特生活。一位记者的描述尤为震撼： 他刚踏入房间，韦林就热情地迎上来，仿佛久候多时。记者解释来意后，两人开始交谈，对话流畅自然。 突然，韦林的眼神变了。他抬头打量着记者，脸上写满困惑："你好？请问你是谁？你为什么在这里？"记者只好再次介绍自己。韦林连连道歉，声称完全不记得记者进入房间，甚至不记得他们刚才谈了什么。 在那一小时里，这一幕上演了十余次。每次韦林"苏醒"，他都会写下几乎一模一样的日记："现在是下午3:15分，我终于真正地醒来了！此前的日记都不算数，我当时处于无意识状态。"然后把之前的内容划掉，只留下最新一条。 最动人的瞬间发生在黛博拉身上。韦林不能记住新事物，却从未忘记对妻子的爱。黛博拉只要离开房间几分钟再回来，他就会像相隔千年后重逢一样紧紧拥抱她："我终于又能看到你了！"对他来说，每次相见都是初见，每个拥抱都饱含惊喜。 这个悲伤而美丽的故事，和我们日常使用大语言模型的体验有种奇妙的相似。你是否注意到，当和ChatGPT或Claude聊太久时，它们也会像克莱夫一样，渐渐"忘记"对话开始时说过的内容？这种"健忘"不是什么缺陷，而是现代大模型系统的本质决定的。要真正理解这一现象，我们得先揭开大模型"记忆"的真相。 大模型的记忆机制：短暂而有限 我们总以为大语言模型能像人一样"记住"对话内容。但实际上，大模型的工作方式和我们的想象截然不同。 大语言模型没有真正的"记忆"系统，而是依靠一个称为"上下文窗口"的临时工作区域。这个窗口不是某个特定硬件上的物理位置，而是模型架构决定的功能区域——就像一张有限大小的工作台，而非永久仓库。 当你和大模型对话时，发生的过程其实很简单：系统把你的新消息和之前的对话记录合并，如果内容超过窗口限制，最早的部分会被删除。然后整段文本一次性送入模型进行处理。关键在于，大模型每次都必须完整读取整个可见文本，从第一个字到最后一个字，没有快捷方式。这就像人类每次回应前，都必须从头到尾重读整个对话，才能开口说话一样。 这种记忆机制的设计并非偶然，而是源于Transformer架构的核心：自注意力(Self Attention)机制。这个机制让输入中的每个元素都能"看到"并与其他所有元素交互，带来了强大的理解能力，但也引入了计算爆炸问题。自注意力机制的计算复杂度是O(n²)，意味着当输入长度翻倍，计算量直接翻四倍；增加十倍，计算量暴增一百倍！如果没有上下文窗口的限制，处理长文本将迅速超出任何硬件的能力范围。 Token与容量：一场零和游戏 上下文窗口的容量以"token"计量，而非简单的字数。token是大语言模型处理文本的基本单位，可能是单词、单词片段、标点符号，或一个汉字。英文中，一个token约等于0.75个单词；中文里，一个汉字通常对应一个token。 不同大模型的窗口容量差距显著：GPT 4o支持128K tokens，Claude 4系列支持200K tokens，而Google Gemini 2.5 Pro甚至达到了100万tokens。这些数字看起来很大，但在处理真实世界的复杂任务时，仍然会面临限制。 更关键的是，上下文窗口同时容纳用户输入和大模型输出，是一场不折不扣的零和游戏。想象一个128K窗口的GPT 4o，如果你上传了一本90K长的书籍让它分析，模型只剩38K空间来回答。随着对话继续深入，新内容不断挤入窗口，早期内容——可能包括书籍的关键章节——会被推出去，大模型再也找不回那些信息。 上下文窗口不仅限制了大模型的运行时表现，还深刻影响了它的学习方式。大语言模型在训练时就被框定了最大处理长度，所有参数和机制都围绕这个限制优化。它们必须学会在有限窗口内识别关键信息，处理远距离依赖关系，在拥挤空间里进行推理和生成。 人类也面临类似的工作记忆限制，但我们有办法将信息从工作记忆转移到长期记忆。当前的大模型却没有这种能力——它只有"工作记忆"(上下文窗口)，没有真正的"长期记忆"。这种机制和克莱夫·韦林的7秒记忆何其相似——新经历不断涌入，旧记忆不断流失，只是大模型的"健忘"是设计使然，而非疾病所致。 如何与"健忘"的大模型高效协作 了解了大模型的记忆机制，我们可以用几个小策略提升使用体验：