Nemos：面向 AI 应用的认知启发式分层稀疏记忆架构

Nemos：面向 AI 应用的认知启发式分层稀疏记忆架构 Nemos：面向 AI 应用的认知启发式分层稀疏记忆架构 Modified June 16 需要强调：三轴 并非笛卡尔积 (否则组合空间会爆炸)，而是带约束的正交分解。例如前瞻记忆在认识论上恒为"推断"(derived)，因而被一条核心不变量禁止进入"关于自我的事实"层。一条"去年在协和医院接受膝关节手术"的记忆，在功能轴上是情景记忆、在领域轴上属医疗、在时态轴上为回溯 —— 三个标注独立共存而互不冲突。 3.1 功能轴：分层、分通道 依据 CLS，记忆按功能形态分为五层，每层有独立的写入规则、检索规则、衰减规则与归属规则： • 情景层(episodic) ：事件、对话、观察； • 语义层(semantic) ：事实、知识、外部参考； • 个人语义层(personal semantic) ：关于"我"的事实(偏好、关系、技能)， 仅接受用户权威陈述 ，拒绝一切 AI 推断写入； • 程序层(procedural) ：已稳定的习惯与工作流； • 档案层(archival) ：原始字节，只追加、可销毁(满足被遗忘权)而 不可覆盖 。 其中"个人语义层只接权威输入"对应一条底线： AI 推断的内容永不得伪装成用户的自我陈述 。AI 可以猜测你的偏好，但那条记忆必须带着"这是推断"的标签，且推断的传播深度被显式记录，以防 AI 在多轮自我引用中把猜测固化为"事实"——这本质上是 Schacter 所称"错误归因"在工程层面的放大，必须从架构上堵死。 3.2 领域轴：领域专家与稀疏激活 这是 Nemos 区别于现有记忆系统的核心。 建模选择。 领域不被实现为物理分区(独立的表或库)，而是嵌入空间中的 可学习锚点(质心) ；每条记忆对领域的归属是 连续隶属度(soft membership) 而非布尔归属，且允许多归属。路由即查询向量对各领域质心的相似度取 top k。这一选择带来两个直接好处：其一，天然支持跨领域记忆(如"膝伤后能否继续弹钢琴"可同时高隶属于医疗与音乐)；其二，领域的分裂与合并退化为质心的几何运算，而非昂贵的数据迁移。 四级稀疏激活。 借鉴稀疏门控的专家混合(MoE)及 DeepSeekMoE 的"共享专家隔离"，单次检索的激活范围被严格限定： • L0 共享层 对应"抽象通用的顶层不做领域切分"：核心人格、通用能力、跨域常识无条件注入，等价于 MoE 中始终激活的共享专家； • L1/L2 为路由命中的主领域与若干邻接领域； • L3 是"隔离"与"关联"这对矛盾的解法。二者看似不可兼得——既要隔离以防污染，又要关联以产生跨域联想。Nemos 用 系统层级分离 化解：隔离只作用于 路由层(领域粒度) ，而记忆之间的关联边在 记忆粒度 自由跨域连接，二者不在同一层级，故可同时成立。 😼 其结构性收益是： 总记忆库可无限增长，而单次激活只为"共享层 + 三到四个领域子集"。 规模与激活量解耦，精度与延迟同时改善 —— 库越大，这一红利越显著。 路由作为独立能力。 路由被抽象为可替换的 RouterProvider ，与系统既有的 LLM、嵌入 provider 同构，并随规模叠加演化：小规模直接由 LLM 判断领域；中等规模切换为质心相似度计算以守住热路径延迟；大规模再引入基于实体/关键词的路由表做确定性硬触发。 漏检兜底。 隔离架构的固有风险是：一旦路由错误，相关记忆将不可逆地漏检——其代价高于扁平库的全量召回。为此设三道保险：soft 多归属、低置信时自动退化为全局检索、离线阶段周期性全局重扫纠错。 专科化是为了效率，不是把记忆关进笼子。 领域生命周期。 领域随用户成长而生灭——诞生、分裂(领域过载且内部多峰)、合并(长期高频共激活)、沉睡(长期未命中则整体降权)。所有演化均在离线阶段完成，不进入热路径，并以滞后阈值抑制抖动。其中"沉睡"复用了衰减机制，但作用粒度从单条记忆提升到整个领域：十年未触碰的学科可作为一个整体下沉，而非被逐条删除。 3.3 时态轴：前瞻记忆与预测 验证闭环 Nemos 引入一类新的记忆形态—— 前瞻记忆 ，编码"主体面对某类情境时，可能或应当如何行为与思考"。它并非凭空生成，而是从回溯记忆中建构而来，因而在认识论上恒为推断，依不变量不得进入个人语义层。每条前瞻条目记录：触发情境(及其向量)、预测内容、置信度、支撑它的回溯记忆引用，以及历次"预测对照现实"的日志。 前瞻匹配走 独立检索通道 (在全局前瞻集上按情境向量匹配，不受领域路由约束)——因为新情境往往是跨领域的，若被关进单一领域，恰好扼杀了前瞻"应对未见情境"的核心价值。 生成策略采用 固化与按需的混合 ：高频或高风险情境离线预生成为可证伪的固化预案；长尾与全新情境在查询时按需合成，经验证有价值后再回写固化。 真正的关键是其 自我校准闭环 ，且它完全复用系统既有部件： Code block Plain Text ① 检索命中前瞻 → 记录"已做出此预测"(异步，不阻塞热路径) ② 现实事件落库 → 离线匹配是否存在待验证的预测 ③ 预测 ≠ 现实 → 计算预测误差 → 写入 surprise(意外度) ④ surprise 高 → 修正该前瞻的预测内容、置信度与证据 这一闭环让一个原有的元数据字段获得了第二重身份： surprise 从"信息论意外度"被重新诠释为"预测误差" ，而离线巩固从"经历向知识的升华"被扩展为"预测向校准的修正"。其后果是质变的——系统不再以"记得越来越多"为目标，而以"对主体预测得越来越准"为目标。这也让"领域专家"名副其实：专家不是该领域记忆的仓库，而是持有该领域世界模型、能对未发生之事做出合理外推的子系统。 四、渐进固化：统一的实现原则 贯穿上述所有机制的，是一条可凝练为一句话的工程原则： 智能先以 LLM 的形式流动(零工程、即刻可用)，被现实验证后再结晶为结构(规则、表、固化条目)，最后评估迭代。 它分形地出现在多个层面：领域本体(记忆涌现 → 分裂合并固化)、路由(LLM 判断 → 质心 → 路由表)、前瞻(按需合成 → 验证后固化)。其对称面——已固化结构如何退场——采用"降权/衰减"而非物理删除，与"原始不可覆盖"的不变量保持一致：过时的结构自然失去影响力，但不被抹除。 这条原则既是设计美学的一致性来源，也是实现排期的依据：每个能力都先用 LLM 发车，再逐步结晶兜底。 五、横切约束：三维元数据与不变量 所有机制运行在一组不可妥协的约束之上。每条记忆强制携带三维元数据： 来源 (权威陈述 vs AI 推断，并记录推断深度，用于防止 AI 自污染)、 唤醒度 (情绪强度与效价，驱动保留与回避)、 意外度 (信息论意义上的 −log p，高者优先保留——亦即前瞻闭环中的预测误差)。 与此同时，系统受十条不变量约束，其中与本文最相关的是：AI 是工具而非代理(推断永不冒充用户陈述)、分层不可由单一向量库模拟、默认衰减保留为例外、原始事件不可覆盖、离线巩固不得在热路径执行。本文描述的每一项机制都在这些不变量内成立。 六、设计权衡与局限 负责任的架构必须正视其代价： • 隔离换效率的代价是漏检风险。 逃生阀能缓解但不能根除；如何度量并最小化漏检，需要专门的评测基准。 • 领域演化的稳定性是经验性的。 分裂/合并若防抖不当，会造成归属反复变动与体验不一致，滞后阈值的取值有待数据支撑。 • 前瞻是一把双刃剑。 低质预测可能误导；系统以置信度、显式"推断"标注、低置信不返回来缓解，但其长期校准质量需真实负载检验。 • "反固化"仍是未决问题。 渐进固化善于结晶而不擅"融化"；以降权处理过时结构是方向，但固化的路由规则与前瞻预案是否全部纳入衰减体系，尚未定论。 • 端到端评测缺位。 领域轴与时态轴的有效性，最终需在统一基准上量化：路由准确率、前瞻命中率与校准、以及长程信噪比相对扁平基线的改善。这是最重要的后续工作。 结语 AI 应用的记忆，不应是一个越长越脏的扁平向量袋。把记忆的内部结构当作一等对象——在功能分层之上叠加领域的稀疏激活与时态的前瞻能力，并以渐进固化统一其工程实现——是 Nemos 给出的回答。其中分层与遗忘已落地验证，领域路由与前瞻记忆给出了自洽的设计。 它仍处早期，但方向是清楚的。而方向背后，是一个值得被反复强调的判断： 衡量一个记忆系统的价值，不在于它记住了多少，而在于它对一个具体的人，预测得有多准。 Nemos 完整系统目前还在最终编码中，将以 AGPL 3.0 协议发布。 我是 猫叔 ，所有发布内容 有限开源，通常禁止商用 !!! 请 点赞、分享、收藏、关注 哦，对了，我开粉丝群了，如果你想聊聊AI，那么非常欢迎 点击 阅读原文 进到我的文章聚合，那里有新的群二维码 需要强调：三轴 并非笛卡尔积 (否则组合空间会爆炸)，而是带约束的正交分解。例如前瞻记忆在认识论上恒为"推断"(derived)，因而被一条核心不变量禁止进入"关于自我的事实"层。一条"去年在协和医院接受膝关节手术"的记忆，在功能轴上是情景记忆、在领域轴上属医疗、在时态轴上为回溯 —— 三个标注独立共存而互不冲突。 3.1 功能轴：分层、分通道 依据 CLS，记忆按功能形态分为五层，每层有独立的写入规则、检索规则、衰减规则与归属规则： • 情景层(episodic) ：事件、对话、观察； • 语义层(semantic) ：事实、知识、外部参考； • 个人语义层(personal semantic) ：关于"我"的事实(偏好、关系、技能)， 仅接受用户权威陈述 ，拒绝一切 AI 推断写入； • 程序层(procedural) ：已稳定的习惯与工作流； • 档案层(archival) ：原始字节，只追加、可销毁(满足被遗忘权)而 不可覆盖 。 其中"个人语义层只接权威输入"对应一条底线： AI 推断的内容永不得伪装成用户的自我陈述 。AI 可以猜测你的偏好，但那条记忆必须带着"这是推断"的标签，且推断的传播深度被显式记录，以防 AI 在多轮自我引用中把猜测固化为"事实"——这本质上是 Schacter 所称"错误归因"在工程层面的放大，必须从架构上堵死。 3.2 领域轴：领域专家与稀疏激活 这是 Nemos 区别于现有记忆系统的核心。 建模选择。 领域不被实现为物理分区(独立的表或库)，而是嵌入空间中的 可学习锚点(质心) ；每条记忆对领域的归属是 连续隶属度(soft membership) 而非布尔归属，且允许多归属。路由即查询向量对各领域质心的相似度取 top k。这一选择带来两个直接好处：其一，天然支持跨领域记忆(如"膝伤后能否继续弹钢琴"可同时高隶属于医疗与音乐)；其二，领域的分裂与合并退化为质心的几何运算，而非昂贵的数据迁移。 四级稀疏激活。 借鉴稀疏门控的专家混合(MoE)及 DeepSeekMoE 的"共享专家隔离"，单次检索的激活范围被严格限定： • L0 共享层 对应"抽象通用的顶层不做领域切分"：核心人格、通用能力、跨域常识无条件注入，等价于 MoE 中始终激活的共享专家； • L1/L2 为路由命中的主领域与若干邻接领域； • L3 是"隔离"与"关联"这对矛盾的解法。二者看似不可兼得——既要隔离以防污染，又要关联以产生跨域联想。Nemos 用 系统层级分离 化解：隔离只作用于 路由层(领域粒度) ，而记忆之间的关联边在 记忆粒度 自由跨域连接，二者不在同一层级，故可同时成立。 😼 其结构性收益是： 总记忆库可无限增长，而单次激活只为"共享层 + 三到四个领域子集"。 规模与激活量解耦，精度与延迟同时改善 —— 库越大，这一红利越显著。 其结构性收益是： 总记忆库可无限增长，而单次激活只为"共享层 + 三到四个领域子集"。 规模与激活量解耦，精度与延迟同时改善 —— 库越大，这一红利越显著。 路由作为独立能力。 路由被抽象为可替换的 RouterProvider ，与系统既有的 LLM、嵌入 provider 同构，并随规模叠加演化：小规模直接由 LLM 判断领域；中等规模切换为质心相似度计算以守住热路径延迟；大规模再引入基于实体/关键词的路由表做确定性硬触发。 漏检兜底。 隔离架构的固有风险是：一旦路由错误，相关记忆将不可逆地漏检——其代价高于扁平库的全量召回。为此设三道保险：soft 多归属、低置信时自动退化为全局检索、离线阶段周期性全局重扫纠错。 专科化是为了效率，不是把记忆关进笼子。 领域生命周期。 领域随用户成长而生灭——诞生、分裂(领域过载且内部多峰)、合并(长期高频共激活)、沉睡(长期未命中则整体降权)。所有演化均在离线阶段完成，不进入热路径，并以滞后阈值抑制抖动。其中"沉睡"复用了衰减机制，但作用粒度从单条记忆提升到整个领域：十年未触碰的学科可作为一个整体下沉，而非被逐条删除。 3.3 时态轴：前瞻记忆与预测 验证闭环 Nemos 引入一类新的记忆形态—— 前瞻记忆 ，编码"主体面对某类情境时，可能或应当如何行为与思考"。它并非凭空生成，而是从回溯记忆中建构而来，因而在认识论上恒为推断，依不变量不得进入个人语义层。每条前瞻条目记录：触发情境(及其向量)、预测内容、置信度、支撑它的回溯记忆引用，以及历次"预测对照现实"的日志。 前瞻匹配走 独立检索通道 (在全局前瞻集上按情境向量匹配，不受领域路由约束)——因为新情境往往是跨领域的，若被关进单一领域，恰好扼杀了前瞻"应对未见情境"的核心价值。 生成策略采用 固化与按需的混合 ：高频或高风险情境离线预生成为可证伪的固化预案；长尾与全新情境在查询时按需合成，经验证有价值后再回写固化。 真正的关键是其 自我校准闭环 ，且它完全复用系统既有部件： 这一闭环让一个原有的元数据字段获得了第二重身份： surprise 从"信息论意外度"被重新诠释为"预测误差" ，而离线巩固从"经历向知识的升华"被扩展为"预测向校准的修正"。其后果是质变的——系统不再以"记得越来越多"为目标，而以"对主体预测得越来越准"为目标。这也让"领域专家"名副其实：专家不是该领域记忆的仓库，而是持有该领域世界模型、能对未发生之事做出合理外推的子系统。 四、渐进固化：统一的实现原则 贯穿上述所有机制的，是一条可凝练为一句话的工程原则： 智能先以 LLM 的形式流动(零工程、即刻可用)，被现实验证后再结晶为结构(规则、表、固化条目)，最后评估迭代。 它分形地出现在多个层面：领域本体(记忆涌现 → 分裂合并固化)、路由(LLM 判断 → 质心 → 路由表)、前瞻(按需合成 → 验证后固化)。其对称面——已固化结构如何退场——采用"降权/衰减"而非物理删除，与"原始不可覆盖"的不变量保持一致：过时的结构自然失去影响力，但不被抹除。 这条原则既是设计美学的一致性来源，也是实现排期的依据：每个能力都先用 LLM 发车，再逐步结晶兜底。 五、横切约束：三维元数据与不变量 所有机制运行在一组不可妥协的约束之上。每条记忆强制携带三维元数据： 来源 (权威陈述 vs AI 推断，并记录推断深度，用于防止 AI 自污染)、 唤醒度 (情绪强度与效价，驱动保留与回避)、 意外度 (信息论意义上的 −log p，高者优先保留——亦即前瞻闭环中的预测误差)。 与此同时，系统受十条不变量约束，其中与本文最相关的是：AI 是工具而非代理(推断永不冒充用户陈述)、分层不可由单一向量库模拟、默认衰减保留为例外、原始事件不可覆盖、离线巩固不得在热路径执行。本文描述的每一项机制都在这些不变量内成立。 六、设计权衡与局限 负责任的架构必须正视其代价： • 隔离换效率的代价是漏检风险。 逃生阀能缓解但不能根除；如何度量并最小化漏检，需要专门的评测基准。 • 领域演化的稳定性是经验性的。 分裂/合并若防抖不当，会造成归属反复变动与体验不一致，滞后阈值的取值有待数据支撑。 • 前瞻是一把双刃剑。 低质预测可能误导；系统以置信度、显式"推断"标注、低置信不返回来缓解，但其长期校准质量需真实负载检验。 • "反固化"仍是未决问题。 渐进固化善于结晶而不擅"融化"；以降权处理过时结构是方向，但固化的路由规则与前瞻预案是否全部纳入衰减体系，尚未定论。 • 端到端评测缺位。 领域轴与时态轴的有效性，最终需在统一基准上量化：路由准确率、前瞻命中率与校准、以及长程信噪比相对扁平基线的改善。这是最重要的后续工作。 结语 AI 应用的记忆，不应是一个越长越脏的扁平向量袋。把记忆的内部结构当作一等对象——在功能分层之上叠加领域的稀疏激活与时态的前瞻能力，并以渐进固化统一其工程实现——是 Nemos 给出的回答。其中分层与遗忘已落地验证，领域路由与前瞻记忆给出了自洽的设计。 它仍处早期，但方向是清楚的。而方向背后，是一个值得被反复强调的判断： 衡量一个记忆系统的价值，不在于它记住了多少，而在于它对一个具体的人，预测得有多准。 Nemos 完整系统目前还在最终编码中，将以 AGPL 3.0 协议发布。 我是 猫叔 ，所有发布内容 有限开源，通常禁止商用 !!! 请 点赞、分享、收藏、关注 哦，对了，我开粉丝群了，如果你想聊聊AI，那么非常欢迎 点击 阅读原文 进到我的文章聚合，那里有新的群二维码 🔗 原文链接： https://mp.weixin.qq.com/s/iS0nw3jg... https://mp.weixin.qq.com/s/iS0nw3jg... 原创 猫叔的AI 猫叔的AI AI替代人类2026年6月15日 06:30 福建 当我们谈论"给 AI 加记忆"时，事实上的工业标准只有一句话：把历史对话切块、向量化、写入向量数据库，查询时按相似度召回 top k 拼进上下文。 这套范式之所以流行，是因为它足够简单且立即可用。但它隐含了一个几乎从未被审视的前提： 记忆 = 一个扁平的、只增不减的、领域无关的相似度索引。 本文想论证的是：这个前提在长程使用中会系统性地失效；真正可用的记忆基础设施，必须把"记忆的内部结构"本身当作重点设计对象。我设计了 Nemos——一套以认知科学为参照、以三个正交维度组织记忆、并以稀疏激活控制规模的架构。 一、扁平向量范式的三类结构性缺陷 把所有记忆压进同一个向量空间，会在三个相互独立的方向上劣化。 其一，跨领域语义干扰。 个体记忆天然横跨几乎所有知识领域。当医疗、艺术、法律的内容共享同一嵌入空间与同一检索通道时，跨领域同形词(如 "depression" 兼指抑郁症、经济萧条、地形洼地)无法借助上下文消歧，无关领域的假性近邻会持续稀释召回精度。这不是调参能解决的问题，而是"单一空间"这一结构选择的必然代价。 其二，无遗忘机制导致的信噪比衰减。 只增不减的存储把"全部记住"当作隐含目标。但博尔赫斯笔下的富内斯早已给出反例：能记住每一秒每一个细节的人，丧失了抽象与思考的能力。 遗忘不是记忆的故障，而是记忆的功能之一。 缺乏衰减机制的系统，其有效信息密度随规模单调下降。 其三，纯回溯结构带来的认知不完整。 扁平方案只编码"已发生之事"。然而认知神经科学近二十年的核心修正是：陈述性记忆的进化功能并非忠实回放过去，而是 支持对未来的建构性模拟 ——回忆与想象共享同一套神经机制(Schacter & Addis 的建构性记忆理论)。一个无法对"主体在某类未见情境下会如何反应"形成预期的系统，在认知意义上是残缺的。 这三点共同指向一个结论： 记忆的难点不在"存得下"，而在"组织得当"。 二、设计立场：把内部结构当作一等对象 Nemos 的根本主张是用结构对抗上述三类缺陷。其理论参照来自两条相对成熟的脉络： • 互补学习系统(CLS) ：McClelland 等指出，海马(快速、情景化)与新皮层(缓慢、语义化)必须分离，否则新知识会灾难性地覆盖旧知识；Tulving 对情景记忆与语义记忆的解离(如病例 K.C. 情景记忆受损而语义保留)进一步佐证二者可独立失能。这是"分层存储不可由单一向量库模拟"的依据。 • 建构性记忆与预测加工 ：记忆系统应当为未来留出生成空间，并以预测误差驱动自我修正。 在此立场下，Nemos 把记忆组织在 三个正交维度 上。 三、三轴正交模型 轴 区分的对象 参照 功能轴 经历 / 知识 / 自我的事实 / 习惯 / 原始档案 CLS、Tulving 领域轴 医疗 / 艺术 / 法律 …(专家路由) Mixture of Experts 时态轴 回溯(过去) ↔ 前瞻(未来) 建构性记忆 轴 轴 区分的对象 区分的对象 参照 参照 功能轴 功能轴 经历 / 知识 / 自我的事实 / 习惯 / 原始档案 经历 / 知识 / 自我的事实 / 习惯 / 原始档案 CLS、Tulving CLS、Tulving 领域轴 领域轴 医疗 / 艺术 / 法律 …(专家路由) 医疗 / 艺术 / 法律 …(专家路由) Mixture of Experts Mixture of Experts 时态轴 时态轴 回溯(过去) ↔ 前瞻(未来) 回溯(过去) ↔ 前瞻(未来) 建构性记忆 建构性记忆