全球顶尖大佬云集,名校联名,AGI的一种量化定义
全球顶尖大佬云集,名校联名,AGI的一种量化定义
全球顶尖大佬云集,名校联名,AGI的一种量化定义 全球顶尖大佬云集,名校联名,AGI的一种量化定义 Modified October 28, 2025 长期记忆存储是当前AI最大的瓶颈之一。GPT 4和GPT 5在这个领域的得分都是0%,表明这是一个迫切需要解决的根本性问题。测试包括跨模态联想(记住人名与外貌的对应)、个性化依从(记住用户偏好)、程序性联想(记住操作流程)、故事和电影回忆以及精确的信息再现。 7. 长期记忆检索 长期记忆检索测试包括流畅性(六个子类别)和准确性(幻觉控制)两个方面。测试内容包括构思流畅性(列出铅笔用途)、词语流畅性(列出回文单词)、表达灵活性(用多种方式表达同一概念)以及事实准确性测试(拿破仑从未在南非作战的案例)。 8. 视觉处理 视觉处理测试包括感知、生成、推理和空间扫描四个方面。测试内容包括图像识别(哈士奇犬识别)、图像描述生成、异常检测、视频理解、物理常识判断、图像生成(从简单自然图像到复杂科学图表)以及空间推理任务。 9. 听觉处理 听觉处理测试包括语音编码、语音识别、节奏能力、语音质量和音乐判断五个方面。测试内容包括音素处理(单词重复、押韵判断)、语音转录、自然语音合成、节拍识别和音乐模式判断。 10. 速度 速度测试包括感知搜索、感知比较、阅读、书写、数字处理以及各种反应时间测试。测试内容包括视觉搜索、文本比较、快速阅读、书写速度、简单运算以及反应时间测试。 上述十种领域能力,GPT 5在一般知识,数学,读写能力上都有非常高的得分,但是在长期记忆存储,记忆检索,以及视觉听觉上,还有很大的进步空间。GPT 5的综合得分在57%,距离AGI还有很大的差距。这就好比一台牛逼的发动机,其中整体智能是"马力",而人工智能,就像一台发动机,最终受其最弱组件的约束(也可以理解为木桶理论)。 我们再延伸讨论一下限制AGI实现的核心挑战: 长期记忆:最严重的认知瓶颈 论文指出,长期记忆存储可能是最显著的瓶颈,当前模型的得分接近0%。没有持续学习的能力,AI系统遭受"失忆症"的困扰,限制了其实用性,迫使AI在每次交互中重新学习上下文。这种根本性缺陷阻碍了真正智能系统的发展。 工作记忆与长期存储的扭曲补偿 AI系统当前严重依赖大规模上下文窗口来补偿缺乏长期记忆存储的缺陷。这种"能力扭曲"虽然能够短期内解决问题,但从长远来看是不可持续的。需要开发真正的长期记忆系统。 外部搜索与内部检索的依赖 精确性在长期记忆检索方面的不足——表现为幻觉或虚构——通常通过集成外部搜索工具来缓解,这种方法称为RAG。然而,这种依赖RAG的方法是一种能力扭曲,掩盖了两个不同的潜在弱点。 基于上述十种领域能力,论文中还提出了一个非常,将智能比作一个高性能处理器。下图展示了信息如何通过不同的认知模块进行处理,从输入感知到最终输出。各个认知能力相互依赖,信息流从感知输入开始,通过中央执行系统进行控制和处理,与长期记忆进行交互,最终通过速度产生输出。 最后的最后 论文在最后详细讨论了方法论的局限性,这些限制为我们正确理解和使用这个AGI评估框架提供了重要指导: 第一,概念化智能的不完整性。论文明确指出:"我们的智能概念化并不详尽。它故意排除了某些能力,如Gardner多元智能理论中提出的动觉能力。"这种有意的简化虽然有助于建立可操作的框架,但也意味着该评估可能无法完全涵盖人类智能的所有维度。 第二,文化和语言的特异性。"我们的说明性示例特定于英语,并不具有文化无关性。未来的研究可能涉及在不同语言和文化背景下适应这些测试。"这表明当前的评估框架主要基于西方教育背景和英语环境,可能需要针对不同文化背景进行调整。 第三,评估任务的内在约束。"一般知识(K)测试必然是选择性的,并不评估可能主题领域的全部广度。100%的AGI得分代表'高度熟练'的受过良好教育的个人,在测试维度上达到了精通,而不是拥有大学学位意义上的受过良好教育。"这种局限性意味着当前的评估可能偏向于某些类型的知识和技能。 第四,权重配置的主观性。"虽然我们采用的评分权重对于定量测量是必要的,但它们代表了许多可能配置中的一种。我们为每个广义能力给予同等权重(10%)以优先考虑广度,但更灵活的权重方案可能是合理的。"不同权重配置可能导致不同的评估结果,需要根据具体应用场景进行调整。 第五,综合分数的潜在误导性。"虽然综合AGI分数是为了方便而提供的,但它可能具有误导性。简单的求和可能掩盖瓶颈能力的严重失败。例如,一个AGI得分为90%但长期记忆存储(MS)为0%的AI系统将因'失忆症'而在功能上受损,尽管整体得分很高。"作者强烈建议报告AI系统的认知轮廓,而不仅仅是AGI分数。 以上,就是本篇文章的全部内容。论文作者将AGI定义为"能够与受过良好教育的成年人在认知多样性和熟练程度方面相匹配或超越的AI"。这个定义强调了真正的一般智能需要的不仅仅是窄领域的专门表现,还需要人类认知所特有的技能广度(多样性)和深度(熟练程度)。为了使这个定义可操作化,作者参考CHC理论,将AGI分解为十个核心认知领域,以此达到量化的目的。 这个量化框架的价值不仅在于为AGI设定了明确的目标,更在于为整个AI社区提供了系统性的诊断工具。通过识别具体的认知瓶颈,研究者和开发者可以更有针对性地投入研发资源,避免被某些领域的突出表现所误导。 Gardner多元智能理论 长期记忆存储是当前AI最大的瓶颈之一。GPT 4和GPT 5在这个领域的得分都是0%,表明这是一个迫切需要解决的根本性问题。测试包括跨模态联想(记住人名与外貌的对应)、个性化依从(记住用户偏好)、程序性联想(记住操作流程)、故事和电影回忆以及精确的信息再现。 7. 长期记忆检索 长期记忆检索测试包括流畅性(六个子类别)和准确性(幻觉控制)两个方面。测试内容包括构思流畅性(列出铅笔用途)、词语流畅性(列出回文单词)、表达灵活性(用多种方式表达同一概念)以及事实准确性测试(拿破仑从未在南非作战的案例)。 8. 视觉处理 视觉处理测试包括感知、生成、推理和空间扫描四个方面。测试内容包括图像识别(哈士奇犬识别)、图像描述生成、异常检测、视频理解、物理常识判断、图像生成(从简单自然图像到复杂科学图表)以及空间推理任务。 9. 听觉处理 听觉处理测试包括语音编码、语音识别、节奏能力、语音质量和音乐判断五个方面。测试内容包括音素处理(单词重复、押韵判断)、语音转录、自然语音合成、节拍识别和音乐模式判断。 10. 速度 速度测试包括感知搜索、感知比较、阅读、书写、数字处理以及各种反应时间测试。测试内容包括视觉搜索、文本比较、快速阅读、书写速度、简单运算以及反应时间测试。 上述十种领域能力,GPT 5在一般知识,数学,读写能力上都有非常高的得分,但是在长期记忆存储,记忆检索,以及视觉听觉上,还有很大的进步空间。GPT 5的综合得分在57%,距离AGI还有很大的差距。这就好比一台牛逼的发动机,其中整体智能是"马力",而人工智能,就像一台发动机,最终受其最弱组件的约束(也可以理解为木桶理论)。 我们再延伸讨论一下限制AGI实现的核心挑战: 长期记忆:最严重的认知瓶颈 论文指出,长期记忆存储可能是最显著的瓶颈,当前模型的得分接近0%。没有持续学习的能力,AI系统遭受"失忆症"的困扰,限制了其实用性,迫使AI在每次交互中重新学习上下文。这种根本性缺陷阻碍了真正智能系统的发展。 工作记忆与长期存储的扭曲补偿 AI系统当前严重依赖大规模上下文窗口来补偿缺乏长期记忆存储的缺陷。这种"能力扭曲"虽然能够短期内解决问题,但从长远来看是不可持续的。需要开发真正的长期记忆系统。 外部搜索与内部检索的依赖 精确性在长期记忆检索方面的不足——表现为幻觉或虚构——通常通过集成外部搜索工具来缓解,这种方法称为RAG。然而,这种依赖RAG的方法是一种能力扭曲,掩盖了两个不同的潜在弱点。 基于上述十种领域能力,论文中还提出了一个非常,将智能比作一个高性能处理器。下图展示了信息如何通过不同的认知模块进行处理,从输入感知到最终输出。各个认知能力相互依赖,信息流从感知输入开始,通过中央执行系统进行控制和处理,与长期记忆进行交互,最终通过速度产生输出。 最后的最后 论文在最后详细讨论了方法论的局限性,这些限制为我们正确理解和使用这个AGI评估框架提供了重要指导: 第一,概念化智能的不完整性。论文明确指出:"我们的智能概念化并不详尽。它故意排除了某些能力,如Gardner多元智能理论中提出的动觉能力。"这种有意的简化虽然有助于建立可操作的框架,但也意味着该评估可能无法完全涵盖人类智能的所有维度。 Gardner多元智能理论 第二,文化和语言的特异性。"我们的说明性示例特定于英语,并不具有文化无关性。未来的研究可能涉及在不同语言和文化背景下适应这些测试。"这表明当前的评估框架主要基于西方教育背景和英语环境,可能需要针对不同文化背景进行调整。 第三,评估任务的内在约束。"一般知识(K)测试必然是选择性的,并不评估可能主题领域的全部广度。100%的AGI得分代表'高度熟练'的受过良好教育的个人,在测试维度上达到了精通,而不是拥有大学学位意义上的受过良好教育。"这种局限性意味着当前的评估可能偏向于某些类型的知识和技能。 第四,权重配置的主观性。"虽然我们采用的评分权重对于定量测量是必要的,但它们代表了许多可能配置中的一种。我们为每个广义能力给予同等权重(10%)以优先考虑广度,但更灵活的权重方案可能是合理的。"不同权重配置可能导致不同的评估结果,需要根据具体应用场景进行调整。 第五,综合分数的潜在误导性。"虽然综合AGI分数是为了方便而提供的,但它可能具有误导性。简单的求和可能掩盖瓶颈能力的严重失败。例如,一个AGI得分为90%但长期记忆存储(MS)为0%的AI系统将因'失忆症'而在功能上受损,尽管整体得分很高。"作者强烈建议报告AI系统的认知轮廓,而不仅仅是AGI分数。 以上,就是本篇文章的全部内容。论文作者将AGI定义为"能够与受过良好教育的成年人在认知多样性和熟练程度方面相匹配或超越的AI"。这个定义强调了真正的一般智能需要的不仅仅是窄领域的专门表现,还需要人类认知所特有的技能广度(多样性)和深度(熟练程度)。为了使这个定义可操作化,作者参考CHC理论,将AGI分解为十个核心认知领域,以此达到量化的目的。 这个量化框架的价值不仅在于为AGI设定了明确的目标,更在于为整个AI社区提供了系统性的诊断工具。通过识别具体的认知瓶颈,研究者和开发者可以更有针对性地投入研发资源,避免被某些领域的突出表现所误导。 今天探讨一篇10月23号发在arxiv上的文章——A Definition of AGI(https://arxiv.org/pdf/2510.18212)。这篇文章可谓是大佬云集, Yoshua Bengio(图灵奖得主,“深度学习三巨头”之一),Eric Schmidt(前Google CEO & 董事长),Dan Hendrycks(创立了著名的“AI Safety Benchmarks”如HELM、MMLU等);名校更是星光熠熠,斯坦福、MIT、牛津、CMU、康奈尔等等。 也许你我都清楚,AGI可能成为人类历史上最重要的技术发展。 但这个术语本身却仍然模糊不清。 OpenAI的将AGI定义为"普遍比人类更聪明的系统";Google DeepMind将AGI定义为"能够学习人类可以学习的任何智力任务,并自主完成的智能",在DeepMind的联合创始人Demis Hassabis的眼中,AGI的终极标准就是:给AI系统1900年之前的所有物理知识,看它能否独立发现相对论(爱因斯坦测试);微软将AGI定义为"在任何智力任务上都与人类能力相当的人工智能"。 这些定义普遍存在一个核心问题:它们大多停留在概念层面,缺乏可操作性和量化标准。 如果AGI的定义模糊不清,那么关于“AGI还有多远”的讨论就没有意义,导致模糊了今天AI和AGI之间的差距。 所以,这篇文章的目的就是——为人工智能领域建立一个统一而量化的AGI评估框架。 在文章作者看来,为了建立这个AGI评估框架,有且仅有一个参照对象——人类。或者说,人类智能。 那么如何准确评估人类智能呢?经过多个世纪对多样化认知能力的测试和迭代,人们构建了一个系统框架——Cattell Horn Carroll (CHC) 理论。在1990年代末到2000年代,几乎所有主要的临床都采用CHC理论来进行人类智力测试。 Cattell Horn Carroll (CHC) 理论 基于此理论,论文作者将AGI的定义分解为十个核心认知领域。 分别是: 1. 一般知识(K):涵盖常识、文化、科学、社会科学和历史的知识广度 2. 读写能力(RW):从基本解码到复杂理解、写作和语言使用 3. 数学能力(M):跨越算术、代数、几何、概率和微积分的数学知识深度 4. 即时推理(R):通过演绎和归纳进行灵活注意控制,解决新颖问题 5. 工作记忆(WM):跨文本、听觉和视觉模态维持和操作信息 6. 长期记忆存储(MS):持续学习新信息的能力(联想、有意义和逐字记忆) 7. 长期记忆检索(MR):访问存储知识的流畅性和精确性 8. 视觉处理(V):感知、分析、推理、生成和扫描视觉信息 9. 听觉处理(A):辨别、识别和处理听觉刺激,包括语音、节奏和音乐 10. 速度(S):快速执行简单认知任务,包括感知速度、反应时间和处理流畅性 上面每个领域都是一个任务集合,然后各个领域都占10%的权重,文章作者在该框架下测试了GPT 4和GPT 5的表现。GPT 4的总体AGI得分为27%,而GPT 5的得分达到了57%。这,体现了该AGI定义的可量化性。 值得注意的是(文章作者特意提出),该框架并不是说提出了一个数据集,这个数据集分为10个类别这么简单。相反,它明确规定了一系列“范围清晰”的任务集合,这些任务旨在测试特定的认知能力。你完全可以根据此定义构建自己的数据集来测试AI的AGI水平。 下面,我来为大家介绍一下每个领域的详细定义。 1. 一般知识 一般知识测试涵盖了五大类别,常识、科学、社会科学、历史和文化。这个领域一直是AI的相对优势。测试内容包括从基础的物理问题("2公斤物体以3米/秒恒定速度移动,合力是多少?")到复杂的社会科学概念("定义正外部性"),再到文化知识(美国现任总统、超人角色等)。 2. 读写能力 读写能力测试包括字词识别、阅读理解、写作和英语使用四个方面。GPT 4的得分仅为6%,而GPT 5达到10%。这个显著提升反映了AI在语言处理方面的快速进步。测试任务从基础的字母识别("do r中最可能缺失的字母是什么?")到复杂的写作任务("写一段讨论规律运动益处的文章"),再到语法纠错("找出这段文字中的错别字")。 3. 数学能力 数学能力测试涵盖了算术、代数、几何、概率和微积分五个领域。测试内容包括基础的算术应用题(珍妮特的笔计算问题)、复杂的代数几何问题(内接矩形面积计算)、概率论问题(N个骰子的问题)到高等微积分计算(积分方程求解)。 4. 即时推理 即时推理测试包括演绎、归纳、心智理论、规划和适应五个方面。测试任务包括复杂的逻辑推理(人物关系和学位推理)、视觉模式归纳(智力测验类问题)、心智理论问题(玛丽对薯片发霉的认知)、旅行规划任务和威斯康星卡片分类测试。 5. 工作记忆 工作记忆测试包括文本、听觉、视觉和跨模态四个方面。测试内容包括序列回忆(字母排序、数字操作)、听觉记忆(音调序列比较)、视觉记忆(飞机图案识别)、空间导航(厨房布局问题)和双N Back任务。 6. 长期记忆存储