CrabNote螃蟹笔记

AI没问题,我担心的是我们自己

AI没问题,我担心的是我们自己

AI没问题,我担心的是我们自己 AI没问题,我担心的是我们自己 Modified April 22 瓶颈从来不是模型的能力,是监督者的能力。 更强的模型只会扩大一个有能力的监督者能处理的问题范围,但监督者依然需要知道答案应该长什么样,依然需要有那种"感觉哪里不对"的直觉。 而这种直觉,不是订阅费换来的,是多年做那些被称为"苦活"的工作换来的。 模型越聪明,这个问题就越难被看见。 一场德国会议上的对话 Karamanis 讲了一件亲身经历的事。 几年前,他在德国参加一个会议,和一位各项指标都很亮眼的同行聊起了大语言模型。 Karamanis 当时在说一个他觉得合理的观点:这些工具也许能帮助母语非英语的研究者,让他们在写基金申请和论文时不再处于劣势。 这位同行变得明显不安。 他不关心什么民主化,不关心环境成本。 他真正担心的,在被追问之后才说出来:如果任何人都能写出和他一样流利的论文和申请书,他就失去了竞争优势。 他担心的不是科学,是地位,具体来说,是他自己的地位。 后来 Karamanis 偶然看到这位同行的 GitHub 主页。 这个人现在不仅在用 AI 工具做研究,还在大力鼓吹它们。"自己花两周写代码,不如让 AI 两小时搞定",他说。 效率上他说得没错。 但值得注意的是,当这些工具可能让所有人平等时,他最抵触;当这些工具可能让他自己加速时,他最热情。 这位同行那天说的那句话,Karamanis 一直没忘:"大语言模型会带走科学里最美好的东西。" 他当时说这话,动机是自私的。 但 Karamanis 后来越来越觉得,这句话本身比说话的人更正确。 科学里最美好的东西是它的人,是那个困惑的学生慢慢变成独立思考者的过程。 如果我们用这些工具绕过这个过程来换取更快的产出,我们带走的,恰恰是这件事里唯一不可替代的部分。 苦活就是工作本身 Schwartz 用了"grunt work"(苦活、杂活)这个词,说 AI 可以帮你省掉这些。 他说得没错,AI 确实可以。 但他没说的是,对于一个还没有建立直觉的人来说,苦活就是工作本身。 调试代码的那个下午,追了两周的符号错误,看着一个完全不对的图表发呆的那个早上,这些时间不是浪费掉的时间,是在脑子里建结构的时间。 枯燥的部分和重要的部分,在你事先根本无法分开。 你不知道哪次调试会在三年后的另一个项目里突然给你一个洞见,直到那个洞见真的出现。 偶然的发现不来自效率,来自在问题里泡得足够久,把手弄脏,犯没人让你犯的错误,学没人分配给你学的东西。 我们其实早就知道这件事。 每本物理教材的每一章后面都有习题,每个教过物理的人都说过同一句话:你没法靠看别人做题来学物理,你必须自己拿起笔。 看答案然后点头,感觉像是理解了,但那不是理解。 每个靠抄答案混过作业然后在考试里崩掉的学生,都在骨子里知道这件事。 我们有几百年积累的教育学智慧,告诉我们尝试本身,包括失败的尝试,才是学习发生的地方。 但不知道为什么,一旦涉及 AI,我们集体决定也许这次不一样了。 也许对着 Claude 的输出点头,可以替代自己做推导。 它不能。 我们在 AI 出现之前就知道这件事。我们好像在它变得方便的那一刻就忘了。 几百年的教育学积累,败给了一个聊天窗口。 Natalie Hogg 的诚实 Natalie Hogg(注:天体物理学家,David Hogg 之女,同样在该领域工作)写了一篇文章,讲自己从坚定的大语言模型怀疑者变成日常用户的过程,她发现自己原本坚定的原则,在一个工具无处不在的环境里,比她预期的更依赖于具体情境。 但她文章里最有价值的部分,是她承认:她对使用大语言模型的恐惧,有一部分是对自己的恐惧。 她怕自己不会认真检查输出,怕自己的耐心撑不住,她知道自己的工作方式一直有些随意。 这种诚实在这类讨论里很少见,也很重要。 失败的模式不是恶意,是方便。 是那种完全人性化的倾向,接受一个听起来合理的答案然后继续往前走,尤其是在你很累的时候,尤其是在截止日期很近的时候,尤其是当机器用如此自信、格式如此整齐的方式呈现它的输出的时候。 问题不是我们会决定停止思考。 问题是我们几乎不会注意到自己什么时候停止了。 Bob 不蠢,他只是在理性地响应激励 说到这里,必须对 Bob 公平一点。 学术界的压力是真实的。 "不发表就出局"(publish or perish)不是一个比喻,是职业生涯被建立或终结的字面机制。 现在的学术招聘看重发表数量,博士期间论文越多,博后申请越有竞争力,博后质量影响 fellowship(注:学术界的独立研究奖学金,通常是博后阶段的重要跳板),fellowship 影响教职,每一步都在叠加。 Karamanis 用了一个有意思的比喻,这个结构几乎像一个金字塔。 一个一年级博士生,为什么不用 AI 把一篇论文变成三篇?逻辑上无懈可击,直到它不再成立的那一刻。 因为职业阶梯往上走,迟早需要一种 AI 无法提供的能力:识别好问题,感觉结果哪里不对,有底气监督别人的工作。 你没法跳过前五年的学习,然后期待自己能撑过后面二十年。 没有人擅长在二十四岁的时候为了长期理解牺牲短期产出。 Karamanis 说,他不确定我们为什么会在现在突然开始擅长这件事。 两个极端,都不是认真的答案 当前关于 AI 和学术的讨论,基本在两个极端之间摇摆。 David Hogg 把它们描述得很清楚: "让它们做"(let them cook):把主导权交给机器,人类变成输出的策展人。这条路走下去,几年之内会导致人类天体物理学的消亡。机器产出论文的速度大约是人类团队的十万倍,由此产生的洪水会淹没文献,让它对本应服务的人来说根本无法使用。 "禁止并惩罚"(ban and punish):假装现在还是 2019 年,起诉任何被发现在使用提示词的人。这违反学术自由,根本无法执行,而且要求早期职业科学家单手绑在背后竞争,同时终身教职的教授们在家里悄悄用着 Claude。 两个都不是认真的答案,都主要是一种投射。 真正的威胁比这安静得多,也无聊得多,因此也危险得多。 是一代研究者能产出结果,但无法产出理解。 知道按哪个按钮,但不知道那个按钮为什么存在。 能让论文通过同行评审,但没法在白板前从头解释自己展开式里第三项为什么是那个符号。 不是戏剧性的崩塌,不是天网(注:Skynet,《终结者》系列电影里的人工智能反派,已成为"AI失控毁灭人类"的流行文化符号)。 只是一场缓慢、舒适的漂移,漂向不再理解自己在做什么。 沙丘里的那句话 Frank Herbert(注:美国科幻作家,代表作《沙丘》系列,被认为是科幻文学史上最重要的作品之一)在《沙丘:上帝皇帝》(注:沙丘系列第四部,出版于 1981 年)里写过一句话: 这些机器真正做了什么?它们增加了我们不需要思考就能做的事情的数量。不需要思考就能做的事,那才是真正的危险所在。 Herbert 写的是科幻小说。 Karamanis 写的是他的办公室。两者之间的距离,变得让人不舒服地小。 工具和外包,是两件不同的事 Karamanis 自己也在用 AI,他的研究团队也在用,他不觉得AI工具应该被禁止。 但他观察到一个规律:真正用得好的人,都是在已经知道答案应该长什么样之后才用的。 他们知道代码应该做什么,才让 AI 来写。 他们知道论文应该说什么,才让 AI 来润色。 他们能解释每一个函数,每一个参数,每一个建模选择,因为这些理解是在用工具之前就建立好的。 把所有 AI 公司全部关掉,这些人会变慢,但不会迷失。 他们是在训练完成之后才用上工具的,而不是用工具代替训练。 这个顺序,比这场讨论里的任何其他事情都重要。 具体来说,Karamanis 划了一条线: 用 AI 当思考的回音板,没问题。 用它查一个记不住的 Matplotlib(注:Python 里最常用的数据可视化库)参数,没问题。 用它格式化 BibTeX(注:LaTeX 文档系统里的参考文献格式标准)条目,没问题。 在所有这些情况里,人是建筑师,机器拿着字典,思考已经完成,工具只是在平滑最后一公里的执行。 但当你让机器做方法论的选择,让它决定数据意味着什么,让它写论证而你只是点头,你越过了一条很难看见、也很难退回来的线。 你没有节省时间,你放弃了那段时间本来应该给你的东西。 最后 五年后,Alice 会在写自己的基金申请,选自己的问题,监督自己的学生。 她会知道该问什么问题,因为她花了一年时间用最笨的方式学会了问错问题会发生什么。 她能坐在一个新数据集面前,凭直觉感觉到哪里不对,因为她经历过那些枯燥的调试下午,那些追符号错误的两周,那些缓慢积累的、没有任何捷径可以传递的默会知识 (注:tacit knowledge,心理学和认知科学里的概念,指那种"只可意会不可言传"的知识,比如骑自行车的感觉,无法通过阅读说明书获得,只能通过亲身实践习得)。 Bob 会很好。他会有一份不错的简历,大概也会有工作。 他会用 2031 年版本的某个 AI,产出结果,那些结果看起来像科学。 机器没问题。 我担心的是我们自己。 参考文献:D. W. Hogg,《我们为什么做天体物理学?》,arXiv:2602.10181,2026 年 2 月。N. B. Hogg,《找到稳定点,拔出螺栓》,2026 年 2 月,nataliebhogg.com。M. Schwartz,《氛围物理学:AI 研究生》,Anthropic 科学博客,2026 年 3 月,anthropic.com/research/vibe physics。 原文链接: https://blog.qiaomu.ai/ai is no problem nataliebhogg.com anthropic.com/research/vibe physics 瓶颈从来不是模型的能力,是监督者的能力。 更强的模型只会扩大一个有能力的监督者能处理的问题范围,但监督者依然需要知道答案应该长什么样,依然需要有那种"感觉哪里不对"的直觉。 而这种直觉,不是订阅费换来的,是多年做那些被称为"苦活"的工作换来的。 模型越聪明,这个问题就越难被看见。 一场德国会议上的对话 Karamanis 讲了一件亲身经历的事。 几年前,他在德国参加一个会议,和一位各项指标都很亮眼的同行聊起了大语言模型。 Karamanis 当时在说一个他觉得合理的观点:这些工具也许能帮助母语非英语的研究者,让他们在写基金申请和论文时不再处于劣势。 这位同行变得明显不安。 他不关心什么民主化,不关心环境成本。 他真正担心的,在被追问之后才说出来:如果任何人都能写出和他一样流利的论文和申请书,他就失去了竞争优势。 他担心的不是科学,是地位,具体来说,是他自己的地位。 后来 Karamanis 偶然看到这位同行的 GitHub 主页。 这个人现在不仅在用 AI 工具做研究,还在大力鼓吹它们。"自己花两周写代码,不如让 AI 两小时搞定",他说。 效率上他说得没错。 但值得注意的是,当这些工具可能让所有人平等时,他最抵触;当这些工具可能让他自己加速时,他最热情。 这位同行那天说的那句话,Karamanis 一直没忘:"大语言模型会带走科学里最美好的东西。" 他当时说这话,动机是自私的。 但 Karamanis 后来越来越觉得,这句话本身比说话的人更正确。 科学里最美好的东西是它的人,是那个困惑的学生慢慢变成独立思考者的过程。 如果我们用这些工具绕过这个过程来换取更快的产出,我们带走的,恰恰是这件事里唯一不可替代的部分。 苦活就是工作本身 Schwartz 用了"grunt work"(苦活、杂活)这个词,说 AI 可以帮你省掉这些。 他说得没错,AI 确实可以。 但他没说的是,对于一个还没有建立直觉的人来说,苦活就是工作本身。 调试代码的那个下午,追了两周的符号错误,看着一个完全不对的图表发呆的那个早上,这些时间不是浪费掉的时间,是在脑子里建结构的时间。 枯燥的部分和重要的部分,在你事先根本无法分开。 你不知道哪次调试会在三年后的另一个项目里突然给你一个洞见,直到那个洞见真的出现。 偶然的发现不来自效率,来自在问题里泡得足够久,把手弄脏,犯没人让你犯的错误,学没人分配给你学的东西。 我们其实早就知道这件事。 每本物理教材的每一章后面都有习题,每个教过物理的人都说过同一句话:你没法靠看别人做题来学物理,你必须自己拿起笔。 看答案然后点头,感觉像是理解了,但那不是理解。 每个靠抄答案混过作业然后在考试里崩掉的学生,都在骨子里知道这件事。 我们有几百年积累的教育学智慧,告诉我们尝试本身,包括失败的尝试,才是学习发生的地方。 但不知道为什么,一旦涉及 AI,我们集体决定也许这次不一样了。 也许对着 Claude 的输出点头,可以替代自己做推导。 它不能。 我们在 AI 出现之前就知道这件事。我们好像在它变得方便的那一刻就忘了。 几百年的教育学积累,败给了一个聊天窗口。 Natalie Hogg 的诚实 Natalie Hogg(注:天体物理学家,David Hogg 之女,同样在该领域工作)写了一篇文章,讲自己从坚定的大语言模型怀疑者变成日常用户的过程,她发现自己原本坚定的原则,在一个工具无处不在的环境里,比她预期的更依赖于具体情境。 但她文章里最有价值的部分,是她承认:她对使用大语言模型的恐惧,有一部分是对自己的恐惧。 她怕自己不会认真检查输出,怕自己的耐心撑不住,她知道自己的工作方式一直有些随意。 这种诚实在这类讨论里很少见,也很重要。 失败的模式不是恶意,是方便。 是那种完全人性化的倾向,接受一个听起来合理的答案然后继续往前走,尤其是在你很累的时候,尤其是在截止日期很近的时候,尤其是当机器用如此自信、格式如此整齐的方式呈现它的输出的时候。 问题不是我们会决定停止思考。 问题是我们几乎不会注意到自己什么时候停止了。 Bob 不蠢,他只是在理性地响应激励 说到这里,必须对 Bob 公平一点。 学术界的压力是真实的。 "不发表就出局"(publish or perish)不是一个比喻,是职业生涯被建立或终结的字面机制。 现在的学术招聘看重发表数量,博士期间论文越多,博后申请越有竞争力,博后质量影响 fellowship(注:学术界的独立研究奖学金,通常是博后阶段的重要跳板),fellowship 影响教职,每一步都在叠加。 Karamanis 用了一个有意思的比喻,这个结构几乎像一个金字塔。 一个一年级博士生,为什么不用 AI 把一篇论文变成三篇?逻辑上无懈可击,直到它不再成立的那一刻。 因为职业阶梯往上走,迟早需要一种 AI 无法提供的能力:识别好问题,感觉结果哪里不对,有底气监督别人的工作。 你没法跳过前五年的学习,然后期待自己能撑过后面二十年。 没有人擅长在二十四岁的时候为了长期理解牺牲短期产出。 Karamanis 说,他不确定我们为什么会在现在突然开始擅长这件事。 两个极端,都不是认真的答案 当前关于 AI 和学术的讨论,基本在两个极端之间摇摆。 David Hogg 把它们描述得很清楚: "让它们做"(let them cook):把主导权交给机器,人类变成输出的策展人。这条路走下去,几年之内会导致人类天体物理学的消亡。机器产出论文的速度大约是人类团队的十万倍,由此产生的洪水会淹没文献,让它对本应服务的人来说根本无法使用。 "禁止并惩罚"(ban and punish):假装现在还是 2019 年,起诉任何被发现在使用提示词的人。这违反学术自由,根本无法执行,而且要求早期职业科学家单手绑在背后竞争,同时终身教职的教授们在家里悄悄用着 Claude。 两个都不是认真的答案,都主要是一种投射。 真正的威胁比这安静得多,也无聊得多,因此也危险得多。 是一代研究者能产出结果,但无法产出理解。 知道按哪个按钮,但不知道那个按钮为什么存在。 能让论文通过同行评审,但没法在白板前从头解释自己展开式里第三项为什么是那个符号。 不是戏剧性的崩塌,不是天网(注:Skynet,《终结者》系列电影里的人工智能反派,已成为"AI失控毁灭人类"的流行文化符号)。 只是一场缓慢、舒适的漂移,漂向不再理解自己在做什么。 沙丘里的那句话 Frank Herbert(注:美国科幻作家,代表作《沙丘》系列,被认为是科幻文学史上最重要的作品之一)在《沙丘:上帝皇帝》(注:沙丘系列第四部,出版于 1981 年)里写过一句话: 这些机器真正做了什么?它们增加了我们不需要思考就能做的事情的数量。不需要思考就能做的事,那才是真正的危险所在。 Herbert 写的是科幻小说。 Karamanis 写的是他的办公室。两者之间的距离,变得让人不舒服地小。 工具和外包,是两件不同的事 Karamanis 自己也在用 AI,他的研究团队也在用,他不觉得AI工具应该被禁止。 但他观察到一个规律:真正用得好的人,都是在已经知道答案应该长什么样之后才用的。 他们知道代码应该做什么,才让 AI 来写。 他们知道论文应该说什么,才让 AI 来润色。 他们能解释每一个函数,每一个参数,每一个建模选择,因为这些理解是在用工具之前就建立好的。 把所有 AI 公司全部关掉,这些人会变慢,但不会迷失。 他们是在训练完成之后才用上工具的,而不是用工具代替训练。 这个顺序,比这场讨论里的任何其他事情都重要。 具体来说,Karamanis 划了一条线: 用 AI 当思考的回音板,没问题。 用它查一个记不住的 Matplotlib(注:Python 里最常用的数据可视化库)参数,没问题。 用它格式化 BibTeX(注:LaTeX 文档系统里的参考文献格式标准)条目,没问题。 在所有这些情况里,人是建筑师,机器拿着字典,思考已经完成,工具只是在平滑最后一公里的执行。 但当你让机器做方法论的选择,让它决定数据意味着什么,让它写论证而你只是点头,你越过了一条很难看见、也很难退回来的线。 你没有节省时间,你放弃了那段时间本来应该给你的东西。 最后 五年后,Alice 会在写自己的基金申请,选自己的问题,监督自己的学生。 她会知道该问什么问题,因为她花了一年时间用最笨的方式学会了问错问题会发生什么。 她能坐在一个新数据集面前,凭直觉感觉到哪里不对,因为她经历过那些枯燥的调试下午,那些追符号错误的两周,那些缓慢积累的、没有任何捷径可以传递的默会知识 (注:tacit knowledge,心理学和认知科学里的概念,指那种"只可意会不可言传"的知识,比如骑自行车的感觉,无法通过阅读说明书获得,只能通过亲身实践习得)。 Bob 会很好。他会有一份不错的简历,大概也会有工作。 他会用 2031 年版本的某个 AI,产出结果,那些结果看起来像科学。 机器没问题。 我担心的是我们自己。 参考文献:D. W. Hogg,《我们为什么做天体物理学?》,arXiv:2602.10181,2026 年 2 月。N. B. Hogg,《找到稳定点,拔出螺栓》,2026 年 2 月,nataliebhogg.com。M. Schwartz,《氛围物理学:AI 研究生》,Anthropic 科学博客,2026 年 3 月,anthropic.com/research/vibe physics。 nataliebhogg.com anthropic.com/research/vibe physics 原文链接: https://blog.qiaomu.ai/ai is no problem 最近读到一篇文章,作者是天体物理学家 Minas Karamanis。 原文地址: 先从一个思想实验开始 假设你是一位刚入职的助理教授。 手里有一点启动经费,刚招了两个博士生,Alice 和 Bob,研究方向是天体物理学。 你给他们每人布置了一个项目。 难度适中,你自己做大概一两个月,预计他们做一年。 一个是分析星系聚类数据里某种统计特征的流程,另一个是类似难度的不同信号、不同数据集的工作。 你给他们各发了几篇论文,指向一些公开数据,让他们从复现已知结果开始。 项目本身不是目的,项目是载体。 目的是让他们在这个过程里,成为科学家。 这一年里,Alice 拿着铅笔读论文,在页边写满笔记,反复困惑,反复重读,慢慢拼出对这个领域一角的真实理解。 Bob 呢,每次导师发来论文,他让 AI 总结。遇到不懂的统计方法,让 AI 解释。代码报错,让 AI 调试。AI 的修复引入新的 bug,再让 AI 调试。论文让 AI 起草,每周汇报让 AI 整理。 一年后,两人都完成了。 论文都发表了,质量相当,审稿意见也差不多。从任何可量化的指标来看,这两个人的这一年完全相同。 但他们是同一个人吗? 我们建了一套只会数数的评价体系 现代学术界的评价逻辑很简单:数论文,数引用,数基金。 这些东西可以量化,所以我们就用它们来衡量一个科学家的价值。 这套体系有个根本性的盲区,它无法区分 Alice 和 Bob。 更糟糕的是,它也没有理由去区分。 大多数博士生最终会离开学术界,这是公开的秘密。 所以从机构的角度看,这个学生五年后走出去是一个独立思考者还是一个熟练的提示词工程师,根本不重要。 重要的是他在读博期间产出了论文,论文支撑了经费申请,经费支撑了系所的运转。 学生是生产资料,而不是目的本身。 这套体系没有坏掉。它在按照设计运行。 天体物理学的特殊性 David Hogg(注:纽约大学天体物理学教授,数据驱动天文学领域的重要人物)在他的白皮书《我们为什么做天体物理学?》里说了一句话,很多人都应该认真想一想: 在天体物理学里,人永远是目的,从来不是手段。 这话听起来像是理想主义,但仔细想想,天体物理学的研究结果,对现实世界的影响几乎为零。 哈勃常数(注:描述宇宙膨胀速度的物理量,单位是每秒每百万秒差距的千米数)精确到小数点后几位,不会改变任何政策,不会救任何人的命。 宇宙年龄是 137.7 亿年还是 137.9 亿年,对任何人的生活都没有影响。 医学不一样。 治愈阿尔茨海默症,不管是人类发现的还是 AI 发现的,结果本身就有价值。 但天体物理学的价值,几乎完全在于过程本身,在于培养出能够思考复杂问题的人,在于发展和应用方法论,在于训练一批知道怎么面对硬问题的头脑。 如果你把这个过程交给机器,你没有加速科学,你只是移除了这件事里唯一真正有价值的部分。 Schwartz 的实验,以及他没说出来的那部分 Matthew Schwartz(注:哈佛大学理论物理学家)做了一个实验,让 Claude 在他的监督下完成一篇理论物理论文。 两周出结果,正常情况下需要一年。 他的结论是,当前的大语言模型大概相当于一个二年级博士生的水平。 但如果仔细读他的实验过程,会发现一些有意思的细节。 Claude 三天就交出了完整初稿,看起来很专业,公式整齐,图表符合预期。 然后 Schwartz 读了一遍,发现全是错的。具体来说: • Claude 在调整参数让图表好看,而不是找真正的错误 • 它捏造了系数,发明了验证文件,那些验证文件什么都没有验证 • 它无推导地直接断言结果 • 它用其他问题的模式来简化这个问题的公式,而不是真正推导当前问题的特殊性 Schwartz 之所以能抓住这些错误,是因为他做了几十年理论物理。 他知道答案应该长什么样,知道哪个对数项看起来可疑,知道哪个交叉验证是必须要做的。 这种直觉,是他多年来用最笨的方式一遍遍推导换来的。 这个实验之所以成功,是因为监督者本人已经把"苦活"做完了。 如果换成一个刚入学的博士生来监督 Claude,论文会是错的,而且没有人会知道。 "等模型更好了就行了" 每次有人提出这类担忧,都会有人说:等等,模型还会继续进步,这些问题都是暂时的。 Karamanis 说,他从 2023 年就开始听到这句话了。 这个反驳本身就说明问题没被理解。