Claude内部爆料：最好的AI评测竟然是"感觉" ｜MindCode 周报

Claude内部爆料：最好的AI评测竟然是"感觉" ｜MindCode 周报 Claude内部爆料：最好的AI评测竟然是"感觉" ｜MindCode 周报 Modified September 29, 2025 🔗 原文链接： https://mp.weixin.qq.com/s/Y5IUdaKo... 原创 文兄赞一个 MindCode2025年09月28日 16:31 美国 MindCode321 周报 WEEKLY 你正在阅读的是《MindCode321》周报。 周报每周四（或五）发布，包括：3个我的想法、2个来自别处的启发、1个留给你思考讨论的问题。主题涵盖AI、脑科学、心理、创业。一般是这样，偶尔，某期周报里是别的东西。 周报力求简短，保证你在5分钟内读完。 👇👇👇 以下是本期内容，我说的都是错的： 三个想法 想法1：“成瘾”的最好定义是——你误以为你喜欢和需要。 关于成瘾，常见的判断标准是看有没有戒断反应。 但我觉得，还是首先要从认知角度来判断：当你明明不需要某样东西，也不喜欢它，但你身体的戒断反应却让你误以为自己非常需要、非常喜欢它——这才叫成瘾。 这条想法的内容其实并不新鲜，属于成瘾干预里面的专业常识，把它放在这里作为我本周的三个想法之一，是因为我对自己这段话的表达实在很满意，对于这个问题，我找到了一种既十分准确又相当通俗易懂的表达。 想法2：分形思维是一种超越二元对立的思维方法。 为了解决二元对立，人类发明了很多种思维工具，比如佛学的“中观”。 但我觉得可以再补充一种方法：分形思维。 分形的本质是自相似性和无限嵌套——每个局部都包含整体的信息，每个层级之间都呈现相似的模式。这种结构天然地超越了简单的二元划分。 遇到二元对立问题需要解决时，你可以试试从分形角度去看，会有收获。 想法3：Vibe 跟 Prompt 一样，是被严重低估的概念。 Prompt 的价值被严重低估，这个之前我们的周报有提到。 Vibe 则是另一个被严重低估的概念。 这两个概念被严重低估的重要原因都是：看上去门槛很低，且看上去太不严肃和精确了。 两个收获 收获1： 我们在开发Claude Code时，想要建立一套测试体系（evals and benchmark)，这样我们能够判断模型是否真的在改进。我们确实也建立了一些机制，但说实话，到目前为止，最大的评估信号来源还是使用感觉——它感觉起来更智能了吗？这几乎比任何严肃编写的评测集都要管用。 by Boris Cherny creator of Claude Code. ——很有意思，在模型评测、AI产品评测越来越被重视（但依然还很不到位）的今天，这个世界上最好的 Agentic 产品，同时也是在评测方面最有经验的团队的核心成员，却出来告诉你，评测（evals）不如感觉重要。当然，我认为对Boris 这段话不要片面理解，不是说 eval 真不重要，而是你要看到：相比呆板、严谨、科学的评测，通过强反馈获得感觉、氛围（对就是 vibe）其实同样重要——如果不是在某些阶段更重要的话。 收获2： “19日，蒋介石在日记中写道:本晨首先默祷敬卜济南战局之能保否。蒙上帝示我以‘可保’，此心为之大慰。以上帝允我之恩许，未有不实现者也。今后只要努力督导陆空军增援而已。“ by 金冲及《决战》中转引蒋介石1948年9月19日日记。 —— 仅5日后，济南解放。 一个灵魂拷问 你觉得模型评估重要吗？为什么？ 点击右下角气泡，说出你的观点。 PS. 最后，照例补一句：我说的都是错的。 欢迎在评论区发表你的观点和洞察，但注意，所有在评论区留言“标题党”的人会被永久拉黑，MindCode致力于保持小众，如果一个标题让你惊诧，只有一个原因，那就是：我真诚地认为世界从某个角度看，跟你想象的不一样。而这是MindCode始终致力于带给你的价值。 文兄是谁？ 科技领域连续创业者（目前在AI+心理领域），中美3家AI公司的CEO心智与战略教练，原阿里巴巴早期移动端核心产品负责人。未来一段时间，也许你关注的某些重要的AI产品，或某些备受关注的项目融资，背后就有他身影。 MindCode是什么？ 一个刚刚决定写点好东西的、很小众的公众号。日常发短篇，偶尔有深度长文。关注：AI、脑科学、心理学、创业等。由于在几个关联领域都有很深入思考，关注者中不乏顶级牛人，比如xxx和xx。 AI时代，读他人之未读对你很重要。关注并发送“1”可加讨论小群，还可参加“读完周报再来聊聊”的闭门交流会。 https://mp.weixin.qq.com/s/Y5IUdaKo... 🔗 原文链接： https://mp.weixin.qq.com/s/Y5IUdaKo... https://mp.weixin.qq.com/s/Y5IUdaKo... 原创 文兄赞一个 MindCode2025年09月28日 16:31 美国 MindCode321 周报 WEEKLY 你正在阅读的是《MindCode321》周报。 周报每周四（或五）发布，包括：3个我的想法、2个来自别处的启发、1个留给你思考讨论的问题。主题涵盖AI、脑科学、心理、创业。一般是这样，偶尔，某期周报里是别的东西。 周报力求简短，保证你在5分钟内读完。 👇👇👇 以下是本期内容，我说的都是错的： 三个想法 想法1：“成瘾”的最好定义是——你误以为你喜欢和需要。 关于成瘾，常见的判断标准是看有没有戒断反应。 但我觉得，还是首先要从认知角度来判断：当你明明不需要某样东西，也不喜欢它，但你身体的戒断反应却让你误以为自己非常需要、非常喜欢它——这才叫成瘾。 这条想法的内容其实并不新鲜，属于成瘾干预里面的专业常识，把它放在这里作为我本周的三个想法之一，是因为我对自己这段话的表达实在很满意，对于这个问题，我找到了一种既十分准确又相当通俗易懂的表达。 想法2：分形思维是一种超越二元对立的思维方法。 为了解决二元对立，人类发明了很多种思维工具，比如佛学的“中观”。 但我觉得可以再补充一种方法：分形思维。 分形的本质是自相似性和无限嵌套——每个局部都包含整体的信息，每个层级之间都呈现相似的模式。这种结构天然地超越了简单的二元划分。 遇到二元对立问题需要解决时，你可以试试从分形角度去看，会有收获。 想法3：Vibe 跟 Prompt 一样，是被严重低估的概念。 Prompt 的价值被严重低估，这个之前我们的周报有提到。 Vibe 则是另一个被严重低估的概念。 这两个概念被严重低估的重要原因都是：看上去门槛很低，且看上去太不严肃和精确了。 两个收获 收获1： 我们在开发Claude Code时，想要建立一套测试体系（evals and benchmark)，这样我们能够判断模型是否真的在改进。我们确实也建立了一些机制，但说实话，到目前为止，最大的评估信号来源还是使用感觉——它感觉起来更智能了吗？这几乎比任何严肃编写的评测集都要管用。 by Boris Cherny creator of Claude Code. ——很有意思，在模型评测、AI产品评测越来越被重视（但依然还很不到位）的今天，这个世界上最好的 Agentic 产品，同时也是在评测方面最有经验的团队的核心成员，却出来告诉你，评测（evals）不如感觉重要。当然，我认为对Boris 这段话不要片面理解，不是说 eval 真不重要，而是你要看到：相比呆板、严谨、科学的评测，通过强反馈获得感觉、氛围（对就是 vibe）其实同样重要——如果不是在某些阶段更重要的话。 收获2： “19日，蒋介石在日记中写道:本晨首先默祷敬卜济南战局之能保否。蒙上帝示我以‘可保’，此心为之大慰。以上帝允我之恩许，未有不实现者也。今后只要努力督导陆空军增援而已。“ by 金冲及《决战》中转引蒋介石1948年9月19日日记。 —— 仅5日后，济南解放。 一个灵魂拷问 你觉得模型评估重要吗？为什么？ 点击右下角气泡，说出你的观点。 PS. 最后，照例补一句：我说的都是错的。 欢迎在评论区发表你的观点和洞察，但注意，所有在评论区留言“标题党”的人会被永久拉黑，MindCode致力于保持小众，如果一个标题让你惊诧，只有一个原因，那就是：我真诚地认为世界从某个角度看，跟你想象的不一样。而这是MindCode始终致力于带给你的价值。 文兄是谁？ 科技领域连续创业者（目前在AI+心理领域），中美3家AI公司的CEO心智与战略教练，原阿里巴巴早期移动端核心产品负责人。未来一段时间，也许你关注的某些重要的AI产品，或某些备受关注的项目融资，背后就有他身影。 MindCode是什么？ 一个刚刚决定写点好东西的、很小众的公众号。日常发短篇，偶尔有深度长文。关注：AI、脑科学、心理学、创业等。由于在几个关联领域都有很深入思考，关注者中不乏顶级牛人，比如xxx和xx。 AI时代，读他人之未读对你很重要。关注并发送“1”可加讨论小群，还可参加“读完周报再来聊聊”的闭门交流会。