有人破译了模型回答 9.9<9.11 的原因！ （大佬把模型拆了， 解剖神经元帮你解释

有人破译了模型回答 9.9<9.11 的原因！ （大佬把模型拆了， 解剖神经元帮你解释 有人破译了模型回答 9.9<9.11 的原因！ （大佬把模型拆了， 解剖神经元帮你解释 Modified October 25, 2024 操作方式 1. 选择自定义提示词 （当然你也可以选之前预定义的话题， 也就是黑色的按钮）: PS: 黑色的按钮会带着你做新手使用指引。 然后左边会出现我们熟悉的 chat 界面， 就不详细介绍这个界面。 网站上提供的模型是 Llama 3.1 8B Instruct: 2. 输入你的对话内容， 等待左右两边的内容生成。 如果这时右边的分析没刷新成上图的样子， 在这两个按钮之间做做切换。 由于它的归因聚类也是用了大模型， 所以稍微等等， 它也有个反应时间， 过程中可能是这样的： 最终你得到的结果可能和我不同， 甚至可能是正确的答案， 猜测是这个模型用的温度 temprature 不是最低， 因此你会得到不同的结果。 Activation Mode: 你将获得整段的推理判断。 Attribution Mode: 你需要选中一个 token， 它会帮你分析对应的内容里最大的关联。 3. 从结果中， 你会发现模型认知的 9.11 大概率是那个著名的时间， 也可能是一个日期。 这种情况下， 模型就判断 9 月 11 日比 9 月 3 日大。 而如果我们用一个显然不是日期的数字对比， 比如 9.31 和 9.4 比， 大概率答案是正确的： 解释也回归到了数字范畴： 📍 它从侧面证明了 LLM 的基本原理： LLM 是采用多头注意力机制预测下一个 token 的， 因此训练数据中相关的语句如果越多， 它们之间的相关性概率会越高。 在这个案例里， 9.11 作为日期“概念”的权重显然比它是个数字“概念”的权重大。 意义 我们可以在写提示词时， 规避这些导致结果错误的“混淆概念”， 更清晰的让大模型能知道我们说的 9.11 是什么概念。 当然， 它解释的很多地方还是不容易看懂的。 但是它能很好的帮助我们去探索一些 token 莫名其妙的生成的原因。 PS: 现在常用的几个 chatLLM 都已经加了 CoT 修复： 操作方式 1. 选择自定义提示词 （当然你也可以选之前预定义的话题， 也就是黑色的按钮）: PS: 黑色的按钮会带着你做新手使用指引。 然后左边会出现我们熟悉的 chat 界面， 就不详细介绍这个界面。 网站上提供的模型是 Llama 3.1 8B Instruct: 2. 输入你的对话内容， 等待左右两边的内容生成。 如果这时右边的分析没刷新成上图的样子， 在这两个按钮之间做做切换。 由于它的归因聚类也是用了大模型， 所以稍微等等， 它也有个反应时间， 过程中可能是这样的： 最终你得到的结果可能和我不同， 甚至可能是正确的答案， 猜测是这个模型用的温度 temprature 不是最低， 因此你会得到不同的结果。 Activation Mode: 你将获得整段的推理判断。 Attribution Mode: 你需要选中一个 token， 它会帮你分析对应的内容里最大的关联。 3. 从结果中， 你会发现模型认知的 9.11 大概率是那个著名的时间， 也可能是一个日期。 这种情况下， 模型就判断 9 月 11 日比 9 月 3 日大。 而如果我们用一个显然不是日期的数字对比， 比如 9.31 和 9.4 比， 大概率答案是正确的： 解释也回归到了数字范畴： 📍 它从侧面证明了 LLM 的基本原理： LLM 是采用多头注意力机制预测下一个 token 的， 因此训练数据中相关的语句如果越多， 它们之间的相关性概率会越高。 在这个案例里， 9.11 作为日期“概念”的权重显然比它是个数字“概念”的权重大。 它从侧面证明了 LLM 的基本原理： LLM 是采用多头注意力机制预测下一个 token 的， 因此训练数据中相关的语句如果越多， 它们之间的相关性概率会越高。 在这个案例里， 9.11 作为日期“概念”的权重显然比它是个数字“概念”的权重大。 意义 我们可以在写提示词时， 规避这些导致结果错误的“混淆概念”， 更清晰的让大模型能知道我们说的 9.11 是什么概念。 当然， 它解释的很多地方还是不容易看懂的。 但是它能很好的帮助我们去探索一些 token 莫名其妙的生成的原因。 PS: 现在常用的几个 chatLLM 都已经加了 CoT 修复： ⚽ 之前有个热梗： 当问大模型 9.9 和 9.11 哪个大时， 几乎所有大模型全军覆没， 都回答 9.9 比 9.11 小。 之前有个热梗： 当问大模型 9.9 和 9.11 哪个大时， 几乎所有大模型全军覆没， 都回答 9.9 比 9.11 小。 有个叫 transluce （https://monitor.transluce.org/dashboard/chat) 的工具横空出世， 制作了一款 AI linter。 它通过被激活的神经元， 激活激强度的聚类总和来归因， 帮助我们尝试找到大模型是怎么理解和推理出对应的词/token 的。 视频实操