论文证实：用最常见最自然的Prompt，才能解锁大模型真正实力

论文证实：用最常见最自然的Prompt，才能解锁大模型真正实力 论文证实：用最常见最自然的Prompt，才能解锁大模型真正实力 Modified April 22 不只是答案对了，推理过程也变好了 有一个细节特别值得关注。 研究团队还评估了大模型在数学推理时的思维链质量，也就是模型一步步推导的过程，而不只是最终答案。 CleanShot 2026 04 20 at 22.20.27@2x.png 三个指标全部大幅提升。 这说明高频输入不只是让模型"蒙对了答案"，而是让整个推理过程都变得更清晰、更准确。 这才是真正有意义的提升。 框架的三个组成部分 这篇论文不只是提出了一个观察，还给出了一套完整的工程方案，分三个模块。 模块一：文本频率法则（TFL） 核心做法： 把输入改写成多个同义版本，选频率最高的那个。 频率估算用的是公开的词频数据库。 因为大多数大模型的训练数据是不公开的，所以用公开语料来做代理估算，相当于用互联网上词语出现的频率，来猜测模型训练数据里的频率分布。 用于写prompt时： 选频率最高的改写版本作为输入。 用于训练模型时： 用频率最高的改写版本配上原始答案，作为训练数据。 模块二：文本频率蒸馏（TFD） 核心问题： 公开语料库的频率估算，不一定准确反映目标大模型的训练数据分布。毕竟不同模型用的训练数据不一样。 解决方案： 让目标大模型做"故事续写"，把数据集里的句子喂给模型，让它续写，然后用模型生成的文本来校准频率估算。 这个思路很聪明：既然拿不到模型的训练数据，就让模型自己"告诉你"它熟悉什么样的表达。 模型生成的文本，天然反映了它的训练数据分布。 CleanShot 2026 04 20 at 22.22.08@2x.png 实验结果：加入TFD之后，在COMET指标上，DeepSeek V3和GPT 4o mini都达到了100%的语言对有提升。 CleanShot 2026 04 20 at 22.22.47@2x.png 用于蒸馏的数据量越多，提升越明显，这进一步验证了TFD的有效性。 模块三：课程文本频率训练（CTFT） 核心做法： 微调模型时，按照从低频到高频的顺序排列训练数据。 这里借鉴了教育学里的"课程学习"思想，先学难的，再学容易的。 低频表达更多样、更复杂，先学这些，模型的泛化能力更强；再学高频的常见表达，模型就能在稳固的基础上进一步提升。 这里解释一下微调（Fine tuning）：大模型训练完之后，用特定任务的数据再训练一遍，让它在某个具体任务上表现更好，这个过程叫微调。 CleanShot 2026 04 20 at 22.24.16@2x.png 微调实验有三个关键发现： 第一，高频训练数据比原始数据集还好。 在kea\ Latn（卡布佛得鲁语）上，用高频数据微调后，BLEU从4.68提升到5.25，提升了12%。 第二，混合数据也有效。 把一半低频数据换成高频数据，效果就已经明显提升了，说明不需要全部替换，部分替换也有收益。 第三，CTFT是最强的组合。 在所有测试的语言和指标上，"高频数据加上CTFT排序"都拿到了最好的成绩。在pag\ Latn（邦阿西楠语）上，BLEU从3.78提升到4.91，提升了将近30%。 CleanShot 2026 04 20 at 22.25.35@2x.png 值得一提的是，微调和prompt两个方向的提升可以叠加，一起用效果更好。 翻译案例：直观感受差距 CleanShot 2026 04 20 at 22.26.57@2x.png 论文附录里有具体的翻译案例。 以翻译成塞尔维亚语为例，高频版本的BLEU分数（0.62）明显高于低频版本（0.47），也高于原始版本（0.52）。从翻译结果来看，高频版本的译文更接近参考译文，用词也更自然。 频率越高，翻译质量越好 论文还做了一个额外分析：即使不是配对的同义句子，单纯看一批翻译数据里，句子频率和翻译质量的相关性，结论依然成立。 在多个语言上，文本频率与翻译质量的相关系数达到了1.0，也就是完美正相关，频率越高的输入，翻译质量越好。 这说明TFL不只是在配对实验里成立，而是一个更普遍的规律。 这对普通用户意味着什么 几个直接可以用上的启示： 写prompt时，用常见、自然的表达。 不需要刻意用书面语或者堆砌复杂词汇，反而会让模型表现变差。日常说话怎么说，prompt就怎么写，通常效果更好。 如果模型答得不好，试试换个说法。 不是换意思，是换表达方式，用更口语化、更常见的词重新描述同一个问题。 训练或微调模型时，数据的表达方式也很重要。 不只是数据质量和数量，用词是否常见，也会影响最终效果。 一个更深的启示 这项研究让人想到一个更普遍的问题：大模型的能力边界，在多大程度上是由训练数据的分布决定的？ 我们通常觉得，一个问题要么模型会，要么不会。 但这个研究说明，"会不会"这件事，和你怎么问有很大关系。 同一个问题，用模型更熟悉的语言问，它就更可能答对。 更进一步想，这其实和人类学习没什么本质区别。 一个概念，用你熟悉的语言解释，你理解得更快；用陌生的术语堆砌，即使意思一样，你也容易卡壳。 大模型只是把这个现象，用严格的实验精确地量化出来了。 模型的能力，和它见过什么，密不可分。 而你怎么跟它说话，决定了你能调用出它多少能力。 原文链接: https://blog.qiaomu.ai/bestprompt 不只是答案对了，推理过程也变好了 有一个细节特别值得关注。 研究团队还评估了大模型在数学推理时的思维链质量，也就是模型一步步推导的过程，而不只是最终答案。 三个指标全部大幅提升。 这说明高频输入不只是让模型"蒙对了答案"，而是让整个推理过程都变得更清晰、更准确。 这才是真正有意义的提升。 框架的三个组成部分 这篇论文不只是提出了一个观察，还给出了一套完整的工程方案，分三个模块。 模块一：文本频率法则（TFL） 核心做法： 把输入改写成多个同义版本，选频率最高的那个。 频率估算用的是公开的词频数据库。 因为大多数大模型的训练数据是不公开的，所以用公开语料来做代理估算，相当于用互联网上词语出现的频率，来猜测模型训练数据里的频率分布。 用于写prompt时： 选频率最高的改写版本作为输入。 用于训练模型时： 用频率最高的改写版本配上原始答案，作为训练数据。 模块二：文本频率蒸馏（TFD） 核心问题： 公开语料库的频率估算，不一定准确反映目标大模型的训练数据分布。毕竟不同模型用的训练数据不一样。 解决方案： 让目标大模型做"故事续写"，把数据集里的句子喂给模型，让它续写，然后用模型生成的文本来校准频率估算。 这个思路很聪明：既然拿不到模型的训练数据，就让模型自己"告诉你"它熟悉什么样的表达。 模型生成的文本，天然反映了它的训练数据分布。 实验结果：加入TFD之后，在COMET指标上，DeepSeek V3和GPT 4o mini都达到了100%的语言对有提升。 用于蒸馏的数据量越多，提升越明显，这进一步验证了TFD的有效性。 模块三：课程文本频率训练（CTFT） 核心做法： 微调模型时，按照从低频到高频的顺序排列训练数据。 这里借鉴了教育学里的"课程学习"思想，先学难的，再学容易的。 低频表达更多样、更复杂，先学这些，模型的泛化能力更强；再学高频的常见表达，模型就能在稳固的基础上进一步提升。 这里解释一下微调（Fine tuning）：大模型训练完之后，用特定任务的数据再训练一遍，让它在某个具体任务上表现更好，这个过程叫微调。 微调实验有三个关键发现： 第一，高频训练数据比原始数据集还好。 在kea\ Latn（卡布佛得鲁语）上，用高频数据微调后，BLEU从4.68提升到5.25，提升了12%。 第二，混合数据也有效。 把一半低频数据换成高频数据，效果就已经明显提升了，说明不需要全部替换，部分替换也有收益。 第三，CTFT是最强的组合。 在所有测试的语言和指标上，"高频数据加上CTFT排序"都拿到了最好的成绩。在pag\ Latn（邦阿西楠语）上，BLEU从3.78提升到4.91，提升了将近30%。 值得一提的是，微调和prompt两个方向的提升可以叠加，一起用效果更好。 翻译案例：直观感受差距 论文附录里有具体的翻译案例。 以翻译成塞尔维亚语为例，高频版本的BLEU分数（0.62）明显高于低频版本（0.47），也高于原始版本（0.52）。从翻译结果来看，高频版本的译文更接近参考译文，用词也更自然。 频率越高，翻译质量越好 论文还做了一个额外分析：即使不是配对的同义句子，单纯看一批翻译数据里，句子频率和翻译质量的相关性，结论依然成立。 在多个语言上，文本频率与翻译质量的相关系数达到了1.0，也就是完美正相关，频率越高的输入，翻译质量越好。 这说明TFL不只是在配对实验里成立，而是一个更普遍的规律。 这对普通用户意味着什么 几个直接可以用上的启示： 写prompt时，用常见、自然的表达。 不需要刻意用书面语或者堆砌复杂词汇，反而会让模型表现变差。日常说话怎么说，prompt就怎么写，通常效果更好。 如果模型答得不好，试试换个说法。 不是换意思，是换表达方式，用更口语化、更常见的词重新描述同一个问题。 训练或微调模型时，数据的表达方式也很重要。 不只是数据质量和数量，用词是否常见，也会影响最终效果。 一个更深的启示 这项研究让人想到一个更普遍的问题：大模型的能力边界，在多大程度上是由训练数据的分布决定的？ 我们通常觉得，一个问题要么模型会，要么不会。 但这个研究说明，"会不会"这件事，和你怎么问有很大关系。 同一个问题，用模型更熟悉的语言问，它就更可能答对。 更进一步想，这其实和人类学习没什么本质区别。 一个概念，用你熟悉的语言解释，你理解得更快；用陌生的术语堆砌，即使意思一样，你也容易卡壳。 大模型只是把这个现象，用严格的实验精确地量化出来了。 模型的能力，和它见过什么，密不可分。 而你怎么跟它说话，决定了你能调用出它多少能力。 原文链接: https://blog.qiaomu.ai/bestprompt 有一个问题，做AI研究的人其实很少认真想过： 同样一句话，换个说法，大模型的表现会差多少？ 答案是：差很多。而且这个差距，有规律可循。 从一个奇怪的现象说起 用过ChatGPT或者DeepSeek的人，多少都有过这种体验：同一个问题，换个方式问，答案质量明显不一样。 来自FaceMind和香港中文大学的研究团队，最近发布了一篇论文。 提出了一个叫做 文本频率法则（Textual Frequency Law，TFL） 的新框架，给出了迄今为止最清晰的一个解释。 核心观点只有一句话：在意思相同的前提下，用更"常见"的表达方式写prompt，大模型表现更好。 这里先解释一个词：prompt，就是你输入给大模型的那段话，可以是问题、指令，或者任何文字。 什么叫"文本频率" 先把这个核心概念解释清楚。 每个词在互联网上出现的次数是不一样的。"今天"、"我"、"的"这类词，到处都是；而"殚精竭虑"、"蹉跎"这类词，相对少见得多。 句子级别的频率，就是把句子里每个词的常见程度综合起来估算。 用常见词组成的句子，频率高；用生僻词组成的句子，频率低。 举个具体例子，下面两句话意思完全一样： 高频版本（常见表达）： Two songs from the movie received nominations for best original song. Lionsgate studio received 26 nominations — more than any other studio. 低频版本（生僻表达）： Two musical selections from the cinematic production were granted nods for the honor of best original track. Lionsgate production house secured 26 nominations — surpassing all other studios. 第二句用了"cinematic production"、"granted nods"、"original track"、"surpassing"这些相对少见的表达。 人读起来觉得更"文雅"，但大模型处理起来，效果反而更差。 为什么会这样 道理其实不复杂。 大模型在训练阶段，吃进去了海量的文本数据。 那些高频词、高频表达，在训练数据里反复出现，模型见过无数次，处理起来自然更"顺手"，内部的理解更准确，推理也更稳。 那些生僻的表达，模型见得少，处理起来就像一个人被问到一个很少用的词，需要多想一下，更容易出错。 语言学里有一个叫Zipf定律的规律，说的是词频分布极度不均匀： 最常见的词，出现频率是第二常见词的两倍，是第三常见词的三倍，以此类推。 大模型的能力分布，也遵循同样的不均匀性。 用一句话总结：模型见过的东西越多，理解起来越容易，表现自然越好。 研究团队还特别验证了一件事：文本频率和文本难度，是两个不同的维度。 高频表达不等于简单表达，一个句子可以语法复杂但用词常见，也可以语法简单但用词生僻。 所以TFL捕捉到的，是一个之前从来没人研究过的独立规律。 实验结果有多显著 说完原理，来看数据。 研究团队构建了一个专门的配对数据集，叫做TFPD。 构建方式很严格：先用GPT 4o mini把原始句子改写成20个版本，然后选出频率最高和最低的各一个，送给三位有英语语言学背景的人工标注员验证，只保留三人都认为意思完全相同的配对。 最终覆盖了四类任务：数学推理、机器翻译、常识推理、工具调用。 数学推理任务： 模型 低频版本准确率 高频版本准确率 提升幅度 DeepSeek V3 63.55% 71.54% +7.99% GPT 4o mini 60.70% 68.70% +8.00% LLaMA3.3 70B 80.49% 88.75% +8.26% 模型 模型 低频版本准确率 低频版本准确率 高频版本准确率 高频版本准确率 提升幅度 提升幅度 DeepSeek V3 DeepSeek V3 63.55% 63.55% 71.54% 71.54% +7.99% +7.99% GPT 4o mini GPT 4o mini 60.70% 60.70% 68.70% 68.70% +8.00% +8.00% LLaMA3.3 70B LLaMA3.3 70B 80.49% 80.49% 88.75% 88.75% +8.26% +8.26% 三个模型，提升幅度都在8个百分点左右。 什么都没变，只是换了个说法。 论文还做了一个更细致的分析：低频版本答对的样本，换成高频版本之后，依然全部答对。 另外，从最小的0.5B到最大的72B，不同规模的模型都测了，结论完全一致：无论模型大小，高频数据都带来提升。 常识推理和工具调用任务： 两个任务上，所有模型全部提升，结论一致。 机器翻译任务： 这是实验规模最大的部分，覆盖100种语言。 这里简单解释一下三个评分标准： • BLEU：机器翻译最常用的自动评分，通过比较翻译结果和参考译文的词组重合度来打分，分数越高越好 • chrF：字符级别的评分，对阿拉伯语、芬兰语这类形态复杂的语言更友好 • COMET：用神经网络来评估翻译质量，更接近人类的判断 结果非常清晰：DeepSeek V3使用高频表达后，100种语言里有99种BLEU分数提升，其中63种提升超过1分，31种超过3分，12种超过5分。 即使有下降的情况，降幅也不超过1分。 这说明高频表达几乎没有副作用，是一个非常稳健的结论。