皇子：LLM经典论文速读版，看完感觉自己通透了

皇子：LLM经典论文速读版，看完感觉自己通透了皇子：LLM经典论文速读版，看完感觉自己通透了 24. Toolformer 论文名称：《Toolformer: Language Models Can Teach Themselves to Use Tools》发布时间：2023/02/09 发布单位：Facebook（Meta）、庞培法布拉大学简单摘要：会使用外部工具的LLM 阅读重点：sampling API calls、executing API calls、filtering API calls、annotation with self supervised learning 中文摘要：这份研究探讨语言模型（LMs）在解决新任务时展现出的惊人能力，仅需少量范例或文本指令即可，并尤其在大规模下表现卓越。然而相反地，它们在基本功能上表现出困难，例如算术或事实查询，这些功能在更简单、更小型的模型中表现出色。所以在这篇论文中，我们展示了语言模型可以通过简单的API，自我学习使用外部工具，实现两者之间的最佳结合。我们引入了Toolformer，这是一个训练过的模型，能够决定调用哪些API、何时调用它们、传递什么参数，以及如何最佳地将结果整合到未来的标记预测中。这是通过自我监督的方式完成的，每个API仅需少量范例即可。我们包含了一系列工具，包括计算机、问答系统、两种不同的搜索引擎、翻译系统和日历。Toolformer在各种下游任务中取得了显著提升的零样本性能，通常与更大的模型竞争力相当，同时也不损害其核心语言模型能力。论文链接：https://arxiv.org/pdf/2302.04761.pdf 25. LLaMA 论文名称：《LLaMA: Open and Efficient Foundation Language Models》发布时间：2023/02/27 发布单位：Facebook（Meta）简单摘要：最有名的开源LLM第一代阅读重点：pre training data、architecture、efficient implementation 中文摘要：我们推出了LLaMA，这是一系列参数从7B到65B的基础语言模型。我们使用公开可用的数据集训练这些模型，并展示了可以在仅使用公开数据集的情况下训练出最先进的模型，无需使用专有或无法取得的数据集。特别是LLaMA 13B在大多数基准测试中优于GPT 3（175B），而LLaMA 65B与最佳模型Chinchilla 70B和PaLM 540B竞争力相当。我们将所有模型释出给研究社区使用。论文链接：https://arxiv.org/pdf/2302.13971.pdf 26. GPT 4 论文名称：《GPT 4 Technical Report》发布时间：2023/05/15 发布单位：OpenAI 简单摘要：目前世界上最强的LLM 简单摘要：目前世界上最强的LLM 中文摘要：我们开发了GPT 4，这是一个大规模、多模态模型，能够接受图像和文字输入并生成文字输出。虽然在许多现实情境中比不上人类的能力，但在各种专业和学术基准测试中，GPT 4表现出与人类相当的水平，包括在模拟的律师考试中取得了排名前10%左右的成绩。 GPT 4是一个基于Transformer的模型，预先训练来预测文件中的下一个标记。后训练对齐流程改进了模型的事实性和符合期望行为的表现。这个项目的核心部分是开发了在各种规模下都表现稳定的基础设施和优化方法。这使我们能够根据使用不到GPT 4 1/1,000的计算资源所训练的模型，准确预测GPT 4的某些性能方面。论文链接：https://arxiv.org/pdf/2303.08774.pdf 27. QLoRA 论文名称：《QLoRA: Efficient Finetuning of Quantized LLMs》发布时间：2023/05/23 发布单位：华盛顿大学简单摘要：quantization+Lora让我一张显卡就可fine tune LLM 阅读重点：4 bit NormalFloat、double quantization、paged optimizers 中文摘要：我们提出了QLoRA，一种有效的微调方法，可以减少内存使用量，让一个65B参数的模型在一个48GB的GPU上进行微调，同时保持完整的16位微调任务性能。 QLoRA通过一种称为Low Rank Adapters（LoRA）的方法，将梯度反向传播到冻结的4位量化预训练语言模型。我们最佳的模型家族名为Guanaco，在Vicuna基准测试中表现优于以往所有公开发布的模型，并仅需在单个GPU上进行24小时的微调即可达到ChatGPT 99.3%的性能水平。 QLoRA引入了几项创新，以节省内存而不影响性能：（a）4位NormalFloat（NF4），这是一种对于正常分布权重的训息理论最优的新数据类型; （b）双重量化，通过量化量化常数来减少平均内存占用; （c）标签优化器，管理内存峰值。我们使用QLoRA对1000多个模型进行微调，提供了对8个指令数据集、多种模型类型（LLaMA、T5）以及使用常规微调不可行的模型规模（例如33B和65B参数模型）的指令遵从和聊天机器人性能的详细分析。我们的结果表明，QLoRA在一个小而高质量的数据集上进行微调，即使使用的模型比以前的模型更小，可以达到最新技术水平的性能。除此之外我们提供了基于人类和GPT 4评估的聊天机器人性能的详细分析，并显示GPT 4评估是一种便宜且合理的替代方法。此外我们发现当前的聊天机器人基准测试不能准确评估聊天机器人的性能水平。通过某些方面的分析，我们展示了Guanaco相对于ChatGPT的不足之处。最后我们释出了所有模型和代码，包括4位训练的CUDA核心。论文链接：https://arxiv.org/pdf/2305.14314.pdf 28. Phi 1 论文名称：《Textbooks Are All You Need》发布时间：2023/06/20 发布单位：Microsoft 简单摘要：高品质的小数据胜过大数据和大模型阅读重点：importance of high quality data、用transformer过滤datasets、synthetic textbook quality datasets、data pruning 中文摘要：我们推出了 phi 1，一款针对代码的新型大型语言模型，规模远小于竞争对手的模型：phi 1是一个基于 Transformer 的模型，拥有 13 亿参数，在 8 个 A100 GPU 上训练了 4 天，使用了来自网络“教科书级别”的数据（60亿标记）和使用 GPT 3.5 合成生成的教科书和练习题（10亿标记）。尽管规模小，phi 1 在 HumanEval 上达到了 50.6% 的 pass@1 准确率，以及 MBPP 上的 55.5%。与 phi 1 base 相比（我们在编程练习数据集上进行微调之前的模型），phi 1 也展现了令人惊讶的新特性，以及与 phi 1 small（另一个具有 3.5 亿参数的较小模型）相比的性能，后者在 HumanEval 上仍然达到了 45%。论文链接：https://arxiv.org/pdf/2306.11644.pdf 29. RLAIF 论文名称：《RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback》发布时间：2023/08/24 发布单位：Google 简单摘要：让社会化的LLM来社会化LLM 阅读重点：reference labeling with LLMs、addressing position bias、distilled RLAIF、direct RLAIF、evaluation 24. Toolformer 论文名称：《Toolformer: Language Models Can Teach Themselves to Use Tools》发布时间：2023/02/09 发布单位：Facebook（Meta）、庞培法布拉大学简单摘要：会使用外部工具的LLM 阅读重点：sampling API calls、executing API calls、filtering API calls、annotation with self supervised learning 中文摘要：这份研究探讨语言模型（LMs）在解决新任务时展现出的惊人能力，仅需少量范例或文本指令即可，并尤其在大规模下表现卓越。然而相反地，它们在基本功能上表现出困难，例如算术或事实查询，这些功能在更简单、更小型的模型中表现出色。所以在这篇论文中，我们展示了语言模型可以通过简单的API，自我学习使用外部工具，实现两者之间的最佳结合。我们引入了Toolformer，这是一个训练过的模型，能够决定调用哪些API、何时调用它们、传递什么参数，以及如何最佳地将结果整合到未来的标记预测中。这是通过自我监督的方式完成的，每个API仅需少量范例即可。我们包含了一系列工具，包括计算机、问答系统、两种不同的搜索引擎、翻译系统和日历。Toolformer在各种下游任务中取得了显著提升的零样本性能，通常与更大的模型竞争力相当，同时也不损害其核心语言模型能力。论文链接：https://arxiv.org/pdf/2302.04761.pdf 25. LLaMA 论文名称：《LLaMA: Open and Efficient Foundation Language Models》发布时间：2023/02/27 发布单位：Facebook（Meta）简单摘要：最有名的开源LLM第一代阅读重点：pre training data、architecture、efficient implementation 中文摘要：我们推出了LLaMA，这是一系列参数从7B到65B的基础语言模型。我们使用公开可用的数据集训练这些模型，并展示了可以在仅使用公开数据集的情况下训练出最先进的模型，无需使用专有或无法取得的数据集。特别是LLaMA 13B在大多数基准测试中优于GPT 3（175B），而LLaMA 65B与最佳模型Chinchilla 70B和PaLM 540B竞争力相当。我们将所有模型释出给研究社区使用。论文链接：https://arxiv.org/pdf/2302.13971.pdf 26. GPT 4 论文名称：《GPT 4 Technical Report》发布时间：2023/05/15 发布单位：OpenAI 简单摘要：目前世界上最强的LLM 简单摘要：目前世界上最强的LLM 中文摘要：我们开发了GPT 4，这是一个大规模、多模态模型，能够接受图像和文字输入并生成文字输出。虽然在许多现实情境中比不上人类的能力，但在各种专业和学术基准测试中，GPT 4表现出与人类相当的水平，包括在模拟的律师考试中取得了排名前10%左右的成绩。 GPT 4是一个基于Transformer的模型，预先训练来预测文件中的下一个标记。后训练对齐流程改进了模型的事实性和符合期望行为的表现。这个项目的核心部分是开发了在各种规模下都表现稳定的基础设施和优化方法。这使我们能够根据使用不到GPT 4 1/1,000的计算资源所训练的模型，准确预测GPT 4的某些性能方面。论文链接：https://arxiv.org/pdf/2303.08774.pdf 27. QLoRA 论文名称：《QLoRA: Efficient Finetuning of Quantized LLMs》发布时间：2023/05/23 发布单位：华盛顿大学简单摘要：quantization+Lora让我一张显卡就可fine tune LLM 阅读重点：4 bit NormalFloat、double quantization、paged optimizers 中文摘要：我们提出了QLoRA，一种有效的微调方法，可以减少内存使用量，让一个65B参数的模型在一个48GB的GPU上进行微调，同时保持完整的16位微调任务性能。 QLoRA通过一种称为Low Rank Adapters（LoRA）的方法，将梯度反向传播到冻结的4位量化预训练语言模型。我们最佳的模型家族名为Guanaco，在Vicuna基准测试中表现优于以往所有公开发布的模型，并仅需在单个GPU上进行24小时的微调即可达到ChatGPT 99.3%的性能水平。 QLoRA引入了几项创新，以节省内存而不影响性能：（a）4位NormalFloat（NF4），这是一种对于正常分布权重的训息理论最优的新数据类型; （b）双重量化，通过量化量化常数来减少平均内存占用; （c）标签优化器，管理内存峰值。我们使用QLoRA对1000多个模型进行微调，提供了对8个指令数据集、多种模型类型（LLaMA、T5）以及使用常规微调不可行的模型规模（例如33B和65B参数模型）的指令遵从和聊天机器人性能的详细分析。我们的结果表明，QLoRA在一个小而高质量的数据集上进行微调，即使使用的模型比以前的模型更小，可以达到最新技术水平的性能。除此之外我们提供了基于人类和GPT 4评估的聊天机器人性能的详细分析，并显示GPT 4评估是一种便宜且合理的替代方法。此外我们发现当前的聊天机器人基准测试不能准确评估聊天机器人的性能水平。通过某些方面的分析，我们展示了Guanaco相对于ChatGPT的不足之处。最后我们释出了所有模型和代码，包括4位训练的CUDA核心。论文链接：https://arxiv.org/pdf/2305.14314.pdf 28. Phi 1 论文名称：《Textbooks Are All You Need》发布时间：2023/06/20 发布单位：Microsoft 简单摘要：高品质的小数据胜过大数据和大模型阅读重点：importance of high quality data、用transformer过滤datasets、synthetic textbook quality datasets、data pruning 中文摘要：我们推出了 phi 1，一款针对代码的新型大型语言模型，规模远小于竞争对手的模型：phi 1是一个基于 Transformer 的模型，拥有 13 亿参数，在 8 个 A100 GPU 上训练了 4 天，使用了来自网络“教科书级别”的数据（60亿标记）和使用 GPT 3.5 合成生成的教科书和练习题（10亿标记）。尽管规模小，phi 1 在 HumanEval 上达到了 50.6% 的 pass@1 准确率，以及 MBPP 上的 55.5%。与 phi 1 base 相比（我们在编程练习数据集上进行微调之前的模型），phi 1 也展现了令人惊讶的新特性，以及与 phi 1 small（另一个具有 3.5 亿参数的较小模型）相比的性能，后者在 HumanEval 上仍然达到了 45%。论文链接：https://arxiv.org/pdf/2306.11644.pdf 29. RLAIF 论文名称：《RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback》发布时间：2023/08/24 发布单位：Google 简单摘要：让社会化的LLM来社会化LLM 阅读重点：reference labeling with LLMs、addressing position bias、distilled RLAIF、direct RLAIF、evaluation 中文摘要：强化学习从人类反馈中学习（RLHF）已被证明能有效让大型语言模型（LLMs）与人类偏好保持一致。然而收集高质量的人类偏好标签可能耗时且昂贵。前人所提出的AI反馈强化学习（RLAIF）提供了一种有希望的替代方案，它利用强大的现成LLM来生成偏好，取代了人类标注者。在摘要、有帮助的对话生成和无害对话生成等任务中，RLAIF获得了与RLHF相当或更优的表现。此外在另一个实验中，直接向LLM提供奖励分数的提示方法，即使LLM偏好标注生成器与策略大小相同，也能比典型的RLAIF设置获得更好的表现。最后我们对生成符合AI偏好的技术进行了广泛研究。我们的结果表明，RLAIF能达到人类水平的性能，为克服RLHF的扩展性限制提供了潜在解决方案。论文链接：https://arxiv.org/pdf/2309.00267.pdf 30. Superalignment 论文名称：《Weak to Strong Generalization: Eliciting Strong Capabilities with Weak Supervision》发布时间：2023/12/14 发布单位：OpenAI 简单摘要：要人类能监督超级AI，先从小LLM监督大LLM开始中文摘要：广泛使用的对齐技术，比如从人类反馈中进行强化学习（RLHF），依赖于人类监督模型行为的能力，例如评估模型是否忠实地遵从指令或生成安全的输出。但是未来的超级人工智能模型将表现出复杂的行为，对人类来说难以可靠地评估，对于人类对超级人工智能模型进行弱监督，我们研究了这个问题的类比：弱模型监督是否能唤起更强大模型的全部能力？我们在自然语言处理、西洋棋和奖励建模任务上使用了一系列GPT 4系列的预训练语言模型进行测试。我们发现，当我们用弱模型生成的标注来简单微调强大的预训练模型时，它们的表现一直优于弱监督模型，我们称之为弱到强泛化现象。然而仅仅通过简单微调，我们仍然离完全发挥强大模型的能力很远，这表明像RLHF这样的技术在不进一步研究的情况下可能无法应对超级人工智能模型的挑战。我们发现简单的方法通常能显著提高弱到强泛化能力：例如当用GPT 2级别的监督模型和辅助的置信损失来微调GPT 4时，我们在NLP任务上可以接近GPT 3.5的性能水平。我们的结果表明，当前在解决对齐超级人工智能模型方面是有可能取得实际进展的。论文链接：https://cdn.openai.com/papers/weak to strong generalization.pdf 31. graphRAG 论文名称：《From Local to Global: A Graph RAG Approach to Query Focused Summarization》发布时间：2024/04 发布单位：Microsoft 简单摘要：面向查询的知识图谱检索增强中文摘要：使用检索增强生成（RAG）从外部知识源检索相关信息，使大型语言模型（LLM）能够回答关于私人和/或以前看不到的文档集合的问题。然而，RAG在针对整个文本语料库的全局问题上失败了，例如“数据集中的主要主题是什么？”，因为这本质上是一个以查询为重点的总结（QFS）任务，而不是一个明确的检索任务。与此同时，以前的QFS方法未能扩展到典型的RAG系统索引的文本数量。为了结合这些对比方法的优势，我们提出了一种图形RAG方法，在私人文本语料库上回答问题，该方法可根据用户问题的一般性和要索引的源文本的数量进行缩放。我们的方法使用LLM分两个阶段构建基于图形的文本索引：首先从源文档中导出实体知识图形，然后为所有密切相关的实体组预先生成社区摘要。给定一个问题，每个社区摘要都用于生成部分响应，然后将所有部分响应再次汇总到对用户的最终响应中。对于一类关于100万令牌范围内数据集的全球意义问题，我们表明，Graph RAG在生成答案的全面性和多样性方面比天真的RAG基线有了实质性改进。论文链接：https://arxiv.org/pdf/2404.16130 以上。推荐阅读讲清 Transformer 模型架构论文（一）讲清 Transformer 模型架构论文（一）讲清 Transformer 模型架构论文（二）讲清 Transformer 模型架构论文（二）讲清 Transformer 模型架构论文（三）讲清 Transformer 模型架构论文（三）讲清 Transformer 模型架构论文（四）讲清 Transformer 模型架构论文（四）认识大模型Embedding技术，加代码实战认识大模型Embedding技术，加代码实战关于作者：一位热爱技术，并在职场与自媒体间探索的实践者，希望通过分享个人经验和见解，帮助更多人实现自我成长和价值。如果您对我的公众号内容感兴趣，欢迎关注我。也可以在下方添加我微信和一支烟花AI社区技术群，一起交流技术、职场心得。 🔗 原文链接： https://mp.weixin.qq.com/s/HaXZedhd... https://mp.weixin.qq.com/s/HaXZedhd... ⏰ 发布时间：2024 08 01 作者：皇子，皇子谈技术读不下去的，略读也是不错，美名曰“好读书，不求甚解；每有会意，便欣然忘食。” 大家好，我是皇子。对于渴望深入理解AI的爱好者和研究者来说，阅读经典论文不仅是获取知识的途径，更能让我们产生新的思维方式。历史文章分享过一次《Attention is All You Need》论文的精读，我也不是算法和机器学习的从业者，有很多不解，但是不影响我在后面学习大语言模型（LLM）相关技术时提供了理论基础。《Attention is All You Need》这篇论文堪称经典一点不为过，早期的 GPT 、 BERT 、 T5 大语言模型都是在此论文提供的Transformers框架上进行后续的模型设计和优化的。所以今天，为大家推荐 31篇LLM的经典论文之作速读版，看完感觉自己通透了，包含：大语言模型架构、RAG、预训练、微调、提示词等。在此之前，先分享一个想看中文翻译版原文的高效办法： • 为了方便中文阅读：安装浏览器插件“沉浸式翻译（https://immersivetranslate.com）”，支持多种浏览器，多个翻译服务。 • PDF翻译后样式不方便阅读，调整为HTM版本：将 arxiv PDF 论文原地址域名中的 x 更换成 5 即变成可访问的HTML版本链接，然后就可以愉快的使用“沉浸式翻译”进行原文阅读了。例如： arxiv PDF 论文原地址：https://arxiv.org/abs/2109.01652 替换后HTML版本的链接：https://ar5iv.org/abs/2109.01652 • 论文中看不懂的公式 / 概念，对于不是搞算法的可以不用专研，毕竟没有算法功底和更详细的上下文有些很难读懂，google或者AI一下知道是干嘛的就够了（个人阅读习惯，大佬跳过～）。 31篇LLM的经典论文速读版清单节选来源：劉智皓 | 节选来源：劉智皓 1. Transformer 论文名称：《Attention is all you need》发布时间：2017/06/12 发布单位：Google、多伦多大学简单摘要：所有LLM的始祖，迈向NLP新时代的基础架构中文摘要：传统的序列转换模型使用复杂的循环或卷积神经网络，包括编码器和解码器。表现最好的模型会透过注意力机制连接编码器和解码器。而我们提出了一种新的简单网络结构，Transformer，完全基于注意力机制，不再使用循环和卷积。我们在两个机器翻译任务上进行实验，发现这些模型在质量上的表现优越，并且更容易进行平行运算，训练所需时间明显减少。我们的模型在WMT 2014年英德翻译任务上达到了28.4 BLEU，比现有最佳结果（包括整体模型）提高了超过2 BLEU。在WMT 2014年英法翻译任务中，我们的模型在八个GPU上训练3.5天后，取得了新的单模型最佳BLEU分数41.8，训练成本仅为文献中最佳模型的一小部分。我们展示了无论是在大量或有限的训练数据下，Transformer在其他任务中的泛化能力，成功应用于英语组成句分析。论文链接：https://arxiv.org/pdf/1706.03762.pdf 核心技术：模型架构 2. GPT 1 论文名称：《Improving language understanding by generative pre training》发布时间：2018/06/11 发布单位：OpenAI 简单摘要：autoregreesive Transformer始祖阅读重点：多层Transformer解码器、自回归模型中文摘要：自然语言理解涵盖众多不同的任务，如文本蕴涵、问答、语义相似度评估和文件分类。尽管有丰富的未标记文本资料，但用于这些特定任务的标记数据稀缺，使得训练有判别式的模型难以表现良好。我们证明通过对未标记文本的语言模型进行生成式预训练，再对每个特定任务进行判别式微调，可以在这些任务上取得巨大进步。与以往方法不同，我们在微调期间利用任务感知的输入转换，实现有效的转移，同时最大限度地减少对模型架构的更改。我们展示了我们方法在自然语言理解的众多基准测试上的有效性。我们通用的任务无关模型在12个研究的任务中，有9个显著优于专门为每个任务设计的判别式训练模型表现。例如，在常识推理（Stories Cloze Test）上，我们实现了8.9％的改善，在问答（RACE）上为5.7％，在文本蕴涵（MultiNLI）上为1.5％。链接论文：https://arxiv.org/pdf/1810.03993.pdf 核心技术：有监督微调架构 3. BERT 论文名称：《BERT: Pre training of Deep Bidirectional Transformers for Language Understanding》发布时间：2018/10/11 发布单位：Google 简单摘要：autoencoding Transformer始祖，迈向NLP fine tuning时代阅读重点：自动编码模型、屏蔽标记和下一句预测。中文摘要：我们提出了一个名为BERT（从Transformer中得到的双向编码器表征）的新语言表征模型。与最近的语言表征模型不同，BERT目标是从未标记文本中预训练深度双向表征，同时在所有网路层上联合考虑左右两侧的文本内容。因此预训练的BERT模型只需进行一个额外的输出层微调，就可以创建出各种任务的最新模型，例如问答和语言推理，而无需大幅修改特定任务的架构。 BERT概念简单且实验证明其效果非常好。它在包括GLUE得分提升至80.5％（绝对改善了7.7个百分点）、MultiNLI准确度提升至86.7％（绝对改善了4.6个百分点）、SQuAD v1.1问答测试F1提升至93.2（绝对改善了1.5个百分点）和SQuAD v2.0测试F1提升至83.1（绝对改善了5.1个百分点）等11项自然语言处理任务中取得了新的最佳结果。链接论文：https://arxiv.org/pdf/1810.04805.pdf 核心技术：基于无监督特征的方法 4. Transformer XL 论文名称：《Transformer XL: Attentive Language Models Beyond a Fixed Length Context》发布时间：2019/01/09 发布单位：Google、卡内基麦隆大学简单摘要：让Transformer可以吃更长的句子阅读重点：上下文分片、段级递归机制、相对位置嵌入中文摘要：Transformer模型在学习长期依赖性方面具有潜力，但在语言模型的情境下受到固定长度上下文的限制。我们提出了一种新颖的架构Transformer XL，能够在不干扰时间连贯性的情况下实现超越固定长度的依赖性。它包括一个分段层级的循环机制和一种新颖的位置编码方法。我们的方法不仅能捕捉更长期的依赖性，还解决了上下文碎片化的问题。在结果中，Transformer XL学习的依赖性比RNNs长80%，比原本的Transformer长450%，并在短序列和长序列上都表现更好，且评估过程中比基本的Transformer快了1800倍以上。特别值得注意的是，我们在bpc/perplexity上将enwiki8改进到了0.99，text8改进到了1.08，WikiText 103改进到了18

在小宇宙note 阅读完整内容