AI Agent系列(二)：Brain模块探究

AI Agent系列(二)：Brain模块探究 AI Agent系列(二)：Brain模块探究 首先，让我们来了解一下 PoT，其中 P 代表 Programm，即程序。它主要处理那些大模型可能出错的计算问题，通过生成可在编程语言解释器中运行的代码，将复杂的计算任务与模型的文本生成过程分离。 接下来是 Tab CoT，这里的 Tab 代表 Tabular，即表格。在这种方法中，研究者要求大模型在推理过程中使用一个“|步数|子问题|过程|结果|”的格式来记录推理表格。这样做可以让大模型在从生成的表格中提取答案时，增强其推理能力。 此外，还有 ToT，即思维树。简单来说，ToT 是将 CoT 的链式结构扩展成树形结构。在这种结构中，大模型需要在解决子问题时生成多个不同的答案选项，并通过建立的树形结构预测未来的决策，并通过回溯纠正之前的决策。 最后是基于 ToT 思想进一步发展成的 GoT。在 GoT 中，“Tree”被拓展为“Graph”，图形结构。GoT 的核心是一个“控制器”，负责处理图操作（GoO）和图状态推理（GRS）。GoO 主要负责将具体任务分解成相互连接的节点和边的关系；而 GRS 则负责维护大模型在由 GoO 生成的图上进行推理过程、记录当前步骤状态和决策历史等信息。 8.3.2 推理聚合CoT 除了各种 XoT 以外，对于推理过程的“解码”问题，也有一些工作进行了研究。其中，推理聚合的代表性工作是 Self consistency CoT。Self consistency CoT 使用手动设计的 Prompt 生成采样一组不同的推理路径，再通过“多数投票”找到推理步骤中“最一致”的路径，使用这条解码路径驱动原始的贪心解码方式来提示 CoT 性能。 8.3.3 多模态CoT 除了对 CoT 本身的改变，还有许多工作将 CoT “部署”于不同的应用场景之下以提升各种场景下大模型的能力，譬如最简单的从单语言 CoT 扩展到多语言 CoT。这些应用场景包括从单模态到多模态以及从复杂推理任务到通用推理任务的扩展。其中，多模态 CoT 具有很大的应用前景，在 CoT 中，多模态可以分为两类：输入多模态与输出多模态。 其中，MM CoT 侧重使用微调方法嵌入 CoT，通过将语言和图像合并在一个包含推理生成与答案推理的两阶段的框架中，使用微调大模型赋予输入多模态 CoT 的能力。基于 MM CoT，GoT Input 方法通过对 CoT 生成的思维图进行抽取构建三元组，并使用 GNN 将文本、图像与 CoT 统一，从而生成包含 CoT 信息的最终答案。而区别于输入多模型，VCoT 解决了一个输出多模态的问题，VCoT 通过以生成图片的“标题”以及识别核心关注点作为图像生成的启动过程，通过递归的方式填充图像信息，从而实现输出多模态。 8.4 该在何时使用CoT 首先，从工程的角度来看，CoT（链式推理）的适用场景可以概括为三个主要方面： 1. 使用大型模型； 2. 任务需要复杂的推理过程； 3. 即使增加参数量，也无法显著提升模型性能。 此外，根据现有的研究论文，CoT 特别适合那些需要复杂推理的任务，例如计算或编程问题。它并不适用于简单的单项选择题或序列标记等任务。而且，对于参数量较小（20B以下）的模型来说，使用 CoT 可能会引起一些问题，如产生幻觉等。 具体到细节： 1. 模型规模较小可能导致 CoT 不起作用； 2. 对于简单任务，CoT 不太能提升模型性能； 3. 增加训练数据中各部分之间的联系可以提高 CoT 的效果； 4. 示例中的错误或无效推理步骤并不会导致 CoT 性能下降。 如果对这些现象进行总结和延伸，我们可以看到：首先，CoT 需要大模型掌握一些“基础”知识。如果模型规模太小，可能就无法处理基本的“原子级知识”，进而无法进行有效推理。其次，CoT 能为一些基础知识之间建立连接，形成信息链条，帮助大模型保持正确的推理方向。最后，CoT 的角色可能更多是强制模型进行推理，并非教会模型如何推理。事实上，在完成预训练后，大模型已经具备了一定的推理能力；CoT 更多地是在指定一种输出格式，引导模型逐步形成答案。 九、吾一日三省吾身——反思 关于反思，这个主题值得我们单独深入探讨。虽然它是规划研究方向中的一类，但其重要性不容忽视。在这里介绍两种反思的方式：基础反思、基于反馈的反思。 9.1 基础反思 在基础反思的流程中，我们可以发现其结构是相当直接和明晰的。这一流程始于任务执行阶段(我们假设此时已有任务待执行)。随后，进入内容生成阶段，根据任务指令生成相应的内容。然后，流程进入评估阶段，在这里，将对生成的内容进行评估，以确定其是否满足既定要求。如果内容未能达到预期，流程将进入反思阶段。在反思阶段，我们将基于生成的内容和评估结果，深入分析并识别改进点。这些反思的结果将被反馈到执行阶段，以便进行进一步的任务优化。这个过程将持续循环，直到评估结果表明内容已经达到或超出预期，或者在达到一定的反思轮数后，流程才会结束。我们可以看到，这是一个有序的循环过程，确保了持续改进和目标的实现。 只讲概念可能过于抽象，下面我们来看一个详细的例子，以下是吴恩达开源的文章翻译智能体中的反思提示词，在这里我们就可以详细观察到一个反思环节是如何实现的。 首先，关注蓝色字体部分，它代表了反思环节中的指令。接着，紫色字体部分展示了首次执行时生成的文本内容，这些内容需要被翻译。黄色字体部分则向模型指明了具体的翻译格式，即原文本的布局和结构。这一部分的作用是确保模型不会偏离既定目标。绿色字体部分则包含了具体的反思内容，而白色字体部分则提供了进一步的约束，即反思后的导向性指导。从这些提示词中，我们可以看到，反思环节具有非常明确的要求。这表明在设计反思环节时，需要明确指出导向性内容，包括具体的反思标准是什么。 Code block SQL 您的任务是仔细阅读一段源文本和从{source lang}到{target lang}的翻译，然后给出建设性的批评和有益的建议以改进翻译。 {country specific} 源文本和初始翻译由XML标签<SOURCE TEXT </SOURCE TEXT 和<TRANSLATION </TRANSLATION 分隔，如下所示： <SOURCE TEXT {source text} </SOURCE TEXT <TRANSLATION {translation 1} </TRANSLATION 在撰写建议时，请注意是否有方法可以改进翻译的 (i) 准确性（通过纠正添加错误、误译、遗漏或未翻译的文本）， (ii) 流畅性（通过应用{target lang}的语法、拼写和标点规则，并确保没有不必要的重复）， (iii) 风格（确保翻译反映源文本的风格，并考虑到任何文化背景）， (iv) 术语（确保术语使用一致，并反映源文本领域；并且只确保使用等效的成语{target lang}）。 为改进翻译，编写一份具体、有益和建设性的建议清单。每项建议应针对翻译的一个具体部分。只输出建议，不要包含其他内容。 9.2 基于反馈的反思 除了基础反思之外，还有一种基于反馈的反思机制，这种机制通常以用户的反馈评价为基础。它允许智能体与用户的价值观和期望进行动态的对齐和调整。这种机制在很大程度上解决了模型微调或使用提示词构建Brain模块时可能出现的数据局限性问题。在这里，我们可以观察到流程中包含了记忆环节的参与。这是因为反思很难作为一个孤立的环节存在,在反思结束后，总有下一步的行动需要执行，这与人类的思考模式是一致的(当然，前提是你不偷懒的话，在这不考虑这个问题)。 十、 没有绝对理智的“人”——情感 各位读者，当我们审视这一节的标题时，不难联想到一个始终伴随我们的问题——那就是情感的影响。如果我们的目标是创造一个没有灵魂、缺乏个性的智能体，那么情感显然不是我们考虑的重点。然而，当我们转向拟人化的智能体时，情感就成为了一个必须考虑的关键因素。那么，情感是如何影响智能体的呢？情感又是如何影响智能体的行为的呢？ 在持续的研究和探索过程中，学界主要关注了两种情感交互方式。首先是通过Brain模块感受情绪，即智能体通过语言和文字来感知和解读我们的情绪。其次是情绪的自我表达，这涉及到智能体在与用户互动时所表现出的情感反应。这两种方式都对深化我们对智能系统如何处理和表达情感的理解至关重要。 10.1 感受情绪&输出情绪 在学习智能体的感受和情绪输出时，你会发现这两者是相互依存的。但首先，我们需要来单独探讨智能体是如何感受情绪的。 感受情绪可以分为两大类：自我感受和外界感受。自我感受指的是智能体基于一系列预设条件以及自身状态变化所产生的情绪反应。为了更深入地理解这一概念，我们以西部小镇的智能体为例：在这个设定中，智能体的健康和饮食等生活要素被设计并融入其整体行为模式。随着时间的推移，如果某个智能体的健康或饱腹感降低，它可能会表现出由这些事件触发的负面情绪。 外界刺激则是智能体在与他人或其他智能体交互时所感受到的情绪。例如，当智能体接收到来自外界的情绪表达，如愤怒，它可能会相应地表现出愤怒的情绪。这种情绪的表达紧接着会影响到智能体的规划和执行层面。它可能会采取一些冲动的行为，这可能是由于外界刺激所引起的直接反应。 智能体在受到外界刺激后，可能会采取一些冲动或自我排解的行为。这些直接的反应不仅体现了情绪的即时影响，还隐含了道德维度上的考量和决策影响。因此，当智能体的行为由情绪驱动时，它们可能会展现出一些出人意料的行为，这些行为有时是复杂且难以预测的。 所以，在设计一个具有丰富情感的智能体时，我们不难发现，它在许多情况下是由内在情绪驱动的，而不仅仅是任务导向。与此相对的是，目前我们常见的许多智能体主要是为了完成特定任务而设计的，它们可以被视为为了某个工作环节而存在的“工人”，缺乏真正意义上的情感体验，只能机械地执行任务。因此，我们可以推断，这些智能体更像是工具，而不是具有自主性和情感的智能体。 10.2 设计“有趣的灵魂” 在上一节中，我们讨论了智能体如何感受和表达情绪。紧接着，我们面临的下一个问题是如何设计一个拟人化智能体，或者说如何构建情感驱动的智能体。设计过程中涉及多个维度，这些维度通常是基于人类视角来考量的。 大家看下方的图表，这张图展示了如何设计一个拟人化的角色。从图中我们可以看到，设计过程始于角色的基础信息，包括姓名、性别、年龄和职业等。不管是设计什么角色，这些都是最为基础和必要的。 首先，让我们来了解一下 PoT，其中 P 代表 Programm，即程序。它主要处理那些大模型可能出错的计算问题，通过生成可在编程语言解释器中运行的代码，将复杂的计算任务与模型的文本生成过程分离。 接下来是 Tab CoT，这里的 Tab 代表 Tabular，即表格。在这种方法中，研究者要求大模型在推理过程中使用一个“|步数|子问题|过程|结果|”的格式来记录推理表格。这样做可以让大模型在从生成的表格中提取答案时，增强其推理能力。 此外，还有 ToT，即思维树。简单来说，ToT 是将 CoT 的链式结构扩展成树形结构。在这种结构中，大模型需要在解决子问题时生成多个不同的答案选项，并通过建立的树形结构预测未来的决策，并通过回溯纠正之前的决策。 最后是基于 ToT 思想进一步发展成的 GoT。在 GoT 中，“Tree”被拓展为“Graph”，图形结构。GoT 的核心是一个“控制器”，负责处理图操作（GoO）和图状态推理（GRS）。GoO 主要负责将具体任务分解成相互连接的节点和边的关系；而 GRS 则负责维护大模型在由 GoO 生成的图上进行推理过程、记录当前步骤状态和决策历史等信息。 8.3.2 推理聚合CoT 除了各种 XoT 以外，对于推理过程的“解码”问题，也有一些工作进行了研究。其中，推理聚合的代表性工作是 Self consistency CoT。Self consistency CoT 使用手动设计的 Prompt 生成采样一组不同的推理路径，再通过“多数投票”找到推理步骤中“最一致”的路径，使用这条解码路径驱动原始的贪心解码方式来提示 CoT 性能。 8.3.3 多模态CoT 除了对 CoT 本身的改变，还有许多工作将 CoT “部署”于不同的应用场景之下以提升各种场景下大模型的能力，譬如最简单的从单语言 CoT 扩展到多语言 CoT。这些应用场景包括从单模态到多模态以及从复杂推理任务到通用推理任务的扩展。其中，多模态 CoT 具有很大的应用前景，在 CoT 中，多模态可以分为两类：输入多模态与输出多模态。 其中，MM CoT 侧重使用微调方法嵌入 CoT，通过将语言和图像合并在一个包含推理生成与答案推理的两阶段的框架中，使用微调大模型赋予输入多模态 CoT 的能力。基于 MM CoT，GoT Input 方法通过对 CoT 生成的思维图进行抽取构建三元组，并使用 GNN 将文本、图像与 CoT 统一，从而生成包含 CoT 信息的最终答案。而区别于输入多模型，VCoT 解决了一个输出多模态的问题，VCoT 通过以生成图片的“标题”以及识别核心关注点作为图像生成的启动过程，通过递归的方式填充图像信息，从而实现输出多模态。 8.4 该在何时使用CoT 首先，从工程的角度来看，CoT（链式推理）的适用场景可以概括为三个主要方面： 1. 使用大型模型； 2. 任务需要复杂的推理过程； 3. 即使增加参数量，也无法显著提升模型性能。 此外，根据现有的研究论文，CoT 特别适合那些需要复杂推理的任务，例如计算或编程问题。它并不适用于简单的单项选择题或序列标记等任务。而且，对于参数量较小（20B以下）的模型来说，使用 CoT 可能会引起一些问题，如产生幻觉等。 具体到细节： 1. 模型规模较小可能导致 CoT 不起作用； 2. 对于简单任务，CoT 不太能提升模型性能； 3. 增加训练数据中各部分之间的联系可以提高 CoT 的效果； 4. 示例中的错误或无效推理步骤并不会导致 CoT 性能下降。 如果对这些现象进行总结和延伸，我们可以看到：首先，CoT 需要大模型掌握一些“基础”知识。如果模型规模太小，可能就无法处理基本的“原子级知识”，进而无法进行有效推理。其次，CoT 能为一些基础知识之间建立连接，形成信息链条，帮助大模型保持正确的推理方向。最后，CoT 的角色可能更多是强制模型进行推理，并非教会模型如何推理。事实上，在完成预训练后，大模型已经具备了一定的推理能力；CoT 更多地是在指定一种输出格式，引导模型逐步形成答案。 九、吾一日三省吾身——反思 关于反思，这个主题值得我们单独深入探讨。虽然它是规划研究方向中的一类，但其重要性不容忽视。在这里介绍两种反思的方式：基础反思、基于反馈的反思。 9.1 基础反思 在基础反思的流程中，我们可以发现其结构是相当直接和明晰的。这一流程始于任务执行阶段(我们假设此时已有任务待执行)。随后，进入内容生成阶段，根据任务指令生成相应的内容。然后，流程进入评估阶段，在这里，将对生成的内容进行评估，以确定其是否满足既定要求。如果内容未能达到预期，流程将进入反思阶段。在反思阶段，我们将基于生成的内容和评估结果，深入分析并识别改进点。这些反思的结果将被反馈到执行阶段，以便进行进一步的任务优化。这个过程将持续循环，直到评估结果表明内容已经达到或超出预期，或者在达到一定的反思轮数后，流程才会结束。我们可以看到，这是一个有序的循环过程，确保了持续改进和目标的实现。 只讲概念可能过于抽象，下面我们来看一个详细的例子，以下是吴恩达开源的文章翻译智能体中的反思提示词，在这里我们就可以详细观察到一个反思环节是如何实现的。 首先，关注蓝色字体部分，它代表了反思环节中的指令。接着，紫色字体部分展示了首次执行时生成的文本内容，这些内容需要被翻译。黄色字体部分则向模型指明了具体的翻译格式，即原文本的布局和结构。这一部分的作用是确保模型不会偏离既定目标。绿色字体部分则包含了具体的反思内容，而白色字体部分则提供了进一步的约束，即反思后的导向性指导。从这些提示词中，我们可以看到，反思环节具有非常明确的要求。这表明在设计反思环节时，需要明确指出导向性内容，包括具体的反思标准是什么。 9.2 基于反馈的反思 除了基础反思之外，还有一种基于反馈的反思机制，这种机制通常以用户的反馈评价为基础。它允许智能体与用户的价值观和期望进行动态的对齐和调整。这种机制在很大程度上解决了模型微调或使用提示词构建Brain模块时可能出现的数据局限性问题。在这里，我们可以观察到流程中包含了记忆环节的参与。这是因为反思很难作为一个孤立的环节存在,在反思结束后，总有下一步的行动需要执行，这与人类的思考模式是一致的(当然，前提是你不偷懒的话，在这不考虑这个问题)。 十、 没有绝对理智的“人”——情感 各位读者，当我们审视这一节的标题时，不难联想到一个始终伴随我们的问题——那就是情感的影响。如果我们的目标是创造一个没有灵魂、缺乏个性的智能体，那么情感显然不是我们考虑的重点。然而，当我们转向拟人化的智能体时，情感就成为了一个必须考虑的关键因素。那么，情感是如何影响智能体的呢？情感又是如何影响智能体的行为的呢？ 在持续的研究和探索过程中，学界主要关注了两种情感交互方式。首先是通过Brain模块感受情绪，即智能体通过语言和文字来感知和解读我们的情绪。其次是情绪的自我表达，这涉及到智能体在与用户互动时所表现出的情感反应。这两种方式都对深化我们对智能系统如何处理和表达情感的理解至关重要。 10.1 感受情绪&输出情绪 在学习智能体的感受和情绪输出时，你会发现这两者是相互依存的。但首先，我们需要来单独探讨智能体是如何感受情绪的。 感受情绪可以分为两大类：自我感受和外界感受。自我感受指的是智能体基于一系列预设条件以及自身状态变化所产生的情绪反应。为了更深入地理解这一概念，我们以西部小镇的智能体为例：在这个设定中，智能体的健康和饮食等生活要素被设计并融入其整体行为模式。随着时间的推移，如果某个智能体的健康或饱腹感降低，它可能会表现出由这些事件触发的负面情绪。 外界刺激则是智能体在与他人或其他智能体交互时所感受到的情绪。例如，当智能体接收到来自外界的情绪表达，如愤怒，它可能会相应地表现出愤怒的情绪。这种情绪的表达紧接着会影响到智能体的规划和执行层面。它可能会采取一些冲动的行为，这可能是由于外界刺激所引起的直接反应。 智能体在受到外界刺激后，可能会采取一些冲动或自我排解的行为。这些直接的反应不仅体现了情绪的即时影响，还隐含了道德维度上的考量和决策影响。因此，当智能体的行为由情绪驱动时，它们可能会展现出一些出人意料的行为，这些行为有时是复杂且难以预测的。 所以，在设计一个具有丰富情感的智能体时，我们不难发现，它在许多情况下是由内在情绪驱动的，而不仅仅是任务导向。与此相对的是，目前我们常见的许多智能体主要是为了完成特定任务而设计的，它们可以被视为为了某个工作环节而存在的“工人”，缺乏真正意义上的情感体验，只能机械地执行任务。因此，我们可以推断，这些智能体更像是工具，而不是具有自主性和情感的智能体。 10.2 设计“有趣的灵魂” 在上一节中，我们讨论了智能体如何感受和表达情绪。紧接着，我们面临的下一个问题是如何设计一个拟人化智能体，或者说如何构建情感驱动的智能体。设计过程中涉及多个维度，这些维度通常是基于人类视角来考量的。 大家看下方的图表，这张图展示了如何设计一个拟人化的角色。从图中我们可以看到，设计过程始于角色的基础信息，包括姓名、性别、年龄和职业等。不管是设计什么角色，这些都是最为基础和必要的。 紧接着，我们需要考虑角色的背景和经历。这些元素与基础信息密切相关，它们之间存在着强烈的相互影响。虽然在某些情况下，这种关联可能不那么明显，但通常情况下，角色的身份背景和经历在很大程度上决定了他们的基本特征，反之亦然。让我们通过一个例子来说明这一点：假设我们正在设计一个从事低收入职业的角色。在这种情况下，我们可以合理推测，这个角色可能来自相对贫困的背景，教育程度可能不高。 角色的背景和经历对人物形象的塑造有着深远的影响，尤其体现在爱好、特长、性格和价值观等方面。这些特质并非凭空而来，而是由角色的生活经历和成长环境共同塑造而成，它们之间存在着紧密的关联性。 接下来，我们会看到一个相对弱关联的元素：规划和目标。这些可以是短期的，也可以是长期的愿景。让我们用一个现实生活中的例子来说明：假设一个角色特别喜欢唱歌，这个爱好很可能会影响他的长期规划，比如梦想成为一名专业歌手。这样的设定既合乎逻辑，又能为角色增添深度和动力。 再看图表的右侧，我们可以看到性格和价值观这两个关键元素。这两者对角色的人际关系、社交能力以及语言风格都有直接的影响。例如，如果我们设定一个角色是典型的I型人格（性格内向），我们可以合理推断他可能不善言辞，社交圈子可能相对狭小。这种性格特征会直接反映在他的对话方式和社交行为中。 然而，语言风格的形成不仅受性格影响，还与角色的背景和经历密切相关。举例来说，一个出身优渥、受过良好教育的角色，他的谈吐可能会更加文雅得体。相反，如果一个角色来自较为艰苦的环境，受教育程度有限，他的表达方式可能会相对粗犷直接。 这种多层次、多维度的角色设计方法允许我们创造出更加真实、丰满的角色。通过仔细考虑这些相互关联的元素，我们可以构建出一个连贯的、令人信服的角色形象。这不仅能让AI与用户的交互更加自然和人性化，还能为用户带来更加丰富和个性化的体验。 📌 总结：在设计拟人化角色时，我们需要考虑以下元素之间的复杂关系 1. 基础信息如何影响背景和经历 2. 背景和经历如何塑造爱好、特长、性格和价值观 3. 这些特质如何影响角色的规划和目标 4. 性格和价值观如何决定人际关系和社交行为 5. 背景经历与性格价值观念如何共同影响角色的语言风格 总结：在设计拟人化角色时，我们需要考虑以下元素之间的复杂关系 1. 基础信息如何影响背景和经历 2. 背景和经历如何塑造爱好、特长、性格和价值观 3. 这些特质如何影响角色的规划和目标 4. 性格和价值观如何决定人际关系和社交行为 5. 背景经历与性格价值观念如何共同影响角色的语言风格 十一、一些体会——认识Brain模块从认识自己开始 探索Brain模块，本质上是一次深入人类内在世界的旅程。它不同于对外部世界的观察，那里的规律往往更为明显和直接。内在世界的探索要求我们不仅要理解Brain如何处理信息，还要理解这些处理过程如何与我们的情感、记忆和价值观相互作用。 尽管存在许多理论和框架，它们提供了对Brain模块功能的基本理解，但要真正把这些理论活学活用，转化为深刻的见解，就需要一种特别的洞察力。这种洞察力让我们能够看到人类行为背后的动机，理解情感如何影响决策，以及记忆如何塑造我们对世界的看法。 十二、 附录 编写本章引用如下论文or文章，感谢前路人的辛苦付出： 1. The Rise and Potential of Large Language Model Based Agents: A Survey (https://arxiv.org/pdf/2309.07864) 2. 四万字长文：AI Agent 应该更有趣还是更有用？(https://01.me/2024/03/ai agents entertaining or useful/) 3. 基于行动逻辑的智能主体行为表征研究(http://clgsk.qks.cqut.edu.cn/CN/article/downloadArticleFile.do?attachtype=PDF&id=2384) 4. 基于基底神经节机理的行为决策模型(http://dlxykzxb.cnjournals.net/jdc/article/html/20191126001) 5. Igniting Language Intelligence: The Hitchhiker’s Guide From Chain of Thought Reasoning to Language Agents（https://arxiv.org/pdf/2311.11797） 6. Reflexion: Language Agents with Verbal Reinforcement Learning(https://arxiv.org/pdf/2303.11366) 7. COMPLEXITY BASED PROMPTING FOR MULTI STEP REASONING 8. The Landscape of Emerging AI Agent Architectures for Reasoning, Planning, and Tool Calling: A Survey(https://arxiv.org/pdf/2404.11584) 9. Understanding the planning of LLM agents: A survey(https://arxiv.org/pdf/2402.02716) 10. 大模型道德价值观对齐问题剖析(https://plugin.sowise.cn/viewpdf/88889135 7fda45dc 3399 4f8e a4d5 2a633bd9c2a5?) 11. Emotional Intelligence of Large Language Models(https://arxiv.org/pdf/2307.09042.pdf) 12. Human Emotion Knowledge Representation Emerges in Large Language Model and Supports Discrete Emotion Inference(https://arxiv.org/pdf/2302.09582.pdf) 13. Igniting Language Intelligence: The Hitchhiker’s Guide From Chain of Thought Reasoning to Language Agents(https://arxiv.org/pdf/2311.11797.pdf) 14. Generative Agents: Interactive Simulacra of Human Behavior（https://arxiv.org/pdf/2304.03442v1） 1. The Rise and Potential of Large Language Model Based Agents: A Survey (https://arxiv.org/pdf/2309.07864) 2. 四万字长文：AI Agent 应该更有趣还是更有用？(https://01.me/2024/03/ai agents entertaining or useful/) 3. 基于行动逻辑的智能主体行为表征研究(http://clgsk.qks.cqut.edu.cn/CN/article/downloadArticleFile.do?attachtype=PDF&id=2384) 4. 基于基底神经节机理的行为决策模型(http://dlxykzxb.cnjournals.net/jdc/article/html/20191126001) 5. Igniting Language Intelligence: The Hitchhiker’s Guide From Chain of Thought Reasoning to Language Agents（https://arxiv.org/pdf/2311.11797） 6. Reflexion: Language Agents with Verbal Reinforcement Learning(https://arxiv.org/pdf/2303.11366) 7. COMPLEXITY BASED PROMPTING FOR MULTI STEP REASONING 8. The Landscape of Emerging AI Agent Architectures for Reasoning, Planning, and Tool Calling: A Survey(https://arxiv.org/pdf/2404.11584) 9. Understanding the planning of LLM agents: A survey(https://arxiv.org/pdf/2402.02716) 10. 大模型道德价值观对齐问题剖析(https://plugin.sowise.cn/viewpdf/88889135 7fda45dc 3399