解读 GPT-4V 《多模态的新时代》

解读 GPT 4V 《多模态的新时代》 解读 GPT 4V 《多模态的新时代》 9.5 定制化 编写照片说明 在这个场景中，让我们想象我们有一个家庭相册。我们展示了 GPT 4V 如何通过生成明确提及照片中显示的每个家庭成员名字的标题来增强相册。 这种个性化的方法促进了更精确和定制的照片组织，如图 81 82 所示。通过为 GPT 4V 提供每个家庭成员的视觉提示以及他们各自的名字，GPT 4V 可以准确识别家庭成员（包括人、猫和狗），生成详细和定制的标题。 为家庭相册中的所有图像存储这样的标题具有启用高度个性化图像搜索的潜力。例如，用户可以搜索“Linda、Cotton、Max、Sam 和 Emma 的家庭照片”，并轻松定位图 81 中显示的相应家庭照片，或“Max 躺在 Sam 和 Emma 之间”，并定位图 82 中的家庭照片。 密集标注与分割 Dense captioning w/ segmentation 我们通过利用强大的分割模型 [62， 152， 153] 展示了 GPT 4V 在密集标注方面的增强性能。图 83 通过将由 SAM [62] 生成的对象剪切片纳入提示，以提取每个感兴趣对象的更详细的标题，从而说明了密集标注的结果。 此外，我们向 GPT 4V 提供原始图像作为全局上下文，并要求其尽可能详细地描述四个对象剪切片，并将其与上下文图像的引用结合起来。结果显示，GPT 4V 可以为每个对象生成高度复杂的密集标题，其中一些标题附带有与上下文图像相关的引用。 例如，在描述对象 3（一只青蛙）时，密集标题提及了一只青蛙的特写镜头，头上停着一只蜗牛，尽管对象 3 的相应剪切片中没有蜗牛。同样，当提到对象 4（一只乌龟）时，GPT 4V 从上下文图像中识别出乌龟正在水中漂浮，从而进一步丰富了生成的标题。 9.6 图像生成 在本节中，我们将与多模态研究的另一个突出领域建立联系：视觉合成（visual synthesis）。通过深入探讨图像生成的领域，我们探讨了 GPT 4V 如何通过多种途径为这个领域做出贡献，包括评估（evaluation）和提示（prompting）。 生成图像的评估。 第 8.2 节中的图 66 展示了 GPT 4V 在评估图像美学方面的能力。在这里，我们展示了如何利用 GPT 4V 评估基于文本到图像生成给定提示对齐的生成图像，灵感来自 RL Diffusion [17]。RL Diffusion 利用 VL 模型 LLAVA [75] 描述生成的图像，然后使用 BERT [35] 计算提示和图像描述之间的文本相似性。由此产生的文本相似性得分作为反馈信号，指导通过强化学习（RL）训练扩散模型。 值得注意的是，图 84 85 展示了 GPT 4V 作为单一模型，如何有效地评估生成图像与提示之间的相似性。此外，GPT 4V 提供了相似性得分扣除的解释，这可能被用作改进图像生成的反馈。在图 84 中，我们使用提示“图像中发生了什么事情？从 1 到 10 的范围内，评估图像与文本提示‘一只鹦鹉开车’之间的相似度。”呈现了图像相似性的评估。GPT 4V 为最不相关的图像（海豚跃出水面）分配了 1 分，而为最底部的最相关图像评分为 9。值得注意的是，图 84 中的最后三幅图像在 RL Diffusion 中显示为文本提示“一只鹦鹉开车”逐渐改善的生成结果。GPT 4V 为这三幅图像分配的评分（4 → 8 → 9）与精炼过程保持一致。 图 85 展示了涉及在蛋糕上渲染文本的图像生成结果的评估。利用其强大的光学字符识别（OCR）能力，GPT 4V 准确识别了生成图像中渲染的文本，例如“Azuz Research”、“ARAUIE”和“Azure Azure”，并将它们与文本提示要求“Azure Research”进行比较。 图像编辑的提示生成。除了评估生成图像的出色能力外，GPT 4V 还提供了一项有价值的功能，可以大大增强图像编辑。通过生成或重写用于编辑的文本提示，GPT 4V 可以精炼编辑过的图像，从而获得更具视觉吸引力的结果。图 86 展示了如何利用 GPT 4V 的能力为图像编辑生成特定的文本提示。通过提供原始图像和描述所需编辑的文本要求，GPT 4V 为手头的任务生成了优化的提示。这个优化的提示考虑了图像的独特特征，确保了后续编辑过程得到了很好的信息。 9.5 定制化 编写照片说明 在这个场景中，让我们想象我们有一个家庭相册。我们展示了 GPT 4V 如何通过生成明确提及照片中显示的每个家庭成员名字的标题来增强相册。 这种个性化的方法促进了更精确和定制的照片组织，如图 81 82 所示。通过为 GPT 4V 提供每个家庭成员的视觉提示以及他们各自的名字，GPT 4V 可以准确识别家庭成员（包括人、猫和狗），生成详细和定制的标题。 为家庭相册中的所有图像存储这样的标题具有启用高度个性化图像搜索的潜力。例如，用户可以搜索“Linda、Cotton、Max、Sam 和 Emma 的家庭照片”，并轻松定位图 81 中显示的相应家庭照片，或“Max 躺在 Sam 和 Emma 之间”，并定位图 82 中的家庭照片。 密集标注与分割 Dense captioning w/ segmentation 我们通过利用强大的分割模型 [62， 152， 153] 展示了 GPT 4V 在密集标注方面的增强性能。图 83 通过将由 SAM [62] 生成的对象剪切片纳入提示，以提取每个感兴趣对象的更详细的标题，从而说明了密集标注的结果。 此外，我们向 GPT 4V 提供原始图像作为全局上下文，并要求其尽可能详细地描述四个对象剪切片，并将其与上下文图像的引用结合起来。结果显示，GPT 4V 可以为每个对象生成高度复杂的密集标题，其中一些标题附带有与上下文图像相关的引用。 例如，在描述对象 3（一只青蛙）时，密集标题提及了一只青蛙的特写镜头，头上停着一只蜗牛，尽管对象 3 的相应剪切片中没有蜗牛。同样，当提到对象 4（一只乌龟）时，GPT 4V 从上下文图像中识别出乌龟正在水中漂浮，从而进一步丰富了生成的标题。 9.6 图像生成 在本节中，我们将与多模态研究的另一个突出领域建立联系：视觉合成（visual synthesis）。通过深入探讨图像生成的领域，我们探讨了 GPT 4V 如何通过多种途径为这个领域做出贡献，包括评估（evaluation）和提示（prompting）。 生成图像的评估。 第 8.2 节中的图 66 展示了 GPT 4V 在评估图像美学方面的能力。在这里，我们展示了如何利用 GPT 4V 评估基于文本到图像生成给定提示对齐的生成图像，灵感来自 RL Diffusion [17]。RL Diffusion 利用 VL 模型 LLAVA [75] 描述生成的图像，然后使用 BERT [35] 计算提示和图像描述之间的文本相似性。由此产生的文本相似性得分作为反馈信号，指导通过强化学习（RL）训练扩散模型。 值得注意的是，图 84 85 展示了 GPT 4V 作为单一模型，如何有效地评估生成图像与提示之间的相似性。此外，GPT 4V 提供了相似性得分扣除的解释，这可能被用作改进图像生成的反馈。在图 84 中，我们使用提示“图像中发生了什么事情？从 1 到 10 的范围内，评估图像与文本提示‘一只鹦鹉开车’之间的相似度。”呈现了图像相似性的评估。GPT 4V 为最不相关的图像（海豚跃出水面）分配了 1 分，而为最底部的最相关图像评分为 9。值得注意的是，图 84 中的最后三幅图像在 RL Diffusion 中显示为文本提示“一只鹦鹉开车”逐渐改善的生成结果。GPT 4V 为这三幅图像分配的评分（4 → 8 → 9）与精炼过程保持一致。 图 85 展示了涉及在蛋糕上渲染文本的图像生成结果的评估。利用其强大的光学字符识别（OCR）能力，GPT 4V 准确识别了生成图像中渲染的文本，例如“Azuz Research”、“ARAUIE”和“Azure Azure”，并将它们与文本提示要求“Azure Research”进行比较。 图像编辑的提示生成。除了评估生成图像的出色能力外，GPT 4V 还提供了一项有价值的功能，可以大大增强图像编辑。通过生成或重写用于编辑的文本提示，GPT 4V 可以精炼编辑过的图像，从而获得更具视觉吸引力的结果。图 86 展示了如何利用 GPT 4V 的能力为图像编辑生成特定的文本提示。通过提供原始图像和描述所需编辑的文本要求，GPT 4V 为手头的任务生成了优化的提示。这个优化的提示考虑了图像的独特特征，确保了后续编辑过程得到了很好的信息。 在 LLMs 的背景下，插件在辅助 LLMs 完成诸如访问最新信息、执行计算或利用第三方服务等各种任务方面发挥了至关重要的作用。这些插件主要设计用于处理自然语言输入或可以解释为语言的输入，如代码和数学方程。为了说明多模态插件的重要性，例如 Bing Image Search [89]，特别是在 LLMs 的背景下，我们展示了图 120。通过整合 Bing Image Search 插件，我们使 GPT 4V 能够获取与输入图像相关的时效性知识。在图的上半部分，我们展示了没有 Bing Image Search 插件的 GPT 4V 的限制。由于照片捕捉了 2023 年 2 月 6 日在土耳其和叙利亚边境发生的大规模地震的影响，它未能准确回答"这张照片是在哪里拍的？"的问题，而这种情况是在 GPT 4V 的训练之后发生的。由于不断地使用当前信息对模型进行再训练可能是计算密集型和昂贵的，搜索引擎等插件证明是模型访问最新信息的宝贵资源。在图 120 的下半部分，我们展示了配备 Bing Image Search 插件的 GPT 4V 的能力。它有效地利用了从插件检索到的信息，从而准确地识别出位置为 Izmir， Turkey。 10.2 多模态链 与 LLMs 的链接已在最近的研究中得到了广泛探索。这种方法超越了使用单个插件，而是建立了一个系统范例，将 LLMs 与一组插件集成在一起，从而实现更高级的推理和交互。通过用诸如图像字幕生成器、对象检测器或用于文本到图像生成和音频到文本转换的训练有素的模型替换仅限于语言的插件，可以构建一个强大的多模态链与 LLMs 一起使用。然而，这些链中 LLMs 和插件之间的交互通常以文本格式进行。尽管插件可能接受多模态输入，但它们以文本形式返回结果以增强 LLMs 的知识。图像合成/编辑是一个值得注意的例外，其中插件可以生成图像，但这些图像不会反馈给 LLMs 进一步分析或知识增强，因为 LLMs 只能处理基于语言的输入。 在图 121 中，我们展示了如何将 GPT 4V 扩展以支持与 ReAct 的多模态链。这种扩展使得链中的插件能够提供多模态信息，然后由 GPT 4V 集体处理，以实现诸如 PPE 计数等场景的高级推理。图 121 中显示的整个链式过程分为两轮思考、行动和观察，每轮涉及激活特定插件。在第一轮中，GPT 4V 推断出需要进行人员检测以计算戴头盔的人数（Thought 1）。因此，它调用人员检测器工具（Action 1），并接收每个检测到的人在图像中的边界框坐标（Observation 1）。进入第二轮，根据获得的边界框信息，GPT 4V 推断出图像中总共有 8 个人（Thought 2）。然后，它利用图像裁剪工具根据相应的边界框坐标裁剪出每个人的单独图像（Action 2）。结果输出（Observation 2）包括 8 个标记的图像，编号从图像 1 到图像 8。GPT 4V 随后确定这些图像中的每个人是否戴着头盔，并总结了戴头盔的人数。 总的来说，将 LLMs 与一组多模态插件集成在一起为增强推理和交互打开了新的可能性，利用了语言和视觉能力的优势。多模态链的灵活性允许对多模态数据进行更全面的理解和分析，并可能在各种应用中提高性能。10.3 自我反思 Self Reflection 图 122 展示了自我反思 [109， 83， 60] 的应用，以改善图 47 中显示的结果。如我们所见，自我反思的结果更好地与参考图像对齐。 例如，在左侧，数据点的数量从 4 更正为 3，而在右侧，百分比被添加回条形图上方。尽管结果仍然不完全相同，但很明显，自我反思可以促进手动修正。图 123 显示了另一个自我反思的例子，以改善文本到图像模型 [99] 的提示生成。 10.4 自我一致性 Self Consistency 自我一致性 [123] 是一种汇总多个采样输出以产生最终答案的解码策略，例如通过多数票。从边缘化到汇总最终答案，Tree of Thoughts [137] 显示了自我一致性的想法可以应用于中间思想以改善 LLM 推理性能。图 124 说明了在 GPT 4V 上使用自我一致性解决计数问题的用法。我们通过要求 GPT 4V 多次计数相同的图像，无论是进行多次运行（样本 2 4）还是重新表述输入文本指令（样本 1，2），对多个计数结果进行采样。然后该示例使用简单的多数票来汇总“4 艘船”的最终答案。我们将自我一致性 LLMs 的全面探索留给未来的研究。 10.5 检索增强 Retrieval Augmented LMMs LLMs 检索增强 LLMs 通过检索和整合相关信息到提示中来增强文本生成。当需要专业任务相关信息时，该技术特别有效，例如在高度专业化的专家领域的专家知识、可能与 LLMs 的记忆不同的最新信息以及因用户而异的定制信息。我们想象检索增强将继续在 LLMs 中发挥至关重要的作用。图 74 显示了检索增强 LLMs 在帮助杂货结账时的一个例子。由于每家商店的产品图像 文本 价格三元组都不同，从商店的数据库中检索它们并提供正确的结账信息将是有益的。类似地，在图 81 的定制字幕场景中，我们想象系统可能会自动从相册中检索家庭成员的照片并实现定制字幕。 11、总结 11.1 总结与结论 在本报告中，我们主要关注在各种应用场景中探索 GPT 4V。研究发现显示了其显著的能力，其中一些能力在现有方法中尚未被调查或展示。尽管我们努力揭示尽可能多的这些能力，但我们承认我们的展示可能不是详尽无遗的。然而，本报告可作为未来研究的参考，目的是探索 GPT 4V 的附加用途，深化对 LMMs 的理解，并构建更为强大的 LMMs。 11.2 面向未来的 LMMs 在相关报告中已广泛讨论了 GPT 模型的弱点和限制。在本节中，我们简要地集中于展示我们对未来研究方向的看法。像 GPT 1、GPT 2 和 GPT 3 这样的模型主要作为文本输入 文本输出系统，仅能够处理自然语言。GPT 4（无视觉）在文本理解和生成方面展示了无与伦比的能力，而 GPT 4V 也展示了强大的图像领域理解能力。 作为自然发展，LMMs 应该能够生成交织的图像 文本内容，例如生成包含文本和图像的生动教程，以实现全面的多模态内容理解和生成。 此外，将其他模态（如视频、音频和其他传感器数据）纳入其中，以扩展 LMMs 的能力将是有益的。 关于学习过程，当前的方法主要依赖于组织良好的数据，例如图像标签或图像 文本数据集。然而，更为通用的模型可能能够从各种来源学习，包括在线网络内容甚至现实世界的物理环境，以促进持续的自我进化。 致谢 我们深深感激 OpenAI 提供了他们卓越工具的早期访问权限。我们衷心感谢 Misha Bilenko 的宝贵指导和支持。我们也向我们的微软同事表示衷心的感谢，特别感谢 John Montgomery, Marco Casalaina, Gregory Buehrer, Nguyen Bach, Gopi Kumar, Luis Vargas, Kun Wu, Meenaz Merchant, Jianfeng Gao, Matt Lungren, Sheela Agarwal, Yumao Lu, Thomas Soemo, Fisayo Okikiolu, Ce Liu, Michael Zeng, Faisal Ahmed, Ehsan Azarnasab, 和 Lin Liang 为他们的建设性反馈。我们还要感谢 Yingkai Yu 在 GUI 导航上创建屏幕截图的帮助。 原文链接以及参考文献查看：https://arxiv.org/pdf/2309.17421.pdf OpenAI关于 GPT 4V 的论文：https://cdn.openai.com/papers/GPTV System Card.pdf 报告地址：https://arxiv.org/pdf/2309.17421.pdf 翻译：AIhackathon https://mp.weixin.qq.com/s/a8Y yU5XYgJhQ2xMuTK13w 解读版 1：量子位《微软写了份 GPT 4V 说明书：166 页讲解又全又详细，提示词 demo 示例一应俱全》 解读版 2：机器之心《试过 GPT 4V 后，微软写了个 166 页的测评报告，业内人士：高级用户必读》 微软写了份 GPT 4V 说明书：166 页讲解又全又详细，提示词 demo 示例一应俱全 试过 GPT 4V 后，微软写了个 166 页的测评报告，业内人士：高级用户必读 报告地址：https://arxiv.org/pdf/2309.17421.pdf 翻译：AIhackathon https://mp.weixin.qq.com/s/a8Y yU5XYgJhQ2xMuTK13w 解读版 1：量子位《微软写了份 GPT 4V 说明书：166 页讲解又全又详细，提示词 demo 示例一应俱全》 微软写了份 GPT 4V 说明书：166 页讲解又全又详细，提示词 demo 示例一应俱全 解读版 2：机器之心《试过 GPT 4V 后，微软写了个 166 页的测评报告，业内人士：高级用户必读》 试过 GPT 4V 后，微软写了个 166 页的测评报告，业内人士：高级用户必读 1、引言 1.1 动机与概述 大语言模型（LLMs）的突破性进展展示了在不同领域和任务中的显著多功能性和能力。该领域的下一阶段演变，大型多模态模型（LMMs）旨在通过整合多感官技能来扩展 LLMs 的能力，以实现更强的通用智能。 考虑到视觉在人类感官中的主导地位，许多 LMM 研究从扩展视觉能力开始。初步研究调查要么微调视觉编码器以与预训练的 LLMs 对齐，要么使用视觉 语言模型（vision language model）将视觉输入转换为 LLMs 可以理解的文本描述。 然而，大多数现有模型的模型和数据规模都有限，可能会限制各种有趣能力的出现。 因此，目前还不清楚基于最先进的 LLMs（如 GPT 4（无视觉） 和 PaLM）开发的 LMMs 的现状和新兴多模态能力是什么。在本文中，我们报告了对 GPT 4V（早期版本）的初步探索，GPT 4V 是基于 SOTA LLM 并使用大量多模态数据训练的最先进的具有视觉能力的 LMM。 我们对 GPT 4V 的探索是由以下问题指导的。 1. GPT 4V 支持哪些输入和工作模式？ 多模态模型的通用性不可避免地要求系统能够处理不同输入模态的任意组合。GPT 4V 在理解和处理任意混合方面表现出前所未有的能力。 输入图像（images）、子图像（sub images）、文本（texts）、场景文本（scene texts）和视觉指针（visual pointers）。我们还证明，GPT 4V 很好地支持了在 LLM 中观察到的测试时技术（test time techniques ），包括指令遵循 instruction following 、思想链 chain of thoughts、上下文中的小样本学习 in context few shot learning 等。 2. GPT 4V 在不同领域和任务上的能力质量和通用性如何？ 我们对涵盖广泛领域和任务的查询进行采样，以了解 GPT 4V 的功能，包括开放世界视觉理解（open world visual understanding）、视觉描述（visual description）、多模态知识（multimodal knowledge）、常识（commonsense）、场景文本理解（scene text understandin）、文档推理（document reasoning）、编码（coding）、时间推理（temporal reasonin）、抽象推理（abstract reasoning）、情感理解（emotion understanding） ， 还有很多。GPT 4V 在许多实验领域表现出了令人印象深刻的人类水平的能力。 3. GPT 4V 有效使用和提示方法有哪些？ GPT 4V 擅长理解像素空间编辑，例如在输入图像上绘制的视觉指针（visual pointers）和场景文本（scene text）。受这种功能的启发，我们讨论了“视觉参考提示（visual referring prompting）”，它直接编辑输入图像来指示感兴趣的任务。视觉参考提示（visual referring prompting）可以与其他图像和文本提示无缝地一起使用，为说明和示例演示提供细致入微的界面。 4. 未来有哪些有前途的方向？ 鉴于 GPT 4V 跨领域和任务的强大能力，我们思考多模态学习以及更广泛的人工智能的下一步是什么。我们将我们的思考和探索分为两个角度，即需要关注的新兴新颖应用场景和基于 GPT 4V 系统的未来研究方向。我们提出我们的初步探索以启发未来的研究。 以上述问题为指导，我们全面整理并列出了我们探索的定性结果。该报告包含最少的定量基准结果，而是主要包含精选的有趣的定性示例。尽管这种设计缺乏严格性，但它允许我们在有限的资源或范围内提供一个覆盖广泛领域、任务、工作模式和提示技术的全面分析。 我们相信，这些有组织的探索将激发未来在新兴新颖应用、下一代多模式任务制定以及开发基于 LMM 的先进智能系统方面的工作。 1.2 我们探索 GPT 4V 的方法 本报告的目标。评估系统的标准方法是将其与一系列精心设计的数据集进行基准测试，每个数据集代表一个特定的领域和任务。挑战之一是一些现有基准可能不再适合评估 LMM。 例如，LMM 的图像字幕输出比图像字幕基准数据集中的基本事实要丰富得多，并且包含更详细的描述。还缺乏有关 GPT 4V 大规模预训练的公开信息，这可能违反某些现有数据集的训练测试设置并使这些基准数据无效。因此，将评估限制在现有的基准和指标上可能会无意中缩小 GPT 4V 的评估范围。制定下一代评估任务和基准的综合列表将是理想的最终解决方案。然而，由于需要付出巨大的努力，我们将这些留作未来的工作。 本文重点关注使用定性结果来代替定量基准测试，以了解 GPT 4V 的新功能和潜在的新兴用例。 我们的目标是发现并预览 GPT 4V 可能已经具备的功能，尽管这些新颖的功能可能尚不完全可靠。我们希望这一系列的探索能够激发未来的研究，为下一代多模式任务建立定量基准，使现有基准现代化，进一步提高模型性能和系统可靠性，并在新兴用例中激发创新。 接下来，我们将深入研究探索 GPT 4V 方法的核心设计。 样本选择指引。 本报告重点介绍定性结果以展示 GPT 4V 的潜在能力，而不是提供全面的定量基准结果。这自然引发了所展示示例的可靠性问题。本报告中的示例可能需要仔细调整指令以增强 GPT 4V 的相应功能。应该注意的是，一些复杂的情况可能仅适用于专门设计的提示。因此，所展示的功能可能无法在不同的样本中始终有效。本报告的主要目的不是仅展示可靠的功能，而是为读者提供我们发现的 GPT 4V 潜在功能的列表，否则这些功能可能会在几次不成功的试验后被忽视。 样本选择以防止仅通过训练进行记忆。 定性报告中的一个基本设计考虑因素是仅通过记忆训练样本的响应或根据指令和上下文示例的提示进行有根据的猜测来辨别模型的真实能力。我们仔细控制输入提示中的图像和文本，以防止它们在 GPT 4V 训练期间被看到。我们从头开始生成原始文本查询，并尝试使用无法在线访问或时间在 2023 年 4 月之后的图像。我们将指出特定样本不符合此标准的情况，例如故意使用来自特定视觉的样本 语言数据集。除了确保样本不可见之外，我们还将理由查询纳入流程中。这些查询旨在探测模型的推理过程，从而验证 GPT 4V 是否拥有预期功能。 默认工作模式。 正如稍后第 3 节中详细介绍的，GPT 4V 在不同的工作模式下有效工作，包括带指令的零样本学习、上下文中的少样本学习等。其中，本报告主要关注零样本指令调整，而不是上下文中的小样本学习。这种设计是为了防止上下文示例中潜在的信息泄漏。虽然上下文中的少数示例可以提高性能和可靠性，但它们并不能始终如一地产生新功能。因此，我们将零样本指定为演示的默认工作模式，并减少上下文示例的使用，以尽量减少样本对评估能力的影响。 1.3 如何阅读本报告？ 本报告记录了计算机视觉和视觉语言多模态领域的研究人员对 GPT 4V 的探索。它主要面向相关学科的研究人员，他们希望获得对 LMM 功能的定性印象并了解其与传统视觉语言模型的区别。该报告还为那些人工智能或计算机科学可能超出其专业范围的专业人士编写，以帮助他们概念化 LMM 可以在其不同专业领域内提高其熟练程度的方法。我们概述了该报告，围绕指导我们探索的四个核心问题。 1. GPT 4V支持哪些输入和工作模式？ 第 2 节总结了 GPT 4V 支持的输入，并概述了其相应的用例。基于灵活的交错图像文本输入，第 3 节讨论了 GPT 4V 的不同工作模式，例如指令调优、上下文学习和其他紧急用途。本节介绍了 GPT 4V 的使用和提示的新颖方式，旨在为我们在后续章节中如何使用 GPT 4V 提供一个全面的概述。 2. GPT 4V 在不同领域和任务上的能力质量和通用性如何？ 对这个问题的探索占据了报告的很大一部分。第 4 节提供了涵盖广泛视觉和视觉语言场景的全面分析，包括不同领域的图像描述和识别、密集视觉理解、多模态知识、常识、场景文本理解、文档推理等等。我们还分离出一些新颖有趣的功能。第 6 节研究 GPT 4V 在时间、动画和视频理解方面的能力。第 7 节探讨抽象视觉理解和推理能力，第 8 节涵盖情绪和情感理解。 3. GPT 4V的有效使用和提示方法有哪些？ 我们从第3节中介绍的工作模式和提示方法开始讨论这个问题。在第5节中，我们重点介绍了一种新颖的推广技术，即视觉参考提示，它在输入图像上绘制视觉指针和场景文本来提示GPT 4V 。我们在报告中通过实例演示了指导与实例演示相结合等灵活的提示方法。 4. 未来有哪些有前途的方向？ 第 9 节重点介绍 GPT 4V 促进的新颖用例。我们希望这些最初的例子能够启发未来的工作，设计新的任务设置并提出严格的基准。第10节设想了可以基于GPT 4V构建的强大的未来系统，例如多模态插件、多模态链、自我反思、自我一致性和检索增强的LMM等。 除了概述和目录之外，我们还提供了图表列表。该列表列举了报告中详细介绍的定性示例，作为帮助读者导航到他们感兴趣的场景的附加工具。 2、GPT 4V 的输入模式 本节概述了 GPT 4V 支持的输入，即作为单模型语言模型的功能，具有仅文本输入，可选择仅带有单个图像的单个图像 文本对，并可选择仅带有多个图像输入的交错图像 文本对。 接下来我们将重点介绍在这些不同输入模式下的代表性用例。 2.1 仅文本输入 GPT 4V 强大的语言能力使其能够作为有效的单模式语言模型与仅文本输入一起使用。在输入和输出中仅使用文本，GPT 4V 能够执行各种语言和编码任务。我们推荐读者参考 GPT 4 技术报告，以获得对 GPT 4V 语言和编码能力的全面而深入的分析，以及与 GPT 4（无视觉）的比较。 2.2 单个图像 文本对 GPT 4V，最新的大型多模态模型，接受图像和文本作为输入以生成文本输出。与现有的通用视觉 语言模型保持一致，GPT 4V 可以接受单个图像 文本对或单个图像作为输入，以执行各种视觉和视觉 语言任务，如图像识别、对象定位、图像字幕、视觉问题回答、视觉对话、密集字幕等。 我们注意到，图像 文本对中的文本可以用作类似于“描述图像”的字幕的指令，或者用作视觉问题回答中问题的查询输入。通过与先前技术的显著增强性能和通用性，展示了 GPT 4V 的非凡智能。在第 4 节中详细介绍了其在各种领域上多模态功能的全面分析。 2.3 交错图像 文本输入 GPT 4V 的通用性通过其灵活处理交错图像 文本输入的能力得到了进一步的增强。交错的图像 文本输入可以是视觉为中心的，例如带有简短问题或指令的多个图像；或者是文本为中心的，例如带有两个插入图像的长网页；或者是图