刚刚，OpenAI重磅发布o3和o4-mini多模态推理能力爆炸式提升！！！

刚刚，OpenAI重磅发布o3和o4 mini多模态推理能力爆炸式提升！！！ 刚刚，OpenAI重磅发布o3和o4 mini多模态推理能力爆炸式提升！！！ Modified April 17, 2025 🔗 原文链接： https://mp.weixin.qq.com/s/Vmh8D8Ie... 机智流2025年04月17日 01:32 上海 提示词 https://openai.com/index/thinking with images/ 将这个网页里面的内容输出为一篇图文并貌的微信公众号推文。 2025年4月16日，OpenAI发布了其最新的人工智能模型o3和o4 mini，这两款模型在视觉推理领域取得了突破性进展。据OpenAI介绍，这些模型不仅能够“看到”图像，还能在推理链中“思考”图像，显著提升了处理视觉信息的能力。它们可以对用户上传的图像进行裁剪、缩放、旋转等操作，无需依赖单独的专用模型。此外，这些模型还能与网络搜索、Python数据分析和图像生成等工具结合，提供多模态的智能体验，为用户带来前所未有的交互方式。 这项技术的发展可能改变我们与AI交互的方式，使其更直观、更贴近人类处理视觉信息的方式。以下，我们将详细介绍这些模型的实际应用、性能表现以及未来的发展方向。 图像推理实战 OpenAI通过一系列示例展示了o3和o4 mini在视觉推理方面的强大能力。这些示例不仅体现了模型的技术实力，也展示了其在实际场景中的应用潜力。 示例一：读取笔记本文字 在一个示例中，模型分析了一张笔记本照片，照片中的文字是倒置的。模型通过旋转图像并裁剪到文字区域，成功读取了内容：“2月4日 完成路线图”。整个推理过程仅耗时20秒，展示了模型在处理复杂视觉信息时的效率。 （注：原文中包含一张展示笔记本文字的图像，建议访问原文查看。） 示例二：解决迷宫 另一个引人注目的示例是模型解决了一个迷宫问题。用户上传了一张迷宫图像，模型在1分44秒内完成了推理，不仅找出了正确路径，还用红线绘制了路径，生成了一张已解决的迷宫图像。这一过程涉及图像处理技术，如阈值处理和膨胀操作，体现了模型在复杂视觉任务中的能力。 （注：原文中包含迷宫及其解决路径的图像，建议访问原文查看。） 这些示例表明，o3和o4 mini能够处理多样化的视觉任务，从简单的文字识别到复杂的路径规划，为用户提供了强大的工具。 性能基准 为了评估o3和o4 mini的性能，OpenAI在多个视觉任务基准测试中将其与之前的模型GPT 4o和o1进行了对比。测试均在高“推理努力”设置下进行，以确保结果反映模型的最大潜力。以下是详细的性能数据： 基准测试 任务描述 GPT 4o o1 o4 mini o3 MMMU 大学水平视觉问题解决 68.7% 77.6% 81.6% 82.9% MathVista 视觉数学推理 61.4% 71.8% 84.3% 87.5% VLMs are Blind 视觉感知基础 50.4% 57.0% 87.3% 86.2% CharXiv 描述性 科学图表描述 85.3% 88.9% 94.3% 95.0% CharXiv 推理 科学图表推理 52.7% 55.1% 72.0% 75.4% V 视觉搜索基准 73.9% 69.7% 94.6% 95.7% 关键观察 • 显著提升 ：o3和o4 mini在所有测试中均超越了GPT 4o和o1，尤其在MathVista和V 基准测试中表现突出。 • V 基准的突破 ：o3在V 基准测试中达到了96.3%的准确率，几乎完全解决了这一视觉搜索任务，标志着视觉推理技术的重大进步。 • 无浏览推理 ：这些模型在不依赖外部浏览的情况下，通过图像思维实现了性能提升，展示了其内在推理能力的强大。 这些结果表明，o3和o4 mini在视觉推理任务中树立了新的行业标杆，为学术研究和实际应用提供了更强大的工具。 局限性与未来方向 尽管o3和o4 mini取得了令人瞩目的成就，但它们仍存在一些局限性，需要进一步改进： 局限性 描述 推理链过长 模型可能执行冗余的工具调用和图像操作，导致推理过程复杂且耗时。 感知错误 模型可能出现基本的感知错误，即使工具调用正确，也可能导致最终答案错误。 可靠性问题 多次尝试可能产生不同的推理过程，导致结果不一致，影响可靠性。 未来计划 OpenAI表示，他们正在努力优化这些模型，以解决上述问题。具体计划包括： • 简化推理过程 ：减少冗余操作，使推理链更简洁高效。 • 提高准确性 ：改进感知能力，减少错误，确保输出更可靠。 • 增强可靠性 ：优化模型架构，确保多次推理结果一致。 • 多模态研究 ：继续探索多模态推理技术，进一步提升模型在视觉、文本和其他数据类型上的综合能力。 这些改进将使o3和o4 mini在未来更广泛的应用场景中发挥作用，例如教育、科学研究和创意设计。 结论 OpenAI的o3和o4 mini模型通过图像思维开启了人工智能的新篇章。它们不仅能处理复杂的视觉任务，还能与多种工具结合，为用户提供多模态的智能体验。尽管存在一些局限性，OpenAI的持续研究和优化计划表明，未来的模型将更加高效和可靠。 欲了解更多详情并查看示例图像，请访问以下链接： • Thinking with Images • Introducing o3 and o4 mini https://mp.weixin.qq.com/s/Vmh8D8Ie... 🔗 原文链接： https://mp.weixin.qq.com/s/Vmh8D8Ie... https://mp.weixin.qq.com/s/Vmh8D8Ie... 机智流2025年04月17日 01:32 上海 提示词 https://openai.com/index/thinking with images/ 将这个网页里面的内容输出为一篇图文并貌的微信公众号推文。 2025年4月16日，OpenAI发布了其最新的人工智能模型o3和o4 mini，这两款模型在视觉推理领域取得了突破性进展。据OpenAI介绍，这些模型不仅能够“看到”图像，还能在推理链中“思考”图像，显著提升了处理视觉信息的能力。它们可以对用户上传的图像进行裁剪、缩放、旋转等操作，无需依赖单独的专用模型。此外，这些模型还能与网络搜索、Python数据分析和图像生成等工具结合，提供多模态的智能体验，为用户带来前所未有的交互方式。 这项技术的发展可能改变我们与AI交互的方式，使其更直观、更贴近人类处理视觉信息的方式。以下，我们将详细介绍这些模型的实际应用、性能表现以及未来的发展方向。 图像推理实战 OpenAI通过一系列示例展示了o3和o4 mini在视觉推理方面的强大能力。这些示例不仅体现了模型的技术实力，也展示了其在实际场景中的应用潜力。 示例一：读取笔记本文字 在一个示例中，模型分析了一张笔记本照片，照片中的文字是倒置的。模型通过旋转图像并裁剪到文字区域，成功读取了内容：“2月4日 完成路线图”。整个推理过程仅耗时20秒，展示了模型在处理复杂视觉信息时的效率。 （注：原文中包含一张展示笔记本文字的图像，建议访问原文查看。） 示例二：解决迷宫 另一个引人注目的示例是模型解决了一个迷宫问题。用户上传了一张迷宫图像，模型在1分44秒内完成了推理，不仅找出了正确路径，还用红线绘制了路径，生成了一张已解决的迷宫图像。这一过程涉及图像处理技术，如阈值处理和膨胀操作，体现了模型在复杂视觉任务中的能力。 （注：原文中包含迷宫及其解决路径的图像，建议访问原文查看。） 这些示例表明，o3和o4 mini能够处理多样化的视觉任务，从简单的文字识别到复杂的路径规划，为用户提供了强大的工具。 性能基准 为了评估o3和o4 mini的性能，OpenAI在多个视觉任务基准测试中将其与之前的模型GPT 4o和o1进行了对比。测试均在高“推理努力”设置下进行，以确保结果反映模型的最大潜力。以下是详细的性能数据： 基准测试 任务描述 GPT 4o o1 o4 mini o3 MMMU 大学水平视觉问题解决 68.7% 77.6% 81.6% 82.9% MathVista 视觉数学推理 61.4% 71.8% 84.3% 87.5% VLMs are Blind 视觉感知基础 50.4% 57.0% 87.3% 86.2% CharXiv 描述性 科学图表描述 85.3% 88.9% 94.3% 95.0% CharXiv 推理 科学图表推理 52.7% 55.1% 72.0% 75.4% V 视觉搜索基准 73.9% 69.7% 94.6% 95.7% 基准测试 基准测试 任务描述 任务描述 GPT 4o GPT 4o o1 o1 o4 mini o4 mini o3 o3 MMMU MMMU 大学水平视觉问题解决 大学水平视觉问题解决 68.7% 68.7% 77.6% 77.6% 81.6% 81.6% 82.9% 82.9% MathVista MathVista 视觉数学推理 视觉数学推理 61.4% 61.4% 71.8% 71.8% 84.3% 84.3% 87.5% 87.5% VLMs are Blind VLMs are Blind 视觉感知基础 视觉感知基础 50.4% 50.4% 57.0% 57.0% 87.3% 87.3% 86.2% 86.2% CharXiv 描述性 CharXiv 描述性 科学图表描述 科学图表描述 85.3% 85.3% 88.9% 88.9% 94.3% 94.3% 95.0% 95.0% CharXiv 推理 CharXiv 推理 科学图表推理 科学图表推理 52.7% 52.7% 55.1% 55.1% 72.0% 72.0% 75.4% 75.4% V V 视觉搜索基准 视觉搜索基准 73.9% 73.9% 69.7% 69.7% 94.6% 94.6% 95.7% 95.7% 关键观察 • 显著提升 ：o3和o4 mini在所有测试中均超越了GPT 4o和o1，尤其在MathVista和V 基准测试中表现突出。 • V 基准的突破 ：o3在V 基准测试中达到了96.3%的准确率，几乎完全解决了这一视觉搜索任务，标志着视觉推理技术的重大进步。 • 无浏览推理 ：这些模型在不依赖外部浏览的情况下，通过图像思维实现了性能提升，展示了其内在推理能力的强大。 这些结果表明，o3和o4 mini在视觉推理任务中树立了新的行业标杆，为学术研究和实际应用提供了更强大的工具。 局限性与未来方向 尽管o3和o4 mini取得了令人瞩目的成就，但它们仍存在一些局限性，需要进一步改进： 局限性 描述 推理链过长 模型可能执行冗余的工具调用和图像操作，导致推理过程复杂且耗时。 感知错误 模型可能出现基本的感知错误，即使工具调用正确，也可能导致最终答案错误。 可靠性问题 多次尝试可能产生不同的推理过程，导致结果不一致，影响可靠性。 局限性 局限性 描述 描述 推理链过长 推理链过长 模型可能执行冗余的工具调用和图像操作，导致推理过程复杂且耗时。 模型可能执行冗余的工具调用和图像操作，导致推理过程复杂且耗时。 感知错误 感知错误 模型可能出现基本的感知错误，即使工具调用正确，也可能导致最终答案错误。 模型可能出现基本的感知错误，即使工具调用正确，也可能导致最终答案错误。 可靠性问题 可靠性问题 多次尝试可能产生不同的推理过程，导致结果不一致，影响可靠性。 多次尝试可能产生不同的推理过程，导致结果不一致，影响可靠性。 未来计划 OpenAI表示，他们正在努力优化这些模型，以解决上述问题。具体计划包括： • 简化推理过程 ：减少冗余操作，使推理链更简洁高效。 • 提高准确性 ：改进感知能力，减少错误，确保输出更可靠。 • 增强可靠性 ：优化模型架构，确保多次推理结果一致。 • 多模态研究 ：继续探索多模态推理技术，进一步提升模型在视觉、文本和其他数据类型上的综合能力。 这些改进将使o3和o4 mini在未来更广泛的应用场景中发挥作用，例如教育、科学研究和创意设计。 结论 OpenAI的o3和o4 mini模型通过图像思维开启了人工智能的新篇章。它们不仅能处理复杂的视觉任务，还能与多种工具结合，为用户提供多模态的智能体验。尽管存在一些局限性，OpenAI的持续研究和优化计划表明，未来的模型将更加高效和可靠。 欲了解更多详情并查看示例图像，请访问以下链接： • Thinking with Images • Introducing o3 and o4 mini