视觉推理能力评测新基准发布

港中文MMLab推出MME-CoT基准,全面测评DeepSeek-R1、GPT-4o、Kimi k1.5等模型的视觉推理能力。研究显示,Kimi在推理质量领先,o3-mini鲁棒性最佳,DeepSeek文本推理优势显著。揭秘评测指标与关键发现。

DeepSeek vs OpenAI vs Kimi:视觉推理能力终极对决

MME-CoT基准:重新定义多模态模型评估

香港中文大学MMLab团队发布MME-CoT(Multi-Modal Evaluation Chain-of-Thought)基准,首次系统化评估大型多模态模型(LMM)的视觉推理能力。该基准覆盖数学、科学、OCR等6大领域,通过1130道精选题目与3865个关键步骤标注,构建全景评估体系。

三大核心评测维度:

  • 质量:召回率与精确率双重验证推理逻辑
  • 鲁棒性:感知任务稳定性与推理任务有效性
  • 效率:步骤相关性与反思质量量化分析

实验涵盖15个主流模型,包括Kimi k1.5、GPT-4o及纯文本模型DeepSeek-R1,揭示行业技术差距。


模型表现:Kimi质量领先,DeepSeek文本逆袭

质量排名

  1. Kimi k1.5(F1 68.2%)
  2. DeepSeek-R1(66.3%)
  3. o3-mini(61.5%)

DeepSeek-R1仅凭图像描述文本,在精确率上超越GPT-4o视觉模型2.1个百分点,展现强大文本推理迁移能力。

鲁棒性对比

  • o3-mini感知任务稳定性达98.7%
  • Kimi推理任务有效性提升14.6%
  • DeepSeek在复杂逻辑场景误差率最低

研究同时暴露行业痛点:30%-40%反思步骤与解题无关,InternVL2.5等模型应用CoT后感知性能下降6.8%。


关键发现:参数规模与反思效率的博弈

  1. 参数优势:Qwen2-VL-72B较7B版本推理有效性提升7.2%,验证大模型学习潜力
  2. 长CoT陷阱:GPT-4o等模型40%步骤信息密度不足,存在“无效空想”现象
  3. 反思错误类型
    • 无效调整(45%)
    • 分析不完整(28%)
    • 自我干扰(12%)

实验显示,Kimi通过动态注意力机制,将关键步骤相关性提升至82%,显著优于行业平均水平。


评测体系设计:从结果到过程的革命

MME-CoT突破传统答案正确性评估,引入:

  • 步骤召回率:GPT-4o自动匹配必要推理链
  • 跨模态稳定性:分离感知/推理任务验证鲁棒性
  • 成本-收益比:量化token消耗与准确率增益关系

数据集构建采用双重过滤机制,专业团队耗时1200小时完成标注,确保多解法问题的全面覆盖。

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/mme-cot-benchmark.html

(0)
上一篇 2025-02-22 19:06
下一篇 2025-02-22 19:49

相关推荐

  • ChatGPT的爱情观

    随着人工智能技术的不断发展,ChatGPT已经可以模拟人类进行对话,并具有一定的情感认知能力。本文将探讨ChatGPT的爱情观,以及人工智能对情感的认知,探究人机关系的意义。

    AI快讯 2023-02-15
    001.0K
  • 豆包自研深度思考模型内测技术解析

    字节跳动旗下AI助手豆包近期启动深度思考模型灰度测试,官方确认该功能采用自主研发技术架构。测试显示模型具备上下文记忆解析能力,通过特定语句可激活思维链展示,目前网页端已实现功能触发,移动端适配仍在推进中。本文解析测试细节与技术特性。

    AI快讯 2025-02-25
    001.2K
  • 【教育革命进行时】30所高校的DeepSeek应用图谱

    深度解析DeepSeek大模型如何在中国30余所顶尖高校掀起教育革命!从浙大”全场景智能体”到清华AI教材,揭秘千亿参数模型如何重构教学科研。对比海外禁用风波,看中国高校如何领跑AI教育新赛道。

    AI快讯 2025-02-22
    00853
  • 百度本周召开「文心一言」发布会

    百度在本周召开了「文心一言」发布会,会上公布了该产品的最新进展。 「文心一言」是百度旗下的一款智能写作辅助工具,旨在为用户提供高效、智能、人性化的写作体验。本次发布会聚焦于该产品的新功能和应用场景,引起了广泛关注和讨论。

    AI快讯 2023-03-14
    001.4K
  • Grok 3与黎曼猜想:AI开启数学新纪元

    Grok 3利用暴力计算和AI辅助验证,瞄准数学界最难题——黎曼猜想。顶尖科学家与人工智能联手攻关,或将迎来诺奖级别的突破,推动数学及密码学新发展。

    AI快讯 2025-02-24
    00568

发表回复

登录后才能评论
微信