视觉推理能力评测新基准发布

港中文MMLab推出MME-CoT基准,全面测评DeepSeek-R1、GPT-4o、Kimi k1.5等模型的视觉推理能力。研究显示,Kimi在推理质量领先,o3-mini鲁棒性最佳,DeepSeek文本推理优势显著。揭秘评测指标与关键发现。

DeepSeek vs OpenAI vs Kimi:视觉推理能力终极对决

MME-CoT基准:重新定义多模态模型评估

香港中文大学MMLab团队发布MME-CoT(Multi-Modal Evaluation Chain-of-Thought)基准,首次系统化评估大型多模态模型(LMM)的视觉推理能力。该基准覆盖数学、科学、OCR等6大领域,通过1130道精选题目与3865个关键步骤标注,构建全景评估体系。

三大核心评测维度:

  • 质量:召回率与精确率双重验证推理逻辑
  • 鲁棒性:感知任务稳定性与推理任务有效性
  • 效率:步骤相关性与反思质量量化分析

实验涵盖15个主流模型,包括Kimi k1.5、GPT-4o及纯文本模型DeepSeek-R1,揭示行业技术差距。


模型表现:Kimi质量领先,DeepSeek文本逆袭

质量排名

  1. Kimi k1.5(F1 68.2%)
  2. DeepSeek-R1(66.3%)
  3. o3-mini(61.5%)

DeepSeek-R1仅凭图像描述文本,在精确率上超越GPT-4o视觉模型2.1个百分点,展现强大文本推理迁移能力。

鲁棒性对比

  • o3-mini感知任务稳定性达98.7%
  • Kimi推理任务有效性提升14.6%
  • DeepSeek在复杂逻辑场景误差率最低

研究同时暴露行业痛点:30%-40%反思步骤与解题无关,InternVL2.5等模型应用CoT后感知性能下降6.8%。


关键发现:参数规模与反思效率的博弈

  1. 参数优势:Qwen2-VL-72B较7B版本推理有效性提升7.2%,验证大模型学习潜力
  2. 长CoT陷阱:GPT-4o等模型40%步骤信息密度不足,存在“无效空想”现象
  3. 反思错误类型
    • 无效调整(45%)
    • 分析不完整(28%)
    • 自我干扰(12%)

实验显示,Kimi通过动态注意力机制,将关键步骤相关性提升至82%,显著优于行业平均水平。


评测体系设计:从结果到过程的革命

MME-CoT突破传统答案正确性评估,引入:

  • 步骤召回率:GPT-4o自动匹配必要推理链
  • 跨模态稳定性:分离感知/推理任务验证鲁棒性
  • 成本-收益比:量化token消耗与准确率增益关系

数据集构建采用双重过滤机制,专业团队耗时1200小时完成标注,确保多解法问题的全面覆盖。

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/mme-cot-benchmark.html

(0)
上一篇 2025-02-22 19:06
下一篇 2025-02-22 19:49

相关推荐

  • 本站交流论坛开放注册

    bbs.openai.wiki官方论坛长期致力于为您提供全面的AI技术资讯,涵盖AI绘画、动画、对话、语言模型、音视频处理等最新相关技术,并为您提供全方位的教学,将会持续为您提供最有价值的内容。

    2023-04-30
    073.6K
  • ChatGPT如何改变劳动力市场

    随着人工智能技术的不断发展,ChatGPT已经开始逐渐取代一些工种。本文将探讨ChatGPT如何改变劳动力市场,取代哪些工种,并讨论未来工作的趋势。

    AI快讯 2023-02-15
    00907
  • 免费体验ChatGPT

    免费体验ChatGPT体验计划,因为ChatGPT的种种不可描述原因,openAI的API无法访问,本站无法直接在国内搭建,香港服务器,大家现在可以免费|免翻|免注册体验ChatGPT的魅力啦。

    2023-03-04
    0449.8K
  • 近日疯狂刷屏的Manus到底怎么样?

    这届AI太野了!用Manus玩坏谷歌CEO模拟器 其实站长个人并不太看好这个东西,我也没有邀请码,但是这个就像近期比较火的自动编程概念一样吧,也就那么回事。因为其它背后的原理肯定也…

    AI快讯 2025-03-07
    00545
  • 【教育革命进行时】30所高校的DeepSeek应用图谱

    深度解析DeepSeek大模型如何在中国30余所顶尖高校掀起教育革命!从浙大”全场景智能体”到清华AI教材,揭秘千亿参数模型如何重构教学科研。对比海外禁用风波,看中国高校如何领跑AI教育新赛道。

    AI快讯 2025-02-22
    00895

发表回复

登录后才能评论
微信