视觉推理能力评测新基准发布

港中文MMLab推出MME-CoT基准,全面测评DeepSeek-R1、GPT-4o、Kimi k1.5等模型的视觉推理能力。研究显示,Kimi在推理质量领先,o3-mini鲁棒性最佳,DeepSeek文本推理优势显著。揭秘评测指标与关键发现。

DeepSeek vs OpenAI vs Kimi:视觉推理能力终极对决

MME-CoT基准:重新定义多模态模型评估

香港中文大学MMLab团队发布MME-CoT(Multi-Modal Evaluation Chain-of-Thought)基准,首次系统化评估大型多模态模型(LMM)的视觉推理能力。该基准覆盖数学、科学、OCR等6大领域,通过1130道精选题目与3865个关键步骤标注,构建全景评估体系。

三大核心评测维度:

  • 质量:召回率与精确率双重验证推理逻辑
  • 鲁棒性:感知任务稳定性与推理任务有效性
  • 效率:步骤相关性与反思质量量化分析

实验涵盖15个主流模型,包括Kimi k1.5、GPT-4o及纯文本模型DeepSeek-R1,揭示行业技术差距。


模型表现:Kimi质量领先,DeepSeek文本逆袭

质量排名

  1. Kimi k1.5(F1 68.2%)
  2. DeepSeek-R1(66.3%)
  3. o3-mini(61.5%)

DeepSeek-R1仅凭图像描述文本,在精确率上超越GPT-4o视觉模型2.1个百分点,展现强大文本推理迁移能力。

鲁棒性对比

  • o3-mini感知任务稳定性达98.7%
  • Kimi推理任务有效性提升14.6%
  • DeepSeek在复杂逻辑场景误差率最低

研究同时暴露行业痛点:30%-40%反思步骤与解题无关,InternVL2.5等模型应用CoT后感知性能下降6.8%。


关键发现:参数规模与反思效率的博弈

  1. 参数优势:Qwen2-VL-72B较7B版本推理有效性提升7.2%,验证大模型学习潜力
  2. 长CoT陷阱:GPT-4o等模型40%步骤信息密度不足,存在“无效空想”现象
  3. 反思错误类型
    • 无效调整(45%)
    • 分析不完整(28%)
    • 自我干扰(12%)

实验显示,Kimi通过动态注意力机制,将关键步骤相关性提升至82%,显著优于行业平均水平。


评测体系设计:从结果到过程的革命

MME-CoT突破传统答案正确性评估,引入:

  • 步骤召回率:GPT-4o自动匹配必要推理链
  • 跨模态稳定性:分离感知/推理任务验证鲁棒性
  • 成本-收益比:量化token消耗与准确率增益关系

数据集构建采用双重过滤机制,专业团队耗时1200小时完成标注,确保多解法问题的全面覆盖。

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/mme-cot-benchmark.html

(0)
上一篇 2025-02-22 19:06
下一篇 2025-02-22 19:49

相关推荐

  • Claude 3.7混合推理模型技术解析与融资动态

    Anthropic发布Claude 3.7 Sonnet混合推理模型,在SWE-bench编码基准实现70.3%准确率,物理模拟性能超越Grok 3。该模型支持复杂场景开发,同步披露35亿美元战略融资及Transformer原始团队专家加盟,加速企业级AI解决方案落地。

    AI快讯 2025-02-25
    00892
  • 爱情的未来:和AI谈恋爱

    随着科技的不断进步,人工智能技术也在不断发展。其中最新的应用之一就是和AI谈恋爱。这种恋爱方式利用智能机器人和人工智能技术,让人们可以与AI建立情感联系。本文将探讨和AI谈恋爱的背景、形式以及发展前景。

    AI快讯 2023-02-15
    00912
  • 【教育革命进行时】30所高校的DeepSeek应用图谱

    深度解析DeepSeek大模型如何在中国30余所顶尖高校掀起教育革命!从浙大”全场景智能体”到清华AI教材,揭秘千亿参数模型如何重构教学科研。对比海外禁用风波,看中国高校如何领跑AI教育新赛道。

    AI快讯 2025-02-22
    00940
  • ChatGPT算命:科技带来的玄学新体验

    ChatGPT算命,这是一种新型的玄学体验。人工智能技术的发展,让ChatGPT等智能聊天机器人具备了进行算命的能力,它的出现引发了广泛的讨论。本文将探讨ChatGPT算命的科技背后的玄学,以及这种新型算命的优缺点。

    AI快讯 2023-02-15
    043.6K
  • 近日工作进度汇报

    最近停更了一段时间,汇报一下工作进度,网站肯定是会继续做的,只不过生活的琐事太多了。

    AI快讯 2023-08-05
    072.3K

发表回复

登录后才能评论
微信