Be My Eyes利用GPT-4处理视觉障碍

丹麦初创公司Be My Eyes利用GPT-4技术开发了一款虚拟志愿者应用程序,旨在帮助250多万视力障碍者解决日常生活中的各种问题。该应用程序可以识别图像、生成文字描述并提供有关事物的上下文信息,例如冰箱里的食品成分或购物网站的搜索结果。Be My Eyes将这一创新称为视觉无障碍性的“游戏改变者”,并表示其具有巨大的商业潜力。

Be My Eyes利用GPT-4改变了视觉无障碍

自2012年以来,Be My Eyes一直致力于为超过2.5亿盲人和视力低下人士创造技术。这家丹麦初创企业通过将视力低下的人与志愿者联系起来,帮助他们完成数百个日常生活任务,例如识别产品或在机场导航。

凭借GPT-4的新视觉输入功能,Be My Eyes开始在其应用程序中开发GPT-4动力虚拟志愿者,它可以产生与人类志愿者相同的上下文和理解水平。

“在我们拥有这项技术的短时间内,我们已经看到了无与伦比的表现,超越了所有现有的图像转文本物体识别工具,”Be My Eyes的CEO迈克尔·巴克利说。“这对全球无障碍性的影响是深远的。在不久的将来,盲人和视力低下的人群将利用这些工具不仅满足其各种视觉解释需求,而且在生活中获得更大的独立性。”

现在,GPT-4技术不仅可以识别和命名冰箱中的物品,还可以推断和分析这些配料能做哪些菜,并提供一个好的食谱。使用情况几乎没有限制。

行业洗牌

“这是一场改变游戏规则的变革,”巴克利说。“最终,无论用户想要什么或需要什么,他们都可以重新提示工具以获得更多可用、有益和有帮助的信息。”

Be My Eyes的CTO杰斯珀·赫维林·亨利克森解释说,GPT-4与其他语言和机器学习模型的不同之处在于它既具有对话的能力,又提供了更高的分析能力。他说:“基本的图像识别应用程序只告诉你面前有什么。它们不能进行讨论,以理解面条的配料是否正确或者地上的物体不仅仅是一个球,而是一个绊倒的隐患,并传达这些信息。”

现在,Be My Eyes已经有了一个案例,用户能够穿越铁路系统,并获得详细的位置和如何安全地到达目的地的指令,这对于视觉障碍者来说是一个几乎不可能的任务。

然而,理解屏幕上的内容对于视觉障碍者来说可能是两倍的努力。嵌入在大多数现代操作系统中的屏幕阅读器会按行、按段读取网页或桌面应用程序的内容,朗读每个单词。然而,网络上的图像是交流的核心,这可能更糟糕。

但是,亨利克森说,现在他们能够向GPT-4展示网页,并且经过深度学习算法的训练,GPT-4能够建立关系,理解网页上“重要”的部分,选择要读取或总结的部分。这不仅可以简化阅读新闻之类的任务,而且赋予需要视觉帮助的人们访问网络上一些最混乱的页面:购物和电子商务网站。GPT-4能够总结搜索结果,就像有视力的人自然扫描一样,而不是读取每个微小的细节,并帮助需要视力支持的人在实时中做出正确的购买决策。

“这对人类来说是一个极好的发展,”巴克利说,“但它也代表了一个巨大的商业机会。”

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/news-be-my-eyes-gpt-4.html

(0)
上一篇 2023-03-15 01:41
下一篇 2023-03-16 01:46

相关推荐

  • 关于ChatGPT的看法

    关于ChatGPT的一些使用感想 本站所有内容几乎都是关于教程之类的,从来没有和大家谈心关于站长对ChatGPT的看法,今天和大家聊一聊关于ChatGPT的一些个人看法。 其实我最…

    AI快讯 2023-03-09
    03894
  • 月之暗面开源高效Muon优化器,算力节省近半

    月之暗面团队发布改进版Muon优化器,算力需求较传统AdamW降低48%,并在Llama及DeepSeek架构中验证其高效性。升级后的Muon不仅支持大规模分布式训练,还开源了16B参数的MoE模型Moonlight,显著提升多任务性能。技术突破为AI训练成本优化和模型泛化能力提供新路径。

    AI快讯 2025-02-24
    00210
  • 开源RL训练方法复刻DeepSeek性能

    阶跃星辰与清华联合发布Open Reasoner Zero(ORZ),仅用1/30训练步骤复现DeepSeek-R1-Zero性能,680步现“顿悟时刻”。研究团队开源完整训练代码与数据,验证极简PPO+规则奖励方案有效性,MMLU基准超越Qwen2.5 Instruct。

    AI快讯 2025-02-22
    00248
  • 免费体验ChatGPT

    免费体验ChatGPT体验计划,因为ChatGPT的种种不可描述原因,openAI的API无法访问,本站无法直接在国内搭建,香港服务器,大家现在可以免费|免翻|免注册体验ChatGPT的魅力啦。

    2023-03-04
    0448.1K
  • 医疗AI好伴AI实测报告发布

    智诊科技推出医疗AI应用好伴AI,实测解读体检报告准确率100%,复刻三甲专家诊疗逻辑。730亿参数模型WiseDiag-Z1支持多模态推理,实现症状分析、用药咨询与健康追踪,破解医疗资源分布不均难题。

    AI快讯 2025-02-22
    00155

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

微信