Be My Eyes利用GPT-4处理视觉障碍

丹麦初创公司Be My Eyes利用GPT-4技术开发了一款虚拟志愿者应用程序,旨在帮助250多万视力障碍者解决日常生活中的各种问题。该应用程序可以识别图像、生成文字描述并提供有关事物的上下文信息,例如冰箱里的食品成分或购物网站的搜索结果。Be My Eyes将这一创新称为视觉无障碍性的“游戏改变者”,并表示其具有巨大的商业潜力。

Be My Eyes利用GPT-4改变了视觉无障碍

自2012年以来,Be My Eyes一直致力于为超过2.5亿盲人和视力低下人士创造技术。这家丹麦初创企业通过将视力低下的人与志愿者联系起来,帮助他们完成数百个日常生活任务,例如识别产品或在机场导航。

凭借GPT-4的新视觉输入功能,Be My Eyes开始在其应用程序中开发GPT-4动力虚拟志愿者,它可以产生与人类志愿者相同的上下文和理解水平。

“在我们拥有这项技术的短时间内,我们已经看到了无与伦比的表现,超越了所有现有的图像转文本物体识别工具,”Be My Eyes的CEO迈克尔·巴克利说。“这对全球无障碍性的影响是深远的。在不久的将来,盲人和视力低下的人群将利用这些工具不仅满足其各种视觉解释需求,而且在生活中获得更大的独立性。”

现在,GPT-4技术不仅可以识别和命名冰箱中的物品,还可以推断和分析这些配料能做哪些菜,并提供一个好的食谱。使用情况几乎没有限制。

行业洗牌

“这是一场改变游戏规则的变革,”巴克利说。“最终,无论用户想要什么或需要什么,他们都可以重新提示工具以获得更多可用、有益和有帮助的信息。”

Be My Eyes的CTO杰斯珀·赫维林·亨利克森解释说,GPT-4与其他语言和机器学习模型的不同之处在于它既具有对话的能力,又提供了更高的分析能力。他说:“基本的图像识别应用程序只告诉你面前有什么。它们不能进行讨论,以理解面条的配料是否正确或者地上的物体不仅仅是一个球,而是一个绊倒的隐患,并传达这些信息。”

现在,Be My Eyes已经有了一个案例,用户能够穿越铁路系统,并获得详细的位置和如何安全地到达目的地的指令,这对于视觉障碍者来说是一个几乎不可能的任务。

然而,理解屏幕上的内容对于视觉障碍者来说可能是两倍的努力。嵌入在大多数现代操作系统中的屏幕阅读器会按行、按段读取网页或桌面应用程序的内容,朗读每个单词。然而,网络上的图像是交流的核心,这可能更糟糕。

但是,亨利克森说,现在他们能够向GPT-4展示网页,并且经过深度学习算法的训练,GPT-4能够建立关系,理解网页上“重要”的部分,选择要读取或总结的部分。这不仅可以简化阅读新闻之类的任务,而且赋予需要视觉帮助的人们访问网络上一些最混乱的页面:购物和电子商务网站。GPT-4能够总结搜索结果,就像有视力的人自然扫描一样,而不是读取每个微小的细节,并帮助需要视力支持的人在实时中做出正确的购买决策。

“这对人类来说是一个极好的发展,”巴克利说,“但它也代表了一个巨大的商业机会。”

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/news-be-my-eyes-gpt-4.html

(0)
上一篇 2023-03-15 01:41
下一篇 2023-03-16 01:46

相关推荐

  • 近日工作进度汇报

    最近停更了一段时间,汇报一下工作进度,网站肯定是会继续做的,只不过生活的琐事太多了。

    AI快讯 2023-08-05
    072.2K
  • 月之暗面开源高效Muon优化器,算力节省近半

    月之暗面团队发布改进版Muon优化器,算力需求较传统AdamW降低48%,并在Llama及DeepSeek架构中验证其高效性。升级后的Muon不仅支持大规模分布式训练,还开源了16B参数的MoE模型Moonlight,显著提升多任务性能。技术突破为AI训练成本优化和模型泛化能力提供新路径。

    AI快讯 2025-02-24
    00492
  • 近日疯狂刷屏的Manus到底怎么样?

    这届AI太野了!用Manus玩坏谷歌CEO模拟器 其实站长个人并不太看好这个东西,我也没有邀请码,但是这个就像近期比较火的自动编程概念一样吧,也就那么回事。因为其它背后的原理肯定也…

    AI快讯 2025-03-07
    00317
  • 2024图灵奖揭晓:强化学习之父Barto与Sutton的学术传奇

    2024年图灵奖授予强化学习奠基人Andrew Barto与Richard Sutton,表彰他们为智能系统研究奠定的理论与算法基石。本文解析其学术贡献、技术应用(如ChatGPT的RLHF与DeepSeek-R1-Zero),并探讨强化学习如何从实验室走向产业变革,持续推动人工智能与神经科学的交叉突破。

    AI快讯 2025-03-05
    00292
  • 【教育革命进行时】30所高校的DeepSeek应用图谱

    深度解析DeepSeek大模型如何在中国30余所顶尖高校掀起教育革命!从浙大”全场景智能体”到清华AI教材,揭秘千亿参数模型如何重构教学科研。对比海外禁用风波,看中国高校如何领跑AI教育新赛道。

    AI快讯 2025-02-22
    00630

发表回复

登录后才能评论
微信