Be My Eyes利用GPT-4处理视觉障碍

丹麦初创公司Be My Eyes利用GPT-4技术开发了一款虚拟志愿者应用程序,旨在帮助250多万视力障碍者解决日常生活中的各种问题。该应用程序可以识别图像、生成文字描述并提供有关事物的上下文信息,例如冰箱里的食品成分或购物网站的搜索结果。Be My Eyes将这一创新称为视觉无障碍性的“游戏改变者”,并表示其具有巨大的商业潜力。

Be My Eyes利用GPT-4改变了视觉无障碍

自2012年以来,Be My Eyes一直致力于为超过2.5亿盲人和视力低下人士创造技术。这家丹麦初创企业通过将视力低下的人与志愿者联系起来,帮助他们完成数百个日常生活任务,例如识别产品或在机场导航。

凭借GPT-4的新视觉输入功能,Be My Eyes开始在其应用程序中开发GPT-4动力虚拟志愿者,它可以产生与人类志愿者相同的上下文和理解水平。

“在我们拥有这项技术的短时间内,我们已经看到了无与伦比的表现,超越了所有现有的图像转文本物体识别工具,”Be My Eyes的CEO迈克尔·巴克利说。“这对全球无障碍性的影响是深远的。在不久的将来,盲人和视力低下的人群将利用这些工具不仅满足其各种视觉解释需求,而且在生活中获得更大的独立性。”

现在,GPT-4技术不仅可以识别和命名冰箱中的物品,还可以推断和分析这些配料能做哪些菜,并提供一个好的食谱。使用情况几乎没有限制。

行业洗牌

“这是一场改变游戏规则的变革,”巴克利说。“最终,无论用户想要什么或需要什么,他们都可以重新提示工具以获得更多可用、有益和有帮助的信息。”

Be My Eyes的CTO杰斯珀·赫维林·亨利克森解释说,GPT-4与其他语言和机器学习模型的不同之处在于它既具有对话的能力,又提供了更高的分析能力。他说:“基本的图像识别应用程序只告诉你面前有什么。它们不能进行讨论,以理解面条的配料是否正确或者地上的物体不仅仅是一个球,而是一个绊倒的隐患,并传达这些信息。”

现在,Be My Eyes已经有了一个案例,用户能够穿越铁路系统,并获得详细的位置和如何安全地到达目的地的指令,这对于视觉障碍者来说是一个几乎不可能的任务。

然而,理解屏幕上的内容对于视觉障碍者来说可能是两倍的努力。嵌入在大多数现代操作系统中的屏幕阅读器会按行、按段读取网页或桌面应用程序的内容,朗读每个单词。然而,网络上的图像是交流的核心,这可能更糟糕。

但是,亨利克森说,现在他们能够向GPT-4展示网页,并且经过深度学习算法的训练,GPT-4能够建立关系,理解网页上“重要”的部分,选择要读取或总结的部分。这不仅可以简化阅读新闻之类的任务,而且赋予需要视觉帮助的人们访问网络上一些最混乱的页面:购物和电子商务网站。GPT-4能够总结搜索结果,就像有视力的人自然扫描一样,而不是读取每个微小的细节,并帮助需要视力支持的人在实时中做出正确的购买决策。

“这对人类来说是一个极好的发展,”巴克利说,“但它也代表了一个巨大的商业机会。”

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/news-be-my-eyes-gpt-4.html

(0)
上一篇 2023-03-15 01:41
下一篇 2023-03-16 01:46

相关推荐

  • DeepSeek开源第四弹:梁文锋与AI训练革新

    DeepSeek发布开源第四弹,两项突破性技术亮相,梁文锋亲自参与开发。DualPipe实现前向与反向计算并行,EPLB优化专家负载分配,为大模型训练提速降耗注入新动能。

    AI快讯 2025-02-27
    00184
  • 苹果5000亿美元技术投资战略解析

    苹果宣布未来四年投入5000亿美元强化本土AI与芯片制造能力,计划新建24座先进工厂及德州AI服务器生产基地,创造2万个高技能岗位。该战略获特朗普公开致谢,标志着美国科技巨头争夺技术主权的关键转折。

    AI快讯 2025-02-25
    00112
  • 低精度计算驱动AI效率革命

    谷歌首席科学家Jeff Dean与Transformer作者Noam Shazeer深度探讨AI技术演进,揭秘低精度量化如何实现模型速度提升三倍,并预言未来AI可处理万亿级Token数据、创造“1000万倍工程师”生产力。

    AI快讯 2025-02-22
    00120
  • 医疗AI好伴AI实测报告发布

    智诊科技推出医疗AI应用好伴AI,实测解读体检报告准确率100%,复刻三甲专家诊疗逻辑。730亿参数模型WiseDiag-Z1支持多模态推理,实现症状分析、用药咨询与健康追踪,破解医疗资源分布不均难题。

    AI快讯 2025-02-22
    00154
  • ChatGPT学生:智能教育的未来

    随着人工智能技术的不断发展,ChatGPT等智能聊天机器人在学生中的应用越来越广泛。本文将探讨ChatGPT在学生中的应用,以及人工智能技术在教育中的未来,探究智能教育的发展趋势和意义。

    AI快讯 2023-02-15
    00984

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

微信