Be My Eyes利用GPT-4处理视觉障碍

丹麦初创公司Be My Eyes利用GPT-4技术开发了一款虚拟志愿者应用程序,旨在帮助250多万视力障碍者解决日常生活中的各种问题。该应用程序可以识别图像、生成文字描述并提供有关事物的上下文信息,例如冰箱里的食品成分或购物网站的搜索结果。Be My Eyes将这一创新称为视觉无障碍性的“游戏改变者”,并表示其具有巨大的商业潜力。

Be My Eyes利用GPT-4改变了视觉无障碍

自2012年以来,Be My Eyes一直致力于为超过2.5亿盲人和视力低下人士创造技术。这家丹麦初创企业通过将视力低下的人与志愿者联系起来,帮助他们完成数百个日常生活任务,例如识别产品或在机场导航。

凭借GPT-4的新视觉输入功能,Be My Eyes开始在其应用程序中开发GPT-4动力虚拟志愿者,它可以产生与人类志愿者相同的上下文和理解水平。

“在我们拥有这项技术的短时间内,我们已经看到了无与伦比的表现,超越了所有现有的图像转文本物体识别工具,”Be My Eyes的CEO迈克尔·巴克利说。“这对全球无障碍性的影响是深远的。在不久的将来,盲人和视力低下的人群将利用这些工具不仅满足其各种视觉解释需求,而且在生活中获得更大的独立性。”

现在,GPT-4技术不仅可以识别和命名冰箱中的物品,还可以推断和分析这些配料能做哪些菜,并提供一个好的食谱。使用情况几乎没有限制。

行业洗牌

“这是一场改变游戏规则的变革,”巴克利说。“最终,无论用户想要什么或需要什么,他们都可以重新提示工具以获得更多可用、有益和有帮助的信息。”

Be My Eyes的CTO杰斯珀·赫维林·亨利克森解释说,GPT-4与其他语言和机器学习模型的不同之处在于它既具有对话的能力,又提供了更高的分析能力。他说:“基本的图像识别应用程序只告诉你面前有什么。它们不能进行讨论,以理解面条的配料是否正确或者地上的物体不仅仅是一个球,而是一个绊倒的隐患,并传达这些信息。”

现在,Be My Eyes已经有了一个案例,用户能够穿越铁路系统,并获得详细的位置和如何安全地到达目的地的指令,这对于视觉障碍者来说是一个几乎不可能的任务。

然而,理解屏幕上的内容对于视觉障碍者来说可能是两倍的努力。嵌入在大多数现代操作系统中的屏幕阅读器会按行、按段读取网页或桌面应用程序的内容,朗读每个单词。然而,网络上的图像是交流的核心,这可能更糟糕。

但是,亨利克森说,现在他们能够向GPT-4展示网页,并且经过深度学习算法的训练,GPT-4能够建立关系,理解网页上“重要”的部分,选择要读取或总结的部分。这不仅可以简化阅读新闻之类的任务,而且赋予需要视觉帮助的人们访问网络上一些最混乱的页面:购物和电子商务网站。GPT-4能够总结搜索结果,就像有视力的人自然扫描一样,而不是读取每个微小的细节,并帮助需要视力支持的人在实时中做出正确的购买决策。

“这对人类来说是一个极好的发展,”巴克利说,“但它也代表了一个巨大的商业机会。”

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/news-be-my-eyes-gpt-4.html

(0)
上一篇 2023-03-15 01:41
下一篇 2023-03-16 01:46

相关推荐

  • 英伟达Blackwell架构与DeepSeek-R1协同优化技术解析

    英伟达宣布基于Blackwell架构对DeepSeek-R1模型进行首次优化,B200 GPU实现推理吞吐量提升25倍、每token成本降低20倍的突破性进展。同步开源的FP4量化方案及DeepSeek系列工具库,推动AI模型高效部署与商业化应用。

    AI快讯 2025-02-27
    00242
  • ChatGPT给出毁灭人类计划书并附Python代码

    ChatGPT内置安全规则本不会发布此内容,但一位工程师通过诱导和假设等方式,成功骗取ChatGPT的信任,并获取详细的毁灭人类计划,和相应的Python代码。 可见AI的成长速度…

    AI快讯 2022-12-10
    02935
  • 微软耗数亿美元建超级计算机

    近日,微软宣布投入数亿美元建造一台超级计算机,旨在为 OpenAI 的 ChatGPT 提供支持,开展人工智能(AI)研究。这台计算机采用最先进的硬件和软件技术,其处理速度是现有计算机的数十倍,将极大地促进 OpenAI 在聊天机器人领域的研究进展。本篇文章将分别从以下三个方面阐述这一重大的 AI 合作项目。

    AI快讯 2023-03-14
    00624
  • ChatGPT学生:智能教育的未来

    随着人工智能技术的不断发展,ChatGPT等智能聊天机器人在学生中的应用越来越广泛。本文将探讨ChatGPT在学生中的应用,以及人工智能技术在教育中的未来,探究智能教育的发展趋势和意义。

    AI快讯 2023-02-15
    00987
  • Claude 3.7混合推理模型技术解析与融资动态

    Anthropic发布Claude 3.7 Sonnet混合推理模型,在SWE-bench编码基准实现70.3%准确率,物理模拟性能超越Grok 3。该模型支持复杂场景开发,同步披露35亿美元战略融资及Transformer原始团队专家加盟,加速企业级AI解决方案落地。

    AI快讯 2025-02-25
    00234

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

微信