Be My Eyes利用GPT-4改变了视觉无障碍

自2012年以来，Be My Eyes一直致力于为超过2.5亿盲人和视力低下人士创造技术。这家丹麦初创企业通过将视力低下的人与志愿者联系起来，帮助他们完成数百个日常生活任务，例如识别产品或在机场导航。

凭借GPT-4的新视觉输入功能，Be My Eyes开始在其应用程序中开发GPT-4动力虚拟志愿者，它可以产生与人类志愿者相同的上下文和理解水平。

“在我们拥有这项技术的短时间内，我们已经看到了无与伦比的表现，超越了所有现有的图像转文本物体识别工具，”Be My Eyes的CEO迈克尔·巴克利说。“这对全球无障碍性的影响是深远的。在不久的将来，盲人和视力低下的人群将利用这些工具不仅满足其各种视觉解释需求，而且在生活中获得更大的独立性。”

现在，GPT-4技术不仅可以识别和命名冰箱中的物品，还可以推断和分析这些配料能做哪些菜，并提供一个好的食谱。使用情况几乎没有限制。

行业洗牌

“这是一场改变游戏规则的变革，”巴克利说。“最终，无论用户想要什么或需要什么，他们都可以重新提示工具以获得更多可用、有益和有帮助的信息。”

Be My Eyes的CTO杰斯珀·赫维林·亨利克森解释说，GPT-4与其他语言和机器学习模型的不同之处在于它既具有对话的能力，又提供了更高的分析能力。他说：“基本的图像识别应用程序只告诉你面前有什么。它们不能进行讨论，以理解面条的配料是否正确或者地上的物体不仅仅是一个球，而是一个绊倒的隐患，并传达这些信息。”

现在，Be My Eyes已经有了一个案例，用户能够穿越铁路系统，并获得详细的位置和如何安全地到达目的地的指令，这对于视觉障碍者来说是一个几乎不可能的任务。

然而，理解屏幕上的内容对于视觉障碍者来说可能是两倍的努力。嵌入在大多数现代操作系统中的屏幕阅读器会按行、按段读取网页或桌面应用程序的内容，朗读每个单词。然而，网络上的图像是交流的核心，这可能更糟糕。

但是，亨利克森说，现在他们能够向GPT-4展示网页，并且经过深度学习算法的训练，GPT-4能够建立关系，理解网页上“重要”的部分，选择要读取或总结的部分。这不仅可以简化阅读新闻之类的任务，而且赋予需要视觉帮助的人们访问网络上一些最混乱的页面：购物和电子商务网站。GPT-4能够总结搜索结果，就像有视力的人自然扫描一样，而不是读取每个微小的细节，并帮助需要视力支持的人在实时中做出正确的购买决策。

“这对人类来说是一个极好的发展，”巴克利说，“但它也代表了一个巨大的商业机会。”