openAI|文本比较示例

OpenAI API 嵌入终结点可用于衡量文本片段之间的相关性或相似性,例如语义搜索、问答、建议和自定义嵌入等操作。余弦相似性分数可以用作排名搜索结果中众多特征中的一个。

文本比较示例

OpenAI API 的嵌入终结点可用于衡量文本片段之间的相关性或相似性。本文介绍了如何使用嵌入进行语义搜索、问答、建议和自定义嵌入等操作,以及如何将嵌入作为更大系统中的一个功能使用。

正文

OpenAI API 嵌入终结点可用于衡量文本片段之间的相关性或相似性。

通过利用 GPT-3 对文本的理解,这些嵌入在无监督学习和迁移学习设置中的基准测试上取得了最先进的结果

嵌入可用于语义搜索、建议、聚类分析、近似重复检测等。

有关更多信息,请阅读OpenAI的博客文章公告:

语义搜索

嵌入可以单独用于搜索,也可以作为更大系统中的一个功能使用。

使用嵌入进行搜索的最简单方法如下:

  • 搜索之前(预计算):
    • 将文本语料库拆分为小于令牌限制的块(8,191 个令牌text-embedding-ada-002)
    • 嵌入每个文本块
    • 将这些嵌入存储在您自己的数据库或矢量搜索提供程序(如PineconeWeaviate)中
  • 在搜索(实时计算)时:
    • 嵌入搜索查询
    • 查找数据库中最近的嵌入
    • 返回顶部结果

在更高级的搜索系统中,嵌入的余弦相似性可以用作排名搜索结果中众多特征中的一个。

问答

从 GPT-3 获得可靠诚实答案的最佳方法是为其提供可以找到正确答案的源文档。使用上面的语义搜索过程,您可以廉价地搜索文档语料库以获取相关信息,然后通过提示将该信息提供给 GPT-3 以回答问题。我们在 openAI|使用嵌入进行问答 中演示。

建议

建议与搜索非常相似,不同之处在于输入不是自由格式的文本查询,而是集合中的项。

openAI|使用嵌入的建议 中显示了如何使用嵌入进行推荐的示例。

与搜索类似,这些余弦相似性分数既可以单独用于对项目进行排名,也可以作为较大排名算法中的特征使用。

自定义嵌入

尽管 OpenAI 的嵌入模型权重无法微调,但您仍然可以使用训练数据为您的应用程序自定义嵌入。

我们提供了一种使用训练数据自定义嵌入的示例方法。该方法的想法是训练一个自定义矩阵以将嵌入向量乘以以获得新的自定义嵌入。借助良好的训练数据,此自定义矩阵将有助于强调与训练标签相关的功能。您可以等效地将矩阵乘法视为 (a) 嵌入的修改或 (b) 用于测量嵌入之间距离的距离函数的修改。

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/text_comparison_examples.html

(0)
上一篇 2023-02-20 12:17
下一篇 2023-02-20 12:20

相关推荐

  • GPT-3|微调分类

    本篇文章讲述了使用GPT-3对文本进行分类的实践,并分享微调GPT-3进行文本分类的方法。文章包括数据探索和数据准备等环节,并介绍了如何使用Sklearn和Pandas等工具对数据集进行操作。

    2023-02-20
    002.5K
  • 如何使用 Azure OpenAI

    本文介绍如何使用OpenAI的Azure API来部署模型、创建补全和等待部署状态等操作,让你可以快速了解简单的操作,快速上手使用Azure API。

    ChatGPT 2023-02-20
    001.7K
  • ChatGPT账号注册教程

    本文为初次使用ChatGPT的用户提供了详细的注册教程,包括如何在国外注册手机号、接收验证码、OpenAI注册等。通过本教程,用户可以轻松注册ChatGPT账号,使用ChatGPT提供的人工智能服务。

    2023-02-17
    024.4K
  • GPT-3|文本说明示例

    本文介绍了基于大型语言模型的ChatGPT Prompt工具及其在信息提取方面的应用。首先讲解了基本原理和技术特点,然后分别介绍了其在回答问题、总结文本、文本分类、实体提取等方面的具体应用案例。

    ChatGPT 2023-02-20
    00885
  • CPT-3|微调GPT-3以对文本进行分类的最佳做法

    本文介绍了如何使用GPT-3对文本进行分类,包括微调GPT-3模型、训练数据的规模、质量、代表性和指定充分,以及如何设置训练数据的格式和使用分隔符序列,微调模型可以超过文本分类基准上的最新记录。

    2023-02-20
    022.8K

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

微信