openAI|获取数据集

本文将演示如何使用OpenAI API来进行情感分析,通过一个美食评论数据集的案例,让大家了解如何将评论汇总为一个嵌入向量。

获取数据集

本文将介绍如何使用OpenAI API来进行情感分析,以预测文本的情感属性,本教程将使用Amazon的美食评论数据集,并演示如何将评论汇总为一个单独的嵌入向量。

1.加载数据集

本例中使用的数据集是来自亚马逊的美食评论。 该数据集包含截至 2012 年 10 月亚马逊用户留下的总共 568,454 条食品评论。我们将使用该数据集的一个子集,其中包含 1,000 条最新评论以用于说明目的。 评论是英文的,往往是正面的或负面的。 每条评论都有一个 ProductId、UserId、Score、评论标题(摘要)和评论正文(文本)。

我们会将评论摘要和评论文本合并为一个组合文本。 该模型将对该组合文本进行编码,并输出单个向量嵌入。

要运行此笔记本,您需要安装:pandas、openai、transformers、plotly、matplotlib、scikit-learn、torch(transformer dep)、torchvision 和 scipy。

# imports
import pandas as pd
import tiktoken

from openai.embeddings_utils import get_embedding
# embedding model parameters
embedding_model = "text-embedding-ada-002"
embedding_encoding = "cl100k_base"  # this the encoding for text-embedding-ada-002
max_tokens = 8000  # the maximum for text-embedding-ada-002 is 8191
# load & inspect dataset
input_datapath = "data/fine_food_reviews_1k.csv"  # to save space, we provide a pre-filtered dataset
df = pd.read_csv(input_datapath, index_col=0)
df = df[["Time", "ProductId", "UserId", "Score", "Summary", "Text"]]
df = df.dropna()
df["combined"] = (
    "Title: " + df.Summary.str.strip() + "; Content: " + df.Text.str.strip()
)
df.head(2)
时间产品编号用户身份分数概括文本合并
01351123200B003XPF9BOA3R7JR3FMEBXQB5一个人从哪里开始…和停止…用一个…想存一些给我芝加哥的家人……标题:从哪里开始……到哪里结束……机智……
11351123200B003JK537SA3JBPC3WFUT5ZP1Arrived in pieces一点都不高兴。 当我打开盒子时,莫…标题:分片抵达; 内容:不高兴…
# subsample to 1k most recent reviews and remove samples that are too long
top_n = 1000
df = df.sort_values("Time").tail(top_n * 2)  # first cut to first 2k entries, assuming less than half will be filtered out
df.drop("Time", axis=1, inplace=True)

encoding = tiktoken.get_encoding(embedding_encoding)

# omit reviews that are too long to embed
df["n_tokens"] = df.combined.apply(lambda x: len(encoding.encode(x)))
df = df[df.n_tokens <= max_tokens].tail(top_n)
len(df)
1000

2.获取嵌入并保存以备将来重用

# 确保根据自述文件在您的环境中设置了 API 密钥:https://github.com/openai/openai-python#usage

# 这可能需要几分钟的时间
df["embedding"] = df.combined.apply(lambda x: get_embedding(x, engine=embedding_model))
df.to_csv("data/fine_food_reviews_with_embeddings_1k.csv")

此文章由OpenAI开源维基百科原创发布,如若转载请注明出处:https://openai.wiki/obtain_dataset.html

(0)
上一篇 2023-02-20 13:57
下一篇 2023-02-20 14:19

相关推荐

  • openAI|使用嵌入的语义文本搜索

    本文介绍如何使用OpenAI的文本嵌入来进行语义文本搜索。通过查询嵌入与文档嵌入进行比较,可以高效的在数据集中搜索相关文本。如何使用余弦相似度计算来搜索文本,并展示了搜索结果。提高搜索效率并降低成本。

    ChatGPT 2023-02-20
    011.5K
  • 如何使用 Azure OpenAI 微调 GPT-3

    本文【Azure 微调示例】介绍了使用 Azure 端点完成微调操作的流程。文章包括设置 API、文件操作、微调操作、以及如何使用微调模型创建一个部署。

    ChatGPT 2023-02-20
    012.3K
  • api_request_parallel_processor.py

    API 请求并行处理器使用OpenAI API快速处理大量文本需要小心。如果您逐一提交百万个API请求,它们将需要数天时间才能完成。如果您并行涌入一百万个API请求,它们将超出速率限制并因错误而失败。

    ChatGPT 2023-02-18
    002.9K
  • openAI|文本比较示例

    OpenAI API 嵌入终结点可用于衡量文本片段之间的相关性或相似性,例如语义搜索、问答、建议和自定义嵌入等操作。余弦相似性分数可以用作排名搜索结果中众多特征中的一个。

    ChatGPT 2023-02-20
    001.2K
  • Prompt|基本使用

    本指南提供了使用提示来执行自然语言处理任务的示例,并介绍了对更高级指南很重要的关键概念。涵盖任务包括文本摘要、信息提取、问答和文本分类。我们展示了如何通过更具体的提示信息让模型输出更精确和具体的结果。

    ChatGPT 2023-02-18
    002.2K

发表回复

登录后才能评论
微信