抱抱脸 Huggingface

本页面介绍如何在 LangChain 中使用抱抱脸 huggingface 生态系统（包括 抱抱脸 huggingface 中心)。
它分为两个部分：安装和设置，然后是特定的抱抱脸 huggingface 包装器的引用。

安装和设置

如果您想使用抱抱脸 huggingface 中心：

• 使用 pip install huggingface_hub 安装中心客户端库

• 创建一个抱抱脸 huggingface 账户（免费！)

• 创建一个 访问令牌 并将其设置为环境变量（HUGGINGFACEHUB_API_TOKEN)

如果您想使用 Hugging Face Python 库进行工作：

• 安装 pip install transformers 以使用模型和分词器

• 安装 pip install datasets 以使用数据集

Wrappers

LLM

存在两个 Hugging Face LLM 包装器，一个用于本地管道，另一个用于托管在 Hugging Face Hub 上的模型。 请注意，这些包装器仅适用于支持以下任务的模型：text2text-generation，text-generation

使用本地管道包装器：

from langchain.llms import HuggingFacePipeline

使用 Hugging Face Hub 上托管的模型的包装器：

from langchain.llms import HuggingFaceHub

有关 Hugging Face Hub 包装器的更详细演练，请参见 这个 notebook

嵌入

有两个 Hugging Face 嵌入包装器，一个用于本地模型，一个用于 Hugging Face Hub 上托管的模型。 请注意，这些包装器仅适用于 sentence-transformers 模型。

要使用本地管道包装器：

from langchain.embeddings import HuggingFaceEmbeddings

要使用 Hugging Face Hub 上托管的模型的包装器：

from langchain.embeddings import HuggingFaceHubEmbeddings

有关更详细的操作说明，请参见 此教程电脑

分词器

您可以通过 transformers 包中提供的几个地方使用标记器。 默认情况下，它用于计算所有 LLM 的标记数。

您还可以在拆分文档时使用它来计算标记数

from langchain.text_splitter import CharacterTextSplitter
CharacterTextSplitter.from_huggingface_tokenizer(...)

有关更详细的操作说明，请参见 此教程电脑

数据集

Hugging Face Hub 有很多非常好的 数据集，可以用来评估您的 LLM 链。

关于如何使用它们进行评估的详细步骤，请参见这个 notebook