GPT4All

本页面介绍如何在 LangChain 中使用 GPT4All 包装器。教程分为两部分：安装和设置，以及示例中的使用方法。

安装和设置

使用 pip install pyllamacpp 命令安装 Python 包。
下载一个 GPT4All 模型，并将其放置在所需的目录中。

用法

GPT4All

使用 GPT4All 包装器，您需要提供预训练模型文件的路径以及模型的配置。

from langchain.llms import GPT4All

# Instantiate the model. Callbacks support token-wise streaming
model = GPT4All(model="./models/gpt4all-model.bin", n_ctx=512, n_threads=8)

# Generate text
response = model("Once upon a time, ")

您还可以自定义生成参数，例如 n_predict、temp、top_p、top_k 等。

要流式传输模型的预测结果，请添加 CallbackManager。

from langchain.llms import GPT4All
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

# There are many CallbackHandlers supported, such as
# from langchain.callbacks.streamlit import StreamlitCallbackHandler

callbacks = [StreamingStdOutCallbackHandler()]
model = GPT4All(model="./models/gpt4all-model.bin", n_ctx=512, n_threads=8)

# Generate text. Tokens are streamed through the callback manager.
model("Once upon a time, ", callbacks=callbacks)

模型文件

您可以在 pyllamacpp 存储库中找到模型文件下载链接。

有关更详细的演示，请参见此教程

GooseAI Graphsignal