Llama.cpp

本页介绍如何在 LangChain 中使用 llama.cpp，分为两部分：安装和设置，以及特定 Llama-cpp 包装器的参考资料。

安装和设置

• 使用 pip install llama-cpp-python 安装 Python 包。

• 下载 支持的模型 并按照 说明 将其转换为 llama.cpp 格式。

包装器

LLM

存在一个 LlamaCpp LLM 包装器，您可以使用以下方式访问

from langchain.llms import LlamaCpp

有关更详细的步骤，请参见 此教程

嵌入

存在一个 LlamaCpp 嵌入包装器，您可以使用以下方式访问

from langchain.embeddings import LlamaCppEmbeddings

有关更详细的步骤，请参见 此教程