Skip to main content

Llama.cpp

本页介绍如何在 LangChain 中使用 llama.cpp。 分为两个部分：安装和设置，以及对特定的 Llama-cpp 包装器的引用。

安装和设置​

  • 使用 pip install llama-cpp-python 安装 Python 包
  • 下载 支持的模型，并按照 说明 将其转换为 llama.cpp 格式

包装器​

LLM​

存在一个 LlamaCpp LLM 包装器，可以通过以下方式访问

from langchain.llms import LlamaCpp

有关更详细的步骤，请参阅 此笔记本

嵌入​

存在一个 LlamaCpp 嵌入包装器，可以通过以下方式访问

from langchain.embeddings import LlamaCppEmbeddings

有关更详细的步骤，请参阅 此笔记本