Skip to main content

GPT4All（ GPT4All ）

这个页面介绍了如何在 LangChain 中使用 GPT4All 包装器。本教程分为两个部分：安装和设置，然后是示例的使用。

安装和设置​

  • 使用 pip install pyllamacpp 安装 Python 包
  • 在所需的目录中下载 GPT4All 模型 并放置

使用​

GPT4All（ GPT4All ）​

要使用 GPT4All 包装器，您需要提供预训练模型文件的路径和模型的配置。

from langchain.llms import GPT4All

# 实例化模型。回调支持逐令牌流式传输
model = GPT4All(model="./models/gpt4all-model.bin", n_ctx=512, n_threads=8)

# 生成文本
response = model("从前，")

您还可以自定义生成参数，例如 n_predict，temp，top_p，top_k 等。

要流式传输模型的预测结果，请添加 CallbackManager。

from langchain.llms import GPT4All
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

# 有许多支持的 CallbackHandlers，例如
# from langchain.callbacks.streamlit import StreamlitCallbackHandler

callbacks = [StreamingStdOutCallbackHandler()]
model = GPT4All(model="./models/gpt4all-model.bin", n_ctx=512, n_threads=8)

# 生成文本。令牌通过回调管理器进行流式传输。
model("从前，", callbacks=callbacks)

模型文件​

您可以在 pyllamacpp 代码仓库中找到模型文件下载链接。

欲了解更详细的操作步骤，请参阅 此笔记本