Skip to main content

Baseten（ Baseten ）

学习如何在 Baseten 上使用 LangChain 与部署的模型

安装和设置​

  • 创建一个 Baseten 账户和 API key.
  • 使用 pip install baseten 安装 Baseten Python 客户端
  • 使用 API key 进行身份验证 baseten login

调用模型​

Baseten 通过 LLM 模块与 LangChain 集成，为部署在 Baseten 工作区上的模型提供了标准化和互操作的接口。

您可以从 Baseten 模型库 随时一键部署基础模型，如 WizardLM 和 Alpaca，或者如果您有自己的模型，可以按照 此教程 部署它。

在这个示例中，我们将使用 WizardLM。在这里部署 WizardLM，并按照部署的 模型版本 ID 进行操作。

from langchain.llms import Baseten

wizardlm = Baseten(model="MODEL_VERSION_ID", verbose=True)

wizardlm("What is the difference between a Wizard and a Sorcerer?")