Skip to main content

rag-ollama-multi-query

这个模板使用Ollama和OpenAI进行RAG，使用了多查询检索器。

多查询检索器是查询转换的一个示例，根据用户的输入查询从不同的角度生成多个查询。

对于每个查询，它检索一组相关文档，并对所有查询进行唯一的合并以进行答案综合。

我们使用一个私有的、本地的LLM来完成查询生成的狭窄任务，以避免对更大的LLM API进行过多的调用。

在这里可以查看Ollama LLM执行查询扩展的示例跟踪链接。

但是我们使用OpenAI来完成更具挑战性的答案综合任务（完整的跟踪示例链接）。

环境设置​

要设置环境，您需要下载Ollama。

按照这里的说明进行操作。

您可以选择使用Ollama的所需LLM。

此模板使用zephyr，可以使用ollama pull zephyr进行访问。

还有其他许多选项链接。

设置OPENAI_API_KEY环境变量以访问OpenAI模型。

使用方法​

要使用此包，您首先需要安装LangChain CLI：

pip install -U langchain-cli

要创建一个新的LangChain项目并安装此包，请执行以下操作：

langchain app new my-app --package rag-ollama-multi-query

要将此包添加到现有项目中，请运行：

langchain app add rag-ollama-multi-query

并将以下代码添加到您的server.py文件中：

from rag_ollama_multi_query import chain as rag_ollama_multi_query_chain

add_routes(app, rag_ollama_multi_query_chain, path="/rag-ollama-multi-query")

（可选）现在，让我们配置LangSmith。LangSmith将帮助我们跟踪、监视和调试LangChain应用程序。LangSmith目前处于私有测试版，您可以在这里注册。如果您没有访问权限，可以跳过此部分。

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 如果未指定，默认为"default"

如果您在此目录中，则可以直接启动LangServe实例：

langchain serve

这将在本地启动一个运行在http://localhost:8000的FastAPI应用程序的服务器。

您可以在http://127.0.0.1:8000/docs上查看所有模板。

您可以在http://127.0.0.1:8000/rag-ollama-multi-query/playground上访问playground。

要从代码中访问模板，请使用：

from langserve.client import RemoteRunnable

runnable = RemoteRunnable("http://localhost:8000/rag-ollama-multi-query")