rag-chroma-private

这个模板执行RAG，不依赖外部API。

它使用Ollama the LLM、GPT4All进行嵌入，并使用Chroma进行向量存储。

向量存储在chain.py中创建，默认索引了关于Agents的热门博客文章，用于问答。

环境设置

要设置环境，您需要下载Ollama。

按照这里的说明操作。

您可以选择使用Ollama的所需LLM。

此模板使用llama2:7b-chat，可以使用ollama pull llama2:7b-chat访问。

还有其他许多选项在这里。

此软件包还使用GPT4All嵌入。

用法

要使用此软件包，您首先需要安装LangChain CLI：

pip install -U langchain-cli

要创建一个新的LangChain项目并将其安装为唯一的软件包，可以执行以下操作：

langchain app new my-app --package rag-chroma-private

如果要将其添加到现有项目中，只需运行：

langchain app add rag-chroma-private

并将以下代码添加到您的server.py文件中：

from rag_chroma_private import chain as rag_chroma_private_chain

add_routes(app, rag_chroma_private_chain, path="/rag-chroma-private")

（可选）现在让我们配置LangSmith。LangSmith将帮助我们跟踪、监视和调试LangChain应用程序。LangSmith目前处于私有测试版，您可以在这里注册。如果您没有访问权限，可以跳过此部分

export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY=<your-api-key>
export LANGCHAIN_PROJECT=<your-project>  # 如果未指定，默认为"default"

如果您在此目录中，则可以直接启动LangServe实例：

langchain serve

这将在本地启动FastAPI应用程序，服务器正在运行在 http://localhost:8000

我们可以在http://127.0.0.1:8000/docs上查看所有模板 我们可以在http://127.0.0.1:8000/rag-chroma-private/playground上访问playground

我们可以通过以下方式从代码中访问模板：

from langserve.client import RemoteRunnable

runnable = RemoteRunnable("http://localhost:8000/rag-chroma-private")

该软件包将在chain.py中创建并添加文档到向量数据库。默认情况下，它将加载一篇关于agents的热门博客文章。但是，您可以从这里选择大量的文档加载器。