Skip to main content

Airbyte

Airbyte 是一个用于从 API、数据库和文件到仓库和数据湖的 ELT 流水线的数据集成平台。 它拥有最大的 ELT 连接器目录，可连接到数据仓库和数据库。

安装和设置​

此说明展示了如何将 Airbyte 中的任何数据源加载到本地的 JSON 文件中，以便作为文档读取。

先决条件： 已安装 docker desktop。

步骤：

  1. 从 GitHub 克隆 Airbyte - git clone https://github.com/airbytehq/airbyte.git。
  2. 切换到 Airbyte 目录 - cd airbyte。
  3. 启动 Airbyte - docker compose up。
  4. 在浏览器中，访问 http://localhost: 8000。您将被要求输入用户名和密码。默认情况下，用户名为 airbyte，密码为 password。
  5. 设置您希望的任何数据源。
  6. 将目的地设置为本地 JSON，并指定目标路径，比如 /json_data。设置手动同步。
  7. 运行连接。
  8. 要查看创建了哪些文件，请导航至：file:///tmp/airbyte_local/。

文档加载器​

查看 使用示例。

from langchain.document_loaders import AirbyteJSONLoader