Skip to main content

Momento（瞬间）

Momento Cache（瞬间缓存） 是世界上第一个真正无服务器缓存服务。它具备即时的弹性、可缩放到零的能力和极快的性能。 使用 Momento Cache，您只需获取 SDK，获得一个端点，将几行代码输入到您的代码中，就可以立即使用。 这个页面介绍了如何在 LangChain 中使用 Momento（瞬间） 生态系统。

This page covers how to use the Momento（瞬间） ecosystem within LangChain.

Installation and Setup（安装和设置）​

  • 在 此处 注册一个免费账户并获取授权令牌
  • 使用 pip install momento 安装 Momento Python SDK

Cache（缓存）​

缓存包装器允许将 Momento（瞬间） 用作无服务器、分布式、低延迟的缓存，用于 LLM 的提示和响应。

标准缓存是 Momento（瞬间） 用户在任何环境中使用的首选用例。

按如下方式导入缓存：

from langchain.cache import MomentoCache

并进行如下设置：

from datetime import timedelta
from momento import CacheClient, Configurations, CredentialProvider
import langchain

# Instantiate the Momento client
cache_client = CacheClient(
    Configurations.Laptop.v1(),
    CredentialProvider.from_environment_variable("MOMENTO_AUTH_TOKEN"),
    default_ttl=timedelta(days=1))

# Choose a Momento cache name of your choice
cache_name = "langchain"

# Instantiate the LLM cache
langchain.llm_cache = MomentoCache(cache_client, cache_name)

Memory（内存）​

Momento（瞬间）可用作 LLM 的分布式内存存储。

Chat Message History Memory（聊天消息历史内存）​

请参阅 此笔记本，了解如何将 Momento 用作聊天消息历史的内存存储。