通过提示缓存(Prompt Caching)技术,可以大幅降低官方渠道模型调用成本,极客智坊已支持 OpenAI/Claude/DeepSeek 等主流 AI 模型的提示缓存,你可以在模型广场通过提示缓存筛选查看所有支持提示缓存的模型:

大多数模型供应商会自动启用提示缓存,如 OpenAI/DeepSeek/Kimi 都是这样,而 Claude 需要通过在请求体中指定 cache_control 参数来启用提示缓存。

OpenAI

缓存价格:

  • 缓存写入免费;
  • 缓存读取价格是正常输入价格的 0.5 倍。

OpenAI 的提示缓存是自动生效的,不需要任何额外的配置,不过有长度要求,最小提示长度为 1024 个 token 提示缓存才会生效。更多关于 OpenAI 的提示缓存使用及限制,请参考官方文档

Claude

缓存价格:

  • 缓存写入价格是正常输入价格的 1.25 倍;
  • 缓存读取价格是正常输入价格的 0.1 倍。

Claude 的提示缓存要在需要缓存的消息内容对象中添加 cache_control 参数来启用,系统消息和用户消息都可以启用提示缓存,系统消息提示缓存示例如下:

{
  "messages": [
    {
      "role": "system",
      "content": [
        {
          "type": "text",
          "text": "你是一个专业的金融分析师,擅长分析和预测市场趋势。"
        },
        {
          "type": "text",
          "text": "HUGE TEXT BODY",
          "cache_control": {
            "type": "ephemeral"
          }
        }
      ]
    },
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "请分析一下当前的市场趋势。"
        }
      ]
    }
  ]
}

用户消息提示缓存示例如下:

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "给定以下书的内容:"
        },
        {
          "type": "text",
          "text": "HUGE TEXT BODY",
          "cache_control": {
            "type": "ephemeral"
          }
        },
        {
          "type": "text",
          "text": "列出上面书中所有的角色名称"
        }
      ]
    }
  ]
}

和 OpenAI 一样, Claude 提示缓存生效也有长度要求的:

  • Claude 3.7 Sonnet、Claude 3.5 Sonnet 以及 Claude 3 Opus 需要 1024 个 token
  • Claude 3.5 Haiku 和 Claude 3 Haiku 需要 2048 个 token

更多关于 Claude 的提示缓存使用及限制,请参考官方文档

DeepSeek

缓存价格:

  • 缓存写入免费;
  • 缓存读取价格是正常输入价格的 0.1 倍。

DeepSeek 的提示缓存和 OpenAI 一样也是自动的,不需要任何额外的配置。DeepSeek 的提示缓存生效最小只需要 64 tokens 即可生效。更多 DeepSeek 提示缓存细节请参考官方文档

查看缓存使用情况

你可以在极客智坊个人中心账单记录页面查看缓存命中及价格信息。