提示词缓存

• 

  提示词缓存怎么省 Token：把前缀喂进缓存的实践

  同样的系统提示词和长背景，每次请求都重发一遍，既费token又慢。提示词缓存把不变的前缀存起来复用，命中就只算…

  2025年3月22日

  标签：上下文缓存、提示词缓存