成本降低90%!Claude上新Gemini同款提示词缓存,一次性记住整个代码库

AIGC动态1个月前发布 量子位
4 0 0

成本降低90%!Claude上新Gemini同款提示词缓存,一次性记住整个代码库

AIGC动态欢迎阅读

原标题:成本降低90%!Claude上新Gemini同款提示缓存,一次性记住整个代码库
关键字:缓存,成本,提示,模型,美元
文章来源:量子位
内容字数:0字

内容摘要:


克雷西 发自 凹非寺量子位 | 公众号 QbitAIClaude深夜上新重磅功能——API长文本缓存。
新版API可以“记住”一整本书或整个代码库,不需要再重复输入了。
这样一来,不仅处理长文本的延时更低,更是能节省最高90%的成本。
来看看这降本的效果~
△假定重复部分为1万Token,模型为3.5 Sonnet,只计算输入今年5月,谷歌在Gemini更新中提出了这项功能,然后是国内的Kimi和DeepSeek团队,总之现在又轮到了Claude。
值得一提的是,厂商Anthropic的推文当中提到,提示词缓存功能可以让用户用更长、更有指导性的提示词对模型进行“微调”。
有网友看了之后感慨,人们本来就很难分清提示工程(prompting)和微调(fine-tune),这下更不好区分了。
当然在这种场合下,也难免会有人点名或不点名地cue起隔壁的OpenAI
成本节约高至90%提示词缓存的作用,就是一次给模型发送大量prompt,然后让它记住这些内容,并在后续请求中直接复用,避免反复输入。
对此,博主Dan Shipper做了这样的一个比喻:
假设你在一家咖啡馆,第一次点单的时候需要告


原文链接:成本降低90%!Claude上新Gemini同款提示词缓存,一次性记住整个代码库

联系作者

文章来源:量子位
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...