大模型降价又来新玩家——Claude,长文本缓存功能,最高节省 90% 成本

大模型降价又来新玩家——Claude,长文本缓存功能,最高节省 90% 成本

AIGC动态欢迎阅读

原标题:大模型降价又来新玩家——Claude,长文本缓存功能,最高节省 90% 成本
关键字:缓存,成本,提示,模型,美元
文章来源:Founder Park
内容字数:0字

内容摘要:


Claude 深夜上新重磅功能——API 长文本缓存。
新版 API 可以「记住」一整本书或整个代码库,不需要再重复输入了。
这样一来,不仅处理长文本的延时更低,更是能节省最高 90% 的成本。
来看看这降本的效果:
假定重复部分为 1 万 Token,模型为 3.5 Sonnet,只计算输入今年 5 月,谷歌在 Gemini 更新中提出了这项功能,然后是国内的 Kimi 和 DeepSeek 团队,总之现在又轮到了 Claude。
值得一提的是,厂商 Anthropic 的推文当中提到,提示词缓存功能可以让用户用更长、更有指导性的提示词对模型进行「微调」。
有网友看了之后感慨,人们本来就很难分清提示工程(prompting)和微调(fine-tune),这下更不好区分了。
当然在这种场合下,也难免会有人点名或不点名地 cue 起隔壁的 OpenAI
以下文章转载自「量子位」。01成本节约高至 90%提示词缓存的作用,就是一次给模型发送大量 prompt,然后让它记住这些内容,并在后续请求中直接复用,避免反复输入。
对此,博主 Dan Shipper 做了这样的一个比喻:
假设你在一


原文链接:大模型降价又来新玩家——Claude,长文本缓存功能,最高节省 90% 成本

联系作者

文章来源:Founder Park
作者微信:
作者简介:

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...