成本直降90%、延迟缩短80%！Anthropic将API玩出了新花样，网友：应该成为行业标配

AIGC动态欢迎阅读

原标题：成本直降90%、延迟缩短80%！Anthropic将API玩出了新花样，网友：应该成为行业标配
关键字：缓存,小米,提示,华为,字节跳动
文章来源：AI前线
内容字数：0字

内容摘要：

编译 | 核子可乐、Tina
Anthropic 在其 API 上引入了新的提示词缓存机制，可将长提示的成本降低多达 90%，并将延迟降低 80%。
提示词缓存功能能够记住 API 调用之间的上下文，并帮助开发人员避免输入重复提示内容。目前该功能已经在 Claude 3.5 Sonnet 以及 Claude 3 Haiku 当中以 beta 测试版的形式开放，但对 Claude 旗下最大模型 Opus 的支持仍未交付。
提示词缓存的概念源自 2023 年的研究论文，其允许用户在会话中保留常用的上下文。由于模型能够记住这些提示词，因此用户可以添加额外的背景信息而不必重复承担成本。这一点对于需要在提示词中发送大量上下文，并在与模型的不同对话中多次引用的使用场景非常重要。它还允许开发人员及其他用户更好地对模型响应作出微调。
Anthropic 表示，早期用户“已经在多种用例中观察到，使用提示词缓存后速度及成本都出现了显著改善——测试范围从完整知识库到 100 个样本示例，再到在提示词中包含对话的每个轮次。”
该公司表示，提示词缓存的潜在效果包括降低对话智能体在处理长指令及上传文档时的成本和

原文链接：成本直降90%、延迟缩短80%！Anthropic将API玩出了新花样，网友：应该成为行业标配