大模型推理成本排行榜来了：贾扬清公司效率领跑

AIGC动态欢迎阅读

原标题：大模型推理成本排行榜来了：贾扬清公司效率领跑
关键字：负载,模型,基准,吞吐量,人工智能
文章来源：机器之心
内容字数：4189字

内容摘要：

机器之心报道
编辑：小舟、泽南风投烧完之后，哪些大模型创业公司会开始盈利？
「大模型的 API 是个亏本买卖吗？」随着大语言模型技术的逐渐实用化，越来越多的科技公司提出了大模型 API 供开发者们使用。但前有 OpenAI「每天烧掉 70 万美元」，我们也有理由怀疑以大模型为基础的业务到底能不能持续。
本周四，AI 创业公司 Martian 为我们仔细盘算了一下。排行榜链接：https://leaderboard.withmartian.com/
The LLM Inference Provider Leaderboard 是一个开源的大模型 API 推理产品排行榜。对于每个供应商的 Mixtral-8x7B 和 Llama-2-70B-Chat 公共端点，该榜单对成本、速率限制、吞吐量和 TTFT 的 P50 和 P90 进行了基准测试。
虽然互为竞争关系，但 Martian 发现各家公司提供的大模型服务之间存在大于 5 倍的成本差异，大于 6 倍的吞吐量，甚至还存在更大的速率限制差异。虽然在不同性能的大模型之间进行选择只是业务开展的一部分，但选择不同的 API 对于获得最佳性能显然

原文链接：大模型推理成本排行榜来了：贾扬清公司效率领跑