我处理了 5 亿 GPT tokens 后：langchain、RAG 等都没什么用

AIGC动态欢迎阅读

原标题：我处理了 5 亿 GPT tokens 后：langchain、RAG 等都没什么用
关键字：元宇宙,报告,模型,提示,上下文
文章来源：AI前线
内容字数：10763字

内容摘要：

作者 | KEN KANTZER
译者 | 平川
策划 | 褚杏娟
本文最初发布于 KEN KANTZER 的个人博客。
在过去的六个月里，我的创业公司 Truss（gettruss.io）发布了多项倚重 LLM 的功能，而我在 Hacker News 上读到的关于 LLM 的故事现在已经和我的实际情况脱节了，所以我想在处理过 5 亿多（我估计）tokens 之后，分享一些更“令人惊讶”的经验教训。
本文要点：
我们正在使用 OpenAI 模型，如果你想知道我对其他模型的看法，请阅读底部的问答部分。
在我们的用例中，GPT-4 占 85%，GPT-3.5 占 15%。
我们专门处理文本，因此不涉及 GPT-4-vision、Sora、whisper 等。
我们有一个 B2B 用例——重点是汇总 / 分析 – 提取，你的情况可能有所不同。
5 亿 tokens 其实并不像想象的那多，也就大概 75 万页文本，要正确看待。对于提示，少即是多我们发现，不要在提示中给出确切的列表或指令——如果这些东西已经是常识的话，这样可以获得更好的结果。GPT 并不愚蠢，你提供的细节过多，反而会让它混乱。

原文链接：我处理了 5 亿 GPT tokens 后：langchain、RAG 等都没什么用