70B模型秒出1000token，代码重写超越GPT-4o，来自OpenAI投资的代码神器Cursor团队

AIGC动态欢迎阅读

原标题：70B模型秒出1000token，代码重写超越GPT-4o，来自OpenAI投资的代码神器Cursor团队
关键字：模型,算法,任务,代码,作者
文章来源：量子位
内容字数：4610字

内容摘要：

克雷西发自凹非寺量子位 | 公众号 QbitAI70B模型，秒出1000token，换算成字符接近4000！
研究人员将Llama3进行了微调并引入加速算法，和原生版本相比，速度足足快出了快了13倍！
不仅是快，在代码重写任务上的表现甚至超越了GPT-4o。
这项成果，来火的AI编程神器Cursor背后团队anysphere，OpenAI也参与过投资。
要知道在以快著称的推理加速框架Groq上，70B Llama3的推理速度也不过每秒300多token。
Cursor这样的速度，可以说是实现了近乎即时的完整代码文件编辑。
有人直呼好家伙，如果把Cursor魔改后的Llama3放到Groq上，是不是每秒能跑出上万token了。
更是有人激动地说，在大模型领域，我们正在消除“延时”这一概念。
引入全新推理加速算法作者此次设计的加速方法，主要是用来解决一种名为“Fast Apply”的任务，即对代码内容进行快速修改并应用。
首先需要说明的是，虽然说任务最终实现的效果是代码的局部修改，但是实际操作过程中，输出并非是只有变化的内容，而是直接全局重写。
这样做的原因，是团队在预先测试后做出

原文链接：70B模型秒出1000token，代码重写超越GPT-4o，来自OpenAI投资的代码神器Cursor团队