70B模型秒出1000token,代码重写超越GPT-4o,来自OpenAI投资的代码神器Cursor团队

AIGC动态6个月前发布 量子位
21 0 0

70B模型秒出1000token,代码重写超越GPT-4o,来自OpenAI投资的代码神器Cursor团队

AIGC动态欢迎阅读

原标题:70B模型秒出1000token,代码重写超越GPT-4o,来自OpenAI投资的代码神器Cursor团队
关键字:模型,算法,任务,代码,作者
文章来源:量子位
内容字数:4610字

内容摘要:


克雷西 发自 凹非寺量子位 | 公众号 QbitAI70B模型,秒出1000token,换算成字符接近4000!
研究人员将Llama3进行了微调并引入加速算法,和原生版本相比,速度足足快出了快了13倍!
不仅是快,在代码重写任务上的表现甚至超越了GPT-4o。
这项成果,来自爆火的AI编程神器Cursor背后团队anysphere,OpenAI也参与过投资。
要知道在以快著称的推理加速框架Groq上,70B Llama3的推理速度也不过每秒300多token。
Cursor这样的速度,可以说是实现了近乎即时的完整代码文件编辑。
有人直呼好家伙,如果把Cursor魔改后的Llama3放到Groq上,是不是每秒能跑出上万token了。
更是有人激动地说,在大模型领域,我们正在消除“延时”这一概念。
引入全新推理加速算法作者此次设计的加速方法,主要是用来解决一种名为“Fast Apply”的任务,即对代码内容进行快速修改并应用。
首先需要说明的是,虽然说任务最终实现的效果是代码的局部修改,但是实际操作过程中,输出并非是只有变化的内容,而是直接全局重写。
这样做的原因,是团队在预先测试后做出


原文链接:70B模型秒出1000token,代码重写超越GPT-4o,来自OpenAI投资的代码神器Cursor团队

联系作者

文章来源:量子位
作者微信:QbitAI
作者简介:追踪人工智能新趋势,关注科技行业新突破

阅读原文
© 版权声明

相关文章

暂无评论

暂无评论...