标签:长度
比A100性价比更高!FlightLLM让大模型推理不再为性能和成本同时发愁
机器之心专栏 机器之心编辑部大语言模型在端侧的规模化应用对计算性能、能效比需求的“提拽式”牵引,在算法与芯片之间,撕开了一道充分的推理竞争场。 面对想...
四行代码让大模型上下文暴增3倍,羊驼Mistral都适用
克雷西 发自 凹非寺量子位 | 公众号 QbitAI无需微调,只要四行代码就能让大模型窗口长度暴增,最高可增加3倍! 而且是“即插即用”,理论上可以适配任意大模型...
最新Claude 200K严重「虚标」?大神壕掷1016美元实测,90K后性能急剧下降
新智元报道编辑:润 好困【新智元导读】月初刚测了GPT-4 Turbo上下文真实实力的大神Greg Kamradt又盯上了Anthropic刚更新的Claude 2.1。他自己花了1016刀测完...
ChatGPT最强竞对更新!上下文长度翻倍,API降价近30%
克雷西 发自 凹非寺量子位 | 公众号 QbitAIOpenAI开发者大会后不久,它的最强竞对Claude也宣布推出了重磅更新。更新后的Claude 2.1,上下文长度直接翻番到20...
GPT4 Turbo的128K上下文是鸡肋?推特大佬斥巨资评测,斯坦福论文力证结论
夕小瑶科技说 原创作者 | 小戏、兔子酱这两天,AI 圈子里最火的事,莫过于 OpenAI 在他们的首届开发者日上重磅推出了 GPT-4 的加强 Plus 版 GPT-4 Turbo。随...
百川智能发布Baichuan2-192K大模型,目前全球最长上下文窗口
文章转自新智元,Founder Park 有所删减10 月 30 日,百川智能发布 Baichuan2-192K 大模型。其上下文窗口长度高达 192K,是目前全球最长的上下文窗口。文本长...
百川智能推出全球最长上下文窗口大模型Baichuan2-192K,一次可输入35万字超越Claude2
10月30日,百川智能发布Baichuan2-192K大模型,上下文窗口长度高达192K,是目前全球最长的上下文窗口。Baichuan2-192K能够一次处理约35万个汉字,是目前支持...
刚刚,百川智能Baichuan2-192K发布,上下文窗口全球最长!一次读完《三体》,拿下7个SOTA
新智元报道编辑:编辑部【新智元导读】全球最长上下文窗口来了!今日,百川智能发布Baichuan2-192K大模型,上下文窗口长度高达192K(35万个汉字),是Claude ...
4k窗口长度就能读长文,陈丹琦高徒联手Meta推出大模型记忆力增强新方法
克雷西 发自 凹非寺量子位 | 公众号 QbitAI只有4k窗口长度的大模型,也能阅读大段文本了!普林斯顿的华人博士生的一项最新成果,成功“突破”了大模型窗口长度...
LLaMA2上下文长度暴涨至100万tokens,只需调整1个超参数|复旦邱锡鹏团队出品
萧箫 发自 凹非寺量子位 | 公众号 QbitAI只需微调一下,大模型支持上下文大小就能从1.6万tokens延长至100万?!还是在只有70亿参数的LLaMA 2上。要知道,即使...
PyTorch官方认可!斯坦福博士新作:长上下文LLM推理速度提8倍
丰色 发自 凹非寺量子位 | 公众号 QbitAI这两天,FlashAttention团队推出了新作:一种给Transformer架构大模型推理加速的新方法,最高可提速8倍。该方法尤其...
别再「浪费」GPU了,FlashAttention重磅升级,实现长文本推理速度8倍提升
机器之心报道机器之心编辑部处理小说、法律文件等长文本是大模型的一个重要应用方向,但也面临速度上的挑战。FlashAttention 作者 Tri Dao 等人提出的「Flash...
一键读完《三体》!港中文联MIT破解AI遗忘魔咒,2行代码引领超长文本革命!
夕小瑶科技说 分享来源 | 新智元中途迷失、模型偷懒、上下文越长大模型越笨……体验过LLM的人,多少都会对文本输入长度带来的限制有所感触:想和大模型讨论一些...
AI天才杨植麟交卷大模型产品,特点:长长长长长
衡宇 发自 凹非寺量子位 | 公众号 QbitAI千亿参数大模型,支持输入的长文本首次达20万字!在任何规模的大模型产品化队伍中,这个长度堪称目前的全球最长。用...
2行代码,「三体」一次读完!港中文贾佳亚团队联手MIT发布超长文本扩展技术,打破LLM遗忘魔咒
新智元报道编辑:好困 桃子【新智元导读】大模型上下文从此不再受限!港中文贾佳亚团队联手MIT发布了全新超长文本扩展技术LongLoRA,只需2行代码,让LLM看小...