标签:高效

ICLR 2024 Poster:精确且高效的大语言模型低比特量化方法 QLLM|AI新青年讲座

「AI新青年讲座」由智猩猩出品,致力于邀请青年学者,主讲他们在生成式AI、LLM、计算机视觉、机器学习等人工智能领域的最新重要研究成果。 AI新青年是加速人...
阅读原文

清华系又造大模型标杆!2B规模干翻Mistral-7B,超低成本为AI Agent护航

揭秘最强2B尺寸大模型如何诞生。 作者|ZeR0 编辑|漠影 用最小规模,做最强AI,怎么做到? 智东西2月2日报道,本周四,国内最早从事“大模型+Agent”的创企面壁...
阅读原文

如何防止模型被?基于TVM的端上模型部署加密方案

大数据文摘受权转载自云鼎实验室 2023年在AI的发展史上一定是浓墨重彩的一笔,在这一年里出现了百模大战、全民“炼丹”的场面,围绕着各种模型的训练技术和算力...
阅读原文

336的分数rebuttal后666,中稿 ICLR!

大部分没有投稿经验的科研者在rebuttal时,都不太敢和审稿人正面“刚”,认为rebuttal的作用并不大,甚至无法判断自己的文章是不是应该继续rebuttal还是转投其...
阅读原文

揭秘AI推理芯片的未来

来源:内容由半导体行业观察(ID:icbank) 编译:自design-reuse 人工智能行业包含一个受技术进步、社会需求和监管考虑影响的动态环境。机器学习、自然语言...
阅读原文

高效部署大模型,CMU 最新万字综述纵览 LLM 推理 MLSys 优化技术

近日,CMU Catalyst 团队推出了一篇关于高效 LLM 推理的综述,覆盖了 300 余篇相关论文,从 MLSys 的研究视角介绍了算法创新和系统优化两个方面的相关进展。...
阅读原文

五种资源类别,如何提高大语言模型的资源效率,超详细综述来了

机器之心专栏 机器之心编辑部本综述深入探讨了大型语言模型的资源高效化问题。近年来,大型语言模型(LLM)如 OpenAI 的 GPT-3 在人工智能领域取得了显著进展...
阅读原文

如何高效部署大模型?CMU最新万字综述纵览LLM推理MLSys优化技术

机器之心专栏 机器之心编辑部近日,CMU Catalyst 团队推出了一篇关于高效 LLM 推理的综述,覆盖了 300 余篇相关论文,从 MLSys 的研究视角介绍了算法创新和系...
阅读原文

AI 提速自主化机器学习,让模型训练更高效

来源:谷歌云服务 作者:Google Cloud机器学习对于自动驾驶领域的发展有着重要作用。其中,无监督学习不需要大量标记的数据集,可以通过统计未标记的矩阵来更...
阅读原文

千卡规模训练算力利用率达 60%,蚂蚁开源分布式训练加速扩展库 ATorch

近日,蚂蚁集团宣布开源大模型分布式训练加速扩展库ATorch。ATorch可针对不同模型和硬件资源,实现深度学习自动资源动态优化和分布式训练稳定性提升,可帮助...
阅读原文

千元成本搞定专业大模型,系统优化+开源大模型是关键 | 潞晨卞正达@MEET2024

编辑部 整理自 MEET2024量子位 | 公众号 QbitAI大模型元年里,哪怕是跑在趋势最前沿的基座模型厂商,都难逃算力焦虑。 一方面,大模型本身由于技术特性,算力...
阅读原文

Pascal之父去世!图灵奖得主、编程语言泰斗Niklaus Wirth享年89岁

新智元报道编辑:Aeneas 好困 【新智元导读】Euler和Pascal语言发明者、1984年图灵奖获得者Niklaus Wirth在24年的第一天离开了我们,许多开发者都为他编程语...
阅读原文

面向超长上下文,大语言模型如何优化架构,这篇综述一网打尽了

机器之心报道 编辑:rome rome作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。 ChatGPT 的诞生,...
阅读原文

从模型、数据和框架三个视角出发,这里有份54页的高效大语言模型综述

机器之心专栏 机器之心编辑部大规模语言模型(LLMs)在很多关键任务中展现出显著的能力,比如自然语言理解、语言生成和复杂推理,并对社会产生深远的影响。然...
阅读原文

国货之光,复旦发布大模型训练效率工具 CoLLiE,效率显著提升

夕小瑶科技说 原创作者 | 智商掉了一地、python在这个信息爆炸的时代,大型语言模型(LLM)成为理解和挖掘文本信息的重要工具。为了更好地适应各种应用场景,...
阅读原文
13456