标签:高效

商汤科技研究副总监龚睿昊:大语言模型量化和 LightLLM 高性能推理部署系统设计

12月5日上午10点,智猩猩AI教研组推出「大模型微调与推理部署线上闭门会」。闭门会由北京航空航天大学人工智能研究院助理教授郭晋阳参与出品。Monash Univers...
阅读原文

线上闭门会上新!北航、MIT、莫纳什和商汤四位专家直播探讨大模型微调与推理部署

今年9月起,智东西公开课品牌全新升级为智猩猩。智猩猩定位硬科技讲解与服务平台,提供公开课、在线研讨会、讲座、线上闭门会、峰会等线上线下产品。「线上闭...
阅读原文

用上这个工具包,大模型推理性能加速达40倍

作者:英特尔公司 沈海豪、罗屿、孟恒宇、董波、林俊编者按:只需不到9行代码,就能在CPU上实现出色的LLM推理性能。英特尔®Extension for Transformer创新工...
阅读原文

清华大学刘知远:大模型LLM领域,有哪些可以作为学术研究方向?

来源:图灵人工智能作者:刘知远,清华大学计算机系自然语言处理实验室副教授2022年初我做过一个报告题目是《大模型十问》,分享我们认为大模型值得探索的十...
阅读原文

PyTorch大更新,编译代码速度暴增35倍!视觉模型一键部署,头显Quest 3可用

新智元报道编辑:润 贝果【新智元导读】最近,在Pytorch发布会上,发布移动端Pytorch解决方案ExecuTorch,实现在移动端设备上大范围地部署AI工具,并推出最新...
阅读原文

智源扔出大模型“全家桶”!推最强开源中英双语LLM,赶超Llama 2

智源推最强开源中英双语大模型!340亿参数超越Llama 2-70B。编辑|luna智东西10月12日报道,今日,智源研究院宣布悟道·天鹰Aquila大语言模型系列全面升级到Aqu...
阅读原文

生成式AI时代的模型压缩与加速,韩松主讲MIT课程,资料全公开

机器之心报道编辑:蛋酱近年来,生成式大模型(如大语言模型、扩散模型)已显示出卓越的性能,但它们需要大量的计算资源。为了让这些模型更易于使用,提高它...
阅读原文

将混合专家推向极限:只需更新0.32%的参数就能完成模型微调

机器之心报道编辑:Panda W微调无需更新全部模型参数,这种方法只需更新不到 1% 的参数。众所周知,大模型的训练成本很高,但其实对预训练后的模型进行微调也...
阅读原文

嫌Python慢,这个AI分析器帮你检测、建议优化,获OSDI最佳论文

机器之心报道编辑:大盘鸡未来速度的提升将更多地来自更快、更高效的编程,而不是更好的硬件。近几年,有一种编程语言无处不在,它的大名无人不晓,网络上甚...
阅读原文
1456