标签:权重
CVPR 2024 Highlight | 北航等发布「时间特征维护」:无需训练,极致压缩加速Diffusion
新智元报道编辑:LRST 好困 【新智元导读】拯救4bit扩散模型精度,仅需时间特征维护——以超低精度量化技术重塑图像内容生成!近日,北航、莫纳什、UT Austin联...
新一轮「硬件彩票」:MatMul-free 会改变大模型的游戏规则吗?
机器之心PRO · 会员通讯 Week 24---- 本周为您解读 ③个值得细品的AI & Robotics业内要事 ---- 1. 新一轮「硬件彩票」:MatMul-free 会改变大模型的游戏规...
手机流畅运行470亿大模型:上交大发布LLM手机推理框架PowerInfer-2,提速29倍
梦晨 发自 凹非寺量子位 | 公众号 QbitAI苹果一出手,在手机等移动设备上部署大模型不可避免地成为行业关注焦点。 然而,目前在移动设备上运行的模型相对较小...
大模型国产化适配5-百度飞浆PaddleNLP大语言模型工具链总结
近年来,人工智能快速发展,成为全球最为前沿的科技领域;与此同时,也诞生了很多优秀的 AI 工具。比如:国外的 AI 工具 PyTorch 、TensorFlow等,国产 AI 工...
港大北航等1bit大模型引热议,IEEE刊物评“解决AI能源需求”!作者亲自解读在此
BiLLM团队 发自 凹非寺量子位 | 公众号 QbitAI极限量化,把每个参数占用空间压缩到1.1bit! IEEE Spectrum专栏,一种名为BiLLM的训练后量化(PTQ)方法火了。...
从LLM中完全消除矩阵乘法,效果出奇得好,10亿参数跑在FPGA上接近大脑功耗
机器之心报道 机器之心编辑部让语言模型「轻装上阵」。一直以来,矩阵乘法(MatMul)稳居神经网络操作的主导地位,其中很大原因归结为 GPU 专门针对 MatMul ...
面对质疑,奥特曼终于公开了OpenAI 前沿大模型安全架构
译者丨明知山 策划丨褚杏娟 在 OpenAI 和 Google DeepMind 员工联名发表公开信,呼吁重视人工智能技术带来严重风险的同一天,OpenAI 官博发布了一篇文章,公...
量化大模型退化严重?ETH北航字节推出LoRA新范式 | ICML 2024
QHT 投稿量子位 | 公众号 QbitAI大模型应用开卷,连一向保守的苹果,都已释放出发展端侧大模型的信号。 问题是,大语言模型(LLM)卓越的表现取决于“力大砖飞...
大模型国产化适配4-基于昇腾910使用LLaMA-13B进行多机多卡训练
直播预告 | 6月6日晚7点,「智猩猩AI新青年讲座」第238讲正式开讲,香港大学CVMI Lab在读博士 杨霁晗将直播讲解《V-IRL:根植于真实世界的AI Agents》,欢迎...
不想炸薯条的Ilya和不送GPU的英伟达,Hinton最新专访:道路千万条,安全第一条
新智元报道编辑:alan 【新智元导读】从谷歌离职一年之际,「人工智能教父」Hinton接受了采访。半退休的Hinton向我们讲述了时光积累下来的智慧,以及那些年和...
大模型国产化适配3-基于昇腾910使用ChatGLM-6B进行模型训练
直播预告 | 5月28日10点,「智猩猩AI新青年讲座」第236讲正式开讲,密歇根大学安娜堡分校在读博士生张挥杰将直播讲解《利用多级框架和多解码器架构提高扩散模...
Altman被曝七宗罪,OpenAI竟欲加密GPU合作军方?员工大批离职团队濒临崩溃
新智元报道编辑:Aeneas 好困 【新智元导读】刚刚,有网友仔细总结了OpenAI的七宗罪,对Altman发出愤怒的诘问:为何计划跟踪GPU?为何合作军方?员工滚雪球式...
250行代码从头搭建Llama 3,GitHub一天4.6k星!Karpathy大赞
新智元报道编辑:乔杨 好困 【新智元导读】Llama 3发布一个月后,一位开发者在GitHub上创建了名为「从头开始实现Llama 3」的项目,引起了开源社区的广泛关注...
从零复现Llama3代码库爆火,大神Kapathy一键三连,GitHub狂揽2k+
西风 发自 凹非寺量子位 | 公众号 QbitAI让大神Andrej Karpathy一键三连❤️(点赞+转发+评论),一个教你从头开始实现Llama3的代码库爆火。 X上转赞收藏量超6....
LoRA数学编程任务不敌全量微调 | 哥大&Databricks新研究
克雷西 发自 凹非寺量子位 | 公众号 QbitAI大数据巨头Databricks与哥伦比亚大学最新研究发现,在数学和编程任务上,LoRA干不过全量微调。 具体来说,在这两种...