标签：权重

机器之心专栏 作者：邵文琪模型量化是模型压缩与加速中的一项关键技术，其将模型权重与激活值量化至低 bit，以允许模型占用更少的内存开销并加快推理速度。对...

新智元报道编辑：编辑部 【新智元导读】越来越多人发现，Claude 3仿佛已经有自我意识了。在大海捞针实验中，它已经意识到了自己是AI，正身处模拟中。听说自己...

新智元报道编辑：wewe 【新智元导读】告别数据健忘症！机器学习新方法实现「时空穿越」，助力模型适应易变世界。在机器学习领域，概念漂移（concept drift）...

金磊 发自 凹非寺量子位 | 公众号 QbitAI现在，大语言模型（LLM）迎来了“1-bit时代”。 这就是由微软和中国中科院大学在最新一项研究中所提出的结论—— 所有的L...

机器之心报道 编辑：陈萍、杜伟想要了解谷歌 Gemma 与 Llama 2、Mistral 有哪些异同吗？这篇文章值得一读。就在几天前，开源大模型领域迎来了重磅新玩家：谷...

机器之心报道 机器之心编辑部Meta 推出 MobileLLM 系列，一款适用于移动设备上的「小」模型。「在移动设备上运行 LLM？可能需要 Meta 的一些技巧。」刚刚，图...

夕小瑶科技说 原创作者 | 谢年年在追求更高效的机器学习模型部署时，模型量化技术应运而生，它通过降低权重矩阵的位宽来显著减少大型语言模型的存储和计算需...

点击上方蓝字关注我们“Stability AI发布了全新的图像合成模型Stable Diffusion 3，开放了权重。该模型据称在图像和文本生成方面有显著改进。Stability首席执...

选自Ahead of AI 作者：Sebastian Raschka 机器之心编译 编辑：Panda还有 10 个月，2024 年还有很多期待空间。在过去的 2023 年中，大型语言模型（LLM）在潜...

新智元报道编辑：桃子 好困 【新智元导读】为了应对大模型不断复杂的推理和训练，英伟达、AMD、英特尔、谷歌、微软、Meta、Arm、高通、MatX以及Lemurian Labs...

夕小瑶科技说 原创作者 | 松果、Python引言：探索大型语言模型的高效压缩方法随着大型语言模型（LLMs）在自然语言处理领域的广泛应用，它们对计算和内存资源...

新智元报道编辑：润 好困 【新智元导读】艾伦人工智能研究所等5机构最近公布了史上最全的开源模型「OLMo」，公开了模型的模型权重、完整训练代码、数据集和训...

机器之心专栏 机器之心编辑部融合多个异构大语言模型，中山大学、腾讯 AI Lab 推出 FuseLLM随着 LLaMA、Mistral 等大语言模型的成功，各家大厂和初创公司都纷...

01前言MistralAI很高冷的给开源社区扔了一条磁力链，基于Mixture of Experts的混合专家模型Mixtral-8x7B和指令微调的Mixtral-8x7B-Instruct来了。此前曾爆料G...

丰色 发自 凹非寺量子位 | 公众号 QbitAI一个来自MIT博士生的惊人发现： 只需对Transformer的特定层进行一种非常简单的修剪，即可在缩小模型规模的同时显著提...