标签：矩阵

这两年大家都在感叹生活不易，然而我想说的是，机会还是有的，但问题不在于有没有，而在于你是否能够认准机会，然后抓住它。 接触过很多咨询项目的人，发现...

PACMAN实验室投稿量子位 | 公众号 QbitAI一键部署LLM混合精度推理，端到端吞吐比AWQ最大提升6倍！ 清华大学计算机系PACMAN实验室发布开源混合精度推理系统——M...

Fira团队 投稿量子位 | 公众号 QbitAI内存占用小，训练表现也要好……大模型训练成功实现二者兼得。 来自北理、北大和港中文MMLab的研究团队提出了一种满足低秩...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...

新智元报道编辑：桃子 LRS 【新智元导读】LLM训练速度还可以再飙升20倍！英伟达团队祭出全新架构归一化Transformer（nGPT），上下文越长，训练速度越快，还能...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...

允中 发自 凹非寺量子位 | 公众号 QbitAIFP8通过其独特的数值表示方式，能够在保持一定精度的同时，在大模型训练中提高训练速度、节省内存占用，最终降低训练...

机器之心报道 机器之心编辑部注意力是 Transformer 架构的关键部分，负责将每个序列元素转换为值的加权和。将查询与所有键进行点积，然后通过 softmax 函数归...

机器之心报道 编辑：Panda前些天，OpenAI 发布了 ο1 系列模型，它那「超越博士水平的」强大推理性能预示着其必将在人们的生产生活中大有作为。但它的使用成本...

DV lab 投稿量子位 | 公众号 QbitAI比LoRA更高效的模型微调方法来了—— 以常识推理为例，在参数量减少8~16倍的情况下，两种方法能达到相同效果。 新方法名叫Lo...

新智元报道编辑：乔杨 Frey 【新智元导读】用英伟达的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA...

机器之心报道 编辑：Panda W、陈陈本文根据视频整理而来，有听错或理解不当之处欢迎在评论区指出。向大模型输入「Michael Jordan plays the sport of _____（...

明敏 发自 凹非寺量子位 | 公众号 QbitAIAttention is all you need. 至少在矩阵这儿是。 Mamba架构最新进展：仅需1%计算量，新模型性能达SOTA。 能做到这一...

新智元报道编辑：LRST 好困 【新智元导读】T-MAC是一种创新的基于查找表（LUT）的方法，专为在CPU上高效执行低比特大型语言模型（LLMs）推理而设计，无需权重...

微软亚洲研究院 投稿量子位 | 公众号 QbitAI有CPU就能跑大模型，性能甚至超过NPU/GPU！ 没错，为了优化模型端侧部署，微软亚洲研究院提出了一种新技术——T-MAC...

ChouJay 投稿量子位 | 公众号 QbitAIScaling Laws当道，但随着大模型应用的发展，基础模型不断扩大的参数也成了令开发者们头疼的问题。 为了减轻训练负担，Ad...