标签：精度
AI赚钱副业~AI生成影视解说，半个月涨粉变现3.5W+！
这两年大家都在感叹生活不易，然而我想说的是，机会还是有的，但问题不在于有没有，而在于你是否能够认准机会，然后抓住它。 接触过很多咨询项目的人，发现...
视频大模型无损提速：删除多余token，训练时间减少30%，帧率越高效果越好 | NeurIPS
克雷西 发自 凹非寺量子位 | 公众号 QbitAIDon’t look twice！ 把连续相同的图像块合并成一个token，就能让Transformer的视频处理速度大幅提升。 卡内基梅隆...
Scaling Law或将终结？哈佛MIT预警：低精度量化已无路可走，重磅研究掀翻AI圈
新智元报道编辑：桃子 LRS 【新智元导读】哈佛斯坦福MIT等机构首次提出「精度感知」scaling law，揭示了精度、参数规模、数据量之间的统一关系。数据量增加，...
今日最热论文：Scaling Law后继乏力，量化也不管用，AI大佬齐刷刷附议
一水 发自 凹非寺量子位 | 公众号 QbitAI几十万人关注，一发表即被行业大佬评为“这是很长时间以来最重要的论文”。 哈佛、斯坦福、MIT等团队的一项研究表明：...
Scaling Laws终结，量化无用，AI大佬都在审视这篇论文
机器之心报道 作者：泽南、小舟研究表明，你训练的 token 越多，你需要的精度就越高。最近几天，AI 社区都在讨论同一篇论文。 UCSD 助理教授 Dan Fu 说它指明...
微软华人领衔AI²BMD登Nature，AI生物分子模拟双突破！继AlphaFold后又一里程碑
新智元报道编辑：静音 【新智元导读】最近，微软研究院开发的AI²BMD登上了Nature。这是生物分子动力学（MD）模拟中，继经典MD和量子力学之后，首个成功地兼顾...
至高 1.8 倍无损加速！互补量化方案的投机加速
夕小瑶科技说 原创作者 | Juntao Zhao等本文作者来自香港大学和哈尔滨工业大学。其中共同第一作者分别为来自香港大学Netexplo实验室的博士生Juntao Zhao、She...
时序大模型突破十亿参数！新混合专家架构，普林斯顿格里菲斯等机构出品
TimeMoE团队 投稿自 凹非寺量子位 | 公众号 QbitAI时序大模型，参数规模突破十亿级别。 来自全球多只华人研究团队提出了一种基于混合专家架构（Mixture of Ex...
清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐
PACMAN实验室投稿量子位 | 公众号 QbitAI一键部署LLM混合精度推理，端到端吞吐比AWQ最大提升6倍！ 清华大学计算机系PACMAN实验室发布开源混合精度推理系统——M...
又快又准，即插即用！清华8比特量化Attention，两倍加速于FlashAttention2，各端到端任务均不掉点！
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...
「乘法变加法」！MIT清华校友全新方法优化Transformer：Addition is All You Need
新智元报道编辑：乔杨 好困 【新智元导读】Transformer计算，竟然直接优化到乘法运算了。MIT两位华人学者近期发表的一篇论文提出：Addition is All You Need...
一行代码训练成本再降30%，AI大模型混合精度训练再升级｜开源
允中 发自 凹非寺量子位 | 公众号 QbitAIFP8通过其独特的数值表示方式，能够在保持一定精度的同时，在大模型训练中提高训练速度、节省内存占用，最终降低训练...
如何估计LLM推理和训练所需的GPU内存？
导读文章转载自知乎，作者为孙鹏飞，本文整理了一份训练或推理需要显存的计算方式。 原文地址：https://zhuanlan.zhihu.com/p/716317173 本文只做学术/技术分...
大模型训练及推理经典必读：FP8的what，why，how及其带来的机会？
生成式AI时代最火AI芯片峰会下月来袭！9月6-7日，智猩猩发起主办的2024全球AI芯片峰会将在北京盛大举行。峰会设有开幕式、数据中心AI芯片专场、边缘/端侧AI芯...
大模型量化技术原理：FP8
生成式AI时代最火AI芯片峰会下月来袭！9月6-7日，智猩猩发起主办的2024全球AI芯片峰会将在北京盛大举行。峰会设有开幕式、数据中心AI芯片专场、边缘/端侧AI...
大模型终端部署新趋势：硬件直接支持混合矩阵乘法
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...
粤公网安备 44011502001135号