标签：内存
Sigmoid注意力一样强，苹果开始重新审视注意力机制
机器之心报道 机器之心编辑部注意力是 Transformer 架构的关键部分，负责将每个序列元素转换为值的加权和。将查询与所有键进行点积，然后通过 softmax 函数归...
AMD的GPU跑AI模型终于Yes了？PK英伟达H100不带怕的
机器之心报道 编辑：Panda都很贵。AMD vs 英伟达绝对算是一个长盛不衰的话题 —— 从玩游戏用哪家强到如今训练 AI 哪个更高效？原因也很简单：它们的 GPU 产品...
模型推理速度狂飙 20 倍，又有一家公司想赶超英伟达
曾造出世界最大芯片公司 Cerebras，发布了全球最快的 AI 推理架构——Cerebras Inference。 运行 Llama3.1 8B 时，它能以 1800 token/s 的速率吐出文字。 自推...
GPU推理时代终结？世界最大芯片加持推理狂飙20倍，英伟达H100也被干趴！
新智元报道编辑：桃子 好困 【新智元导读】LLM若以每秒1000+token高速推理，当前最先进的GPU根本无法实现！Cerebras Inference一出世，推理速度赶超英伟达GPU...
图解当红推理框架vLLM的核心技术PagedAttention
生成式AI时代最火AI芯片峰会下月来袭！9月6-7日，智猩猩发起主办的2024全球AI芯片峰会将在北京盛大举行。峰会设有开幕式、数据中心AI芯片专场、边缘/端侧AI芯...
357元！树莓派5推出2GB版本：比4GB版便宜16%，除内存外几乎无减配
克雷西 发自 凹非寺量子位 | 公众号 QbitAI50美元（约357人民币），更便宜的树莓派5它来了！ 刚刚，树莓派宣布Raspberry Pi 5正式上线2GB版本，而且是现货发...
从电梯故障到编程新宠，Rust为何连续七年称霸「最受推崇语言」
新智元报道编辑：乔杨 【新智元导读】几十年来，程序员一直用C和C++编写关键系统，现在Rust正逐渐成为这类任务的首选。在StackOverflow每年发布的开发者调查...
Mamba再次挑战霸主Transformer！首个通用Mamba开源大模型一鸣惊人
新智元报道编辑：编辑部 【新智元导读】TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B，性能与Transformer架构模型相媲美，在多个基准测试上的均...
类脑计算有望彻底改变计算领域，甚至超越人脑，丰田合作综述类脑计算的兴起
将 ScienceAI设为星标 第一时间掌握 新鲜的 AI for Science 资讯编辑 |KX 最近，微软系统故障导致全球大范围宕机。计算已经成为我们生活中不可或缺的一部分。...
想跑千亿大模型？算力厂商放大招！CPU通用服务器成为新选择
克雷西 发自 凹非寺量子位 | 公众号 QbitAI千亿参数规模的大模型推理，服务器仅用4颗CPU就能实现！ 在一台CPU通用服务器上，浪潮信息成功跑通了102B大模型推...
GPU训Llama 3.1疯狂崩溃，竟有大厂用CPU服务器跑千亿参数大模型？
新智元报道编辑：编辑部 【新智元导读】是时候用CPU通用服务器跑千亿参数大模型了！马斯克19天建成由10万块H100串联的世界最大超算，已全力投入Grok 3的训练...
颠覆传统架构！华人科学家 20 年心血：AI 能效提高 1000 倍，未来需求井喷！
整理 | Tina、褚杏娟 近日，明尼苏达大学科学与工程学院的一组研究人员展示了一种数据永远不会离开内存的新模型，称为计算随机存取存储器（CRAM）。与目前的...
30B！每秒100tokens！这是AMD对AI PC的“幻想时间”
夕小瑶科技说 原创作者 | 谷雨龙泽随着AI的高速发展，从去年开始，挂在服务器的云端AI模型已经不能满足技术发烧友的胃口了，AI PC应运而生。 AI PC就是内嵌个...
五年后的今天，训练GPT-2只需不到700刀、24小时，Karpathy又整新活
机器之心报道 编辑：杜伟、泽南论老黄卖铲子的技术含量。2019 年 2 月，OpenAI 发布了 GPT-2，因为在文本生成上的优异表现，以及对于预训练 Transformer 架构...
H100利用率飙升至75%！英伟达亲自下场FlashAttention三代升级，比标准注意力快16倍
明敏 克雷西 发自 凹非寺量子位 | 公众号 QbitAI大模型训练推理神作，又更新了！ 主流大模型都在用的FlashAttention，刚刚升级第三代。 时隔一年，FlashAtten...
粤公网安备 44011502001135号