标签：内存
图解当红推理框架vLLM的核心技术PagedAttention
生成式AI时代最火AI芯片峰会下月来袭！9月6-7日，智猩猩发起主办的2024全球AI芯片峰会将在北京盛大举行。峰会设有开幕式、数据中心AI芯片专场、边缘/端侧AI芯...
357元！树莓派5推出2GB版本：比4GB版便宜16%，除内存外几乎无减配
克雷西 发自 凹非寺量子位 | 公众号 QbitAI50美元（约357人民币），更便宜的树莓派5它来了！ 刚刚，树莓派宣布Raspberry Pi 5正式上线2GB版本，而且是现货发...
从电梯故障到编程新宠，Rust为何连续七年称霸「最受推崇语言」
新智元报道编辑：乔杨 【新智元导读】几十年来，程序员一直用C和C++编写关键系统，现在Rust正逐渐成为这类任务的首选。在StackOverflow每年发布的开发者调查...
Mamba再次挑战霸主Transformer！首个通用Mamba开源大模型一鸣惊人
新智元报道编辑：编辑部 【新智元导读】TII开源全球第一个通用的大型Mamba架构模型Falcon Mamba 7B，性能与Transformer架构模型相媲美，在多个基准测试上的均...
类脑计算有望彻底改变计算领域，甚至超越人脑，丰田合作综述类脑计算的兴起
将 ScienceAI设为星标 第一时间掌握 新鲜的 AI for Science 资讯编辑 |KX 最近，微软系统故障导致全球大范围宕机。计算已经成为我们生活中不可或缺的一部分。...
想跑千亿大模型？算力厂商放大招！CPU通用服务器成为新选择
克雷西 发自 凹非寺量子位 | 公众号 QbitAI千亿参数规模的大模型推理，服务器仅用4颗CPU就能实现！ 在一台CPU通用服务器上，浪潮信息成功跑通了102B大模型推...
GPU训Llama 3.1疯狂崩溃，竟有大厂用CPU服务器跑千亿参数大模型？
新智元报道编辑：编辑部 【新智元导读】是时候用CPU通用服务器跑千亿参数大模型了！马斯克19天建成由10万块H100串联的世界最大超算，已全力投入Grok 3的训练...
颠覆传统架构！华人科学家 20 年心血：AI 能效提高 1000 倍，未来需求井喷！
整理 | Tina、褚杏娟 近日，明尼苏达大学科学与工程学院的一组研究人员展示了一种数据永远不会离开内存的新模型，称为计算随机存取存储器（CRAM）。与目前的...
30B！每秒100tokens！这是AMD对AI PC的“幻想时间”
夕小瑶科技说 原创作者 | 谷雨龙泽随着AI的高速发展，从去年开始，挂在服务器的云端AI模型已经不能满足技术发烧友的胃口了，AI PC应运而生。 AI PC就是内嵌个...
五年后的今天，训练GPT-2只需不到700刀、24小时，Karpathy又整新活
机器之心报道 编辑：杜伟、泽南论老黄卖铲子的技术含量。2019 年 2 月，OpenAI 发布了 GPT-2，因为在文本生成上的优异表现，以及对于预训练 Transformer 架构...
H100利用率飙升至75%！英伟达亲自下场FlashAttention三代升级，比标准注意力快16倍
明敏 克雷西 发自 凹非寺量子位 | 公众号 QbitAI大模型训练推理神作，又更新了！ 主流大模型都在用的FlashAttention，刚刚升级第三代。 时隔一年，FlashAtten...
Adam有了mini版：内存占用少一半，吞吐量提升50%
机器之心报道 编辑：panda在训练大型语言模型（LLM）时，Adam(W) 基本上已经成为了人们默认使用的优化器。 Adam 尽管性能优异，但使用成本很高。具体来说，Ad...
ICML 2024高分论文 | 零阶优化器微调大模型，大幅降低内存
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...
甲骨文首次将LLMs引入数据库，集成Llama 3和Mistral，和数据库高效对话
夕小瑶科技说 原创作者 | 21# 信息时代，数据为王。数据库作为数据存储&管理的一种方式，正在以势不可挡的趋势与AI结合。 前有OpenAI 收购了数据库初创公...
苹果 Xcode 新功能不支持部分入门款 Mac，8GB 内存真不够用了？
8GB 内存 终究不够用就在前不久，WWDC 2024 正式谢幕。作为「全球开发者大会」，这场发布会的核心群体当然是全球的开发者们。 除了一系列新系统外，苹果还推...
粤公网安备 44011502001135号