标签:内存
EDA顶会ICCAD放榜!陈怡然团队摘得「时间检验奖」,表彰十年前论文
新智元报道编辑:好困 桃子【新智元导读】全球四大顶级EDA会议ICCAD开奖,陈怡然团队发表在十年前最具影响力的论文获奖。刚刚,全球四大顶级EDA会议ICCAD颁奖...
全球首款3nm芯片塞进电脑,苹果M3炸翻全场!128GB巨量内存,大模型单机可跑,性能最高飙升80%
新智元报道编辑:编辑部【新智元导读】史上最短苹果发布会上,M3芯片家族震撼亮相了!在它们的加持下,MacBook Pro、iMac纷纷升级成性能猛兽。史上最短苹果发...
首次采用3nm制程、比M1 Max快80%!苹果亮相M3系列芯片,最高搭载40核GPU
整理|冬梅、核子可乐10 月 31 日,以“Scary Fast(快得吓人)”为主题对苹果新品发布会如约而至。在此次发布会上,Apple 宣布推出全新 MacBook Pro 系列,采...
苹果M3系列登场,性能翻倍,M1、M2已成时代眼泪
机器之心报道编辑:陈萍、大盘鸡M3 芯片来了。在苹果今天的 Scary Fast 发布会上,苹果正式发布了 M3、M3 Pro、M3 Max 芯片。苹果表示,这是首款采用 3 纳米...
Meta普林斯顿提出LLM上下文终极解决方案!让模型化身自主智能体,自行读取上下文节点树
新智元报道编辑:润【新智元导读】LeCun转发了Meta团队提出的一种非常特别的处理LLM上下文的方案:通过把上下文内容处理为摘要节点树,让模型自行读取。这样...
你的GPU能跑Llama 2等大模型吗?用这个开源项目上手测一测
机器之心报道编辑:陈萍你的 GPU 内存够用吗?这有一个项目,可以提前帮你查看。在算力为王的时代,你的 GPU 可以顺畅的运行大模型(LLM)吗?对于这一问题,...
LLM吞吐量提高2-4倍,模型越大效果越好!UC伯克利、斯坦福等开源高效内存管理机制PagedAttention
新智元报道编辑:LRS【新智元导读】吞吐量上不去有可能是内存背锅!无需修改模型架构,减少内存浪费就能提高吞吐量!虽然大型语言模型(LLM)的性能表现足够...
6.7k Star量的vLLM出论文了,让每个人都能轻松快速低成本地部署LLM服务
机器之心专栏编辑:Panda利用操作系统的虚拟内存管理方法来提升LLM推理吞吐量。今年六月,来自加州大学伯克利分校等机构的一个研究团队开源了(目前已有 6700...
苹果创新大模型压缩技术,大模型有机会塞进手机里了
机器之心报道编辑:赵阳大模型的内容安全问题使得人们希望可以在终端设备上完成模型训练及运行。对于手机来说,大模型的权重数据显得尤为庞大。大型语言模型...
iPhone 15 Pro 系列全面测评:苹果没告诉你的细节,竟然这么多?
过去的 72 小时,我们昼夜不停地体验、审视了 iPhone 15 Pro 和 Pro Max。对你可能关心的影像、C 口、性能、内存等变化,我们做了全面的测试。在此过程中,我...
大模型生成提速2倍!单GPU几小时搞定微调,北大数院校友共同一作丨开源
萧箫 发自 凹非寺量子位 | 公众号 QbitAI只需给大模型“加点小零件”,推理速度立刻提升2倍!不需要额外训练一个模型,也不需要对计算硬件做优化,单张A100最快...
几行代码,几秒钟就能生成令人惊叹的音频样本!HuggingFace推出音频生成Pipeline
夕小瑶科技说 原创编辑 | 谢年年音频是我们日常生活中不可或缺的一部分,而如今,AI+音频带来了前所未有的体验。通过AI技术,只需简单地输入一些文本提示就可...