标签：内存
Adam有了mini版：内存占用少一半，吞吐量提升50%
机器之心报道 编辑：panda在训练大型语言模型（LLM）时，Adam(W) 基本上已经成为了人们默认使用的优化器。 Adam 尽管性能优异，但使用成本很高。具体来说，Ad...
ICML 2024高分论文 | 零阶优化器微调大模型，大幅降低内存
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...
甲骨文首次将LLMs引入数据库，集成Llama 3和Mistral，和数据库高效对话
夕小瑶科技说 原创作者 | 21# 信息时代，数据为王。数据库作为数据存储&管理的一种方式，正在以势不可挡的趋势与AI结合。 前有OpenAI 收购了数据库初创公...
苹果 Xcode 新功能不支持部分入门款 Mac，8GB 内存真不够用了？
8GB 内存 终究不够用就在前不久，WWDC 2024 正式谢幕。作为「全球开发者大会」，这场发布会的核心群体当然是全球的开发者们。 除了一系列新系统外，苹果还推...
Agent技术洞察01：增强大语言模型 Agents 的工作记忆能力
直播预告 | 6月14日上午10点，「智猩猩AI新青年讲座」第239讲正式开讲，莫纳什大学在读博士马鑫将直播讲解《DiT架构在视频生成模型中的应用与扩展》，欢迎扫...
手机流畅运行470亿大模型：上交大发布LLM手机推理框架PowerInfer-2，提速29倍
梦晨 发自 凹非寺量子位 | 公众号 QbitAI苹果一出手，在手机等移动设备上部署大模型不可避免地成为行业关注焦点。 然而，目前在移动设备上运行的模型相对较小...
这个团队做了OpenAI没Open的技术，开源OpenRLHF让对齐大模型超简单
机器之心报道 编辑：Panda随着大型语言模型（LLM）规模不断增大，其性能也在不断提升。尽管如此，LLM 依然面临着一个关键难题：与人类的价值和意图对齐。在解...
斯坦福让“GPU高速运转”的新工具火了，比FlashAttention2更快
西风 发自 凹非寺量子位 | 公众号 QbitAIAI算力资源越发紧张的当下，斯坦福新研究将GPU运行效率再提升一波—— 内核只有100行代码，让H100比使用FlashAttention...
4倍内存效率，生成和超分双SOTA！清华&智谱AI发布最新Inf-DiT模型
直播预告 | 5月28日10点，「智猩猩AI新青年讲座」第236讲正式开讲，密歇根大学安娜堡分校在读博士生张挥杰将直播讲解《利用多级框架和多解码器架构提高扩散模...
开创性CVM算法破解40多年计数难题！计算机科学家掷硬币算出「哈姆雷特」独特单词
新智元报道编辑：桃子 【新智元导读】预估一个数组中不重复数字的个数，最简便的方法是什么？计算机科学家们提出了一种全新CVM算法，通过利用随机性，预估出...
告别3D高斯Splatting算法，带神经补偿的频谱剪枝高斯场SUNDAE开源了
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...
只需百行代码，让H100提速30%，斯坦福开源全新AI加速框架
机器之心报道 机器之心编辑部提高 GPU 利用率，就是这么简单。AI 的快速发展，伴随而来的是大计算量。这就自然而然的引出了一个问题：如何减少 AI 对计算的需...
从零开始手搓GPU，照着英伟达CUDA来，只用两个星期
机器之心报道 编辑：泽南、小舟从学习芯片的基础知识开始。「我花两周时间零经验从头开始构建 GPU，这可比想象的要难多了。」总有人说老黄的芯片供不应求，大...
坏了，我的RTX 3090 GPU在对我唱歌！
机器之心报道 机器之心编辑部这你敢信？！ 在一个昏暗的机箱里，一台 RTX 3090 GPU「唱」着经典英语儿歌《一闪一闪亮晶晶》（Twinkle,Twinkle,Little Star）...
原作者带队，LSTM真杀回来了！
机器之心报道 编辑：蛋酱LSTM：这次重生，我要夺回 Transformer 拿走的一切。20 世纪 90 年代，长短时记忆（LSTM）方法引入了恒定误差选择轮盘和门控的核心思...
粤公网安备 44011502001135号