标签:内存

AI赚钱副业~AI生成影视解说,半个月涨粉变现3.5W+!

这两年大家都在感叹生活不易,然而我想说的是,机会还是有的,但问题不在于有没有,而在于你是否能够认准机会,然后抓住它。 接触过很多咨询项目的人,发现...

vLLM这一年的新特性以及后续规划(总结版!)

大会预告12月5日-6日,2024中国生成式AI大会(上海站)举办。将邀请50+位嘉宾围绕大模型、AI Infra、端侧生成式AI、AI视频生成和具身智能等议题进行同台分享...
阅读原文

无需训练即可大幅提升SAM 2!开源的SAM2Long来了,港中文、上海AI Lab出品

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
阅读原文

万字长文细说端侧大模型进展

开讲预告11月7日晚7点,上海 AI Lab OpenGVLab 博士后研究员罗根,将以《Mono-InternVL: 突破原生多模态大模型性能瓶颈》为主题进行直播讲解,欢迎扫码报名~0...
阅读原文

苹果地表最强AI PC诞生,M4 Max猛兽加持性能暴涨!顶配6万,续航飙至24小时

新智元报道编辑:编辑部 【新智元导读】一周Mac三连发,压轴场MacBook Pro终于来了,也宣告着M4全系芯片诞生。最强性能野兽M4 Pro、M4 Max采用第二代3nm工艺...
阅读原文

苹果发布 M4 MacBook Pro!全系 16G 内存起步,史上续航最长的 Mac

终于 正式登场10 月初,全新的 MacBook Pro 在尚未公开前,直接被几位博主提前开箱上手,堪称苹果自 iPhone 4 以来最严重的产品泄露事件。 原本以为苹果会把...
阅读原文

低内存占用也能实现满血训练?!北理北大港中文MMLab推出Fira训练框架

Fira团队 投稿量子位 | 公众号 QbitAI内存占用小,训练表现也要好……大模型训练成功实现二者兼得。 来自北理、北大和港中文MMLab的研究团队提出了一种满足低秩...
阅读原文

三星,正在自救

大数据文摘受权转载自头部科技 文丨王俊俊 芯片巨头三星(SAMSUNG),正面临前所未有的挑战。 尽管韩国半导体出口创下历史新高,但三星股价在过去三个月内大...
阅读原文

英伟达5090被曝32G大显存、核心是5080的两倍!网友:怕不是B200双芯封装技术下放

克雷西 发自 凹非寺量子位 | 公众号 QbitAI32GB GDDR7内存,CUDA核心数21760个—— 关于英伟达下一代旗舰消费级显卡5090,知名消息人士kopite7kimi给出了最新爆...
阅读原文

最高配 128 核!英特尔至强 6 性能核处理器发布:运行 Llama2-7B 快了 3.08 倍

作者 | 褚杏娟 “英特尔至强 6 性能核,将是英特尔有史以来性能最强大的至强处理器。”英特尔数据中心与人工智能集团副总裁、中国区总经理陈葆立在 9 月 6 日...
阅读原文

英特尔最强服务器CPU来了!AI性能直接翻倍

梦晨 金磊 发自 凹非寺量子位 | 公众号 QbitAI服务器CPU领域持续多年的核心数量大战,被一举终结了! 英特尔最新发布的至强®6 性能核处理器(P-core系列),...
阅读原文

从架构、工艺到能效表现,全面了解LLM硬件加速,这篇综述就够了

机器之心报道 编辑:陈陈、杜伟大语言模型(LLM)的发展同时往往伴随着硬件加速技术的进化,本文对使用 FPGA、ASIC 等芯片的模型性能、能效表现来了一次全面...
阅读原文

Sigmoid注意力一样强,苹果开始重新审视注意力机制

机器之心报道 机器之心编辑部注意力是 Transformer 架构的关键部分,负责将每个序列元素转换为值的加权和。将查询与所有键进行点积,然后通过 softmax 函数归...
阅读原文

AMD的GPU跑AI模型终于Yes了?PK英伟达H100不带怕的

机器之心报道 编辑:Panda都很贵。AMD vs 英伟达绝对算是一个长盛不衰的话题 —— 从玩游戏用哪家强到如今训练 AI 哪个更高效?原因也很简单:它们的 GPU 产品...
阅读原文

模型推理速度狂飙 20 倍,又有一家公司想赶超英伟达

曾造出世界最大芯片公司 Cerebras,发布了全球最快的 AI 推理架构——Cerebras Inference。 运行 Llama3.1 8B 时,它能以 1800 token/s 的速率吐出文字。 自推...
阅读原文

GPU推理时代终结?世界最大芯片加持推理狂飙20倍,英伟达H100也被干趴!

新智元报道编辑:桃子 好困 【新智元导读】LLM若以每秒1000+token高速推理,当前最先进的GPU根本无法实现!Cerebras Inference一出世,推理速度赶超英伟达GPU...
阅读原文
1236