标签:速度

GPU推理时代终结?世界最大芯片加持推理狂飙20倍,英伟达H100也被干趴!

新智元报道编辑:桃子 好困 【新智元导读】LLM若以每秒1000+token高速推理,当前最先进的GPU根本无法实现!Cerebras Inference一出世,推理速度赶超英伟达GPU...
阅读原文

真香!智谱大模型,有了首个免费的API

机器之心报道 机器之心编辑部大模型API,正式进入Flash时代。最近一段时间,国内外的大模型行业卷的是「快速版」。 5 月谷歌 I/O 大会上,新发布的 Gemini 1....
阅读原文

三个程序员奋战三天重写推理堆栈,Grok-2 mini直接提速两倍,马斯克亲发贺电

机器之心报道 机器之心编辑部一直在用 Grok-2 的用户可能察觉到,这两天,它好像变快了:上周,xAI 发布了 Grok-2 聊天机器人,并在 X 平台上以每月 8 美元的...
阅读原文

马斯克:希望在今年年底之前完成10例脑机接口手术|中企荐读

“未来人工智能一定比所有人类加起来还要聪明。”来源:中国企业家杂志 编译:董斌 来源:Lex Fridman(YouTube) 头图来源:视觉中国当前,Neuralink脑机接口...
阅读原文

谷歌顶不住了,官宣Gemini降价至GPT-4o mini的一半。我却激动不起来

夕小瑶科技说 原创作者 | 海野谷歌是要跟OpenAI打起来吗? 先是推出了新模型Gemini 1.5 Pro的0801测试版,踢馆GPT-4o; 这样还不够,现在谷歌又要从价格上压O...
阅读原文

Lex 对话 Elon Musk,全文精编

1介绍莱克斯·弗里德曼: 以下是与 Elon Musk、DJ Seo、Matthew MacDougall、Bliss Chapman 和 Noland Arbaugh 就 Neuralink 和人类未来展开的对话。Elon、DJ、...
阅读原文

大模型厂商密集发力,谷歌也开“卷”了:Gemini聊天机器人换上新模型,还能一键核查输出内容

克雷西 发自 凹非寺量子位 | 公众号 QbitAIMeta、OpenAI等大模型厂商密集发力之际,谷歌也宣布了一项重磅更新—— 即日起,Gemini聊天机器人将改由Gemini 1.5 F...
阅读原文

Mamba一作再祭神作,H100利用率飙至75%!FlashAttention三代性能翻倍,比标准注意力快16倍

新智元报道编辑:编辑部 【新智元导读】时隔一年,FlashAttention又推出了第三代更新,专门针对H100 GPU的新特性进行优化,在之前的基础上又实现了1.5~2倍的...
阅读原文

英伟达又赚到了!FlashAttention3来了:H100利用率飙升至75%

机器之心报道 编辑:陈陈、小舟740 TFLOPS!迄今最强 FlashAttention 来了。随着大型语言模型(LLM)加速落地,扩展模型上下文窗口变得越来越重要。然而,Tra...
阅读原文

Groq发布超快LLM引擎,速度让英伟达望尘莫及

点击上方蓝字关注我们“Groq公司最新推出的LLM引擎在速度和智能化方面取得突破,其响应速度达到每秒1256.54个token,远超Nvidia GPU,为AI应用部署提供了新的...
阅读原文

OpenAI停服,国产大模型免费用!开发者Token自由实现了

机器之心发布 机器之心编辑部今天凌晨,OpenAI 突然宣布终止对中国提供 API 服务,进一步收紧国内开发者访问 GPT 等高水平大模型。国内开发者真是太难了。好...
阅读原文

最强大模型再次易主!Anthropic发布Claude3.5-Sonnet,多项评测超过GPT-4o,支持多模态!可免费使用!

直播预告 | 6月25日10点,「智猩猩AI新青年讲座」第241讲正式开讲,伊利诺伊大学厄巴纳-香槟分校在读博士赵晓明将直播讲解《从单目视频中合成动态新视图》,...
阅读原文

280亿颗晶体管!苹果M4芯片首发,AI算力高达38TOPS,宣战友商AI PC

最能打的AI PC芯片,iPad Pro首发。 作者|ZeR0 编辑|漠影 芯东西5月8日报道,周二晚间,苹果发布最新一代自研电脑芯片M4,新款iPad Pro首发。 苹果平台架构副...
阅读原文

硬核解决Sora的物理bug!美国四所顶尖高校联合发布:给视频生成器装个物理引擎

新智元报道编辑:LRS 【新智元导读】PhysDreamer利用材质点法(MPM)对物体的各个物理属性进行估计,实现了逼真的交互式响应结果,在视频生成领域向更真实的...
阅读原文

《嬛嬛朕emo啦》但马斯克!阿里这项技术开放试玩

衡宇 梦晨 发自 凹非寺量子位 | 公众号 QbitAI等了7分多钟,刚从北京闪现闪离的马斯克,他终于夸我是个人才: 好了,别骂诈骗,我全都招! 现在登录通义App(...
阅读原文
1234