标签:速度

大道至简?ETH研究团队提出简化版Transformer模型,综合效率明显提升

大数据文摘受权转载自将门创投‍2023年,Transformer已经成为人工智能领域中最受欢迎的基础模型,如今火热的大型语言模型,多模态大模型均由不同类型的Transfo...
阅读原文

真实再现生物脊柱功能,老鼠机器人也能像杰瑞一样灵活,Science Robotics 发布老鼠机器人最新研究成果

机器之心专栏机器之心编辑部12 月 7日,国际知名学术期刊《Science Robotics》发表来自德国慕尼黑工业大学和中山大学的研究团队的研究文章——「Lateral Flexio...
阅读原文

PyTorch造大模型“加速包”,不到1000行代码提速10倍!英伟达科学家:minGPT以来最好的教程式repo之一

西风 发自 凹非寺量子位 | 公众号 QbitAIPyTorch团队让大模型推理速度加快了10倍。且只用了不到1000行的纯原生PyTorch代码!项目名为GPT-fast,加速效果观感...
阅读原文

简化版Transformer来了,网友:年度论文

机器之心报道机器之心编辑部从大模型的根源开始优化。Transformer 架构可以说是近期深度学习领域许多成功案例背后的主力军。构建深度 Transformer 架构的一种...
阅读原文

M3 iMac 评测:撬动 Intel 钉子户的又一台利器

理想的家用电脑在 Mac 过渡自研芯片的两年半之后,我仍然使用着三年前 iMac 的谢幕之作。这台机器堪称 Intel 的末代机皇:10 核心 i9-10910 处理器,16GB 显...
阅读原文

iQOO 12 系列:电竞性能旗舰,从未如此优雅

但独属于赛道的风驰电掣,却又和日常的舒心闲适,形成了一个明显的对立面。在将速度具象化的夸张外观之下,性能赛车大多都选择了极致轻量化的内饰设计,车内...
阅读原文

爆料!马斯克 xAI 打造的ChatGPT竞品被曝光!

夕小瑶科技说 原创作者 | 王二狗马斯克旗下公司 xAI 的第一款AI模型曝光!名为:Grōk ,有望成为ChatGPT最强竞品!Grōk是什么意思呢?二狗我问了一下GPT-4:G...
阅读原文

聊聊昨日ChatGPT全球宕机,带给我们的警示

夕小瑶科技说 原创作者 | 卖萌酱,王二狗昨日,ChatGPT崩了!许多人发现无论是 ChatGPT 或是 ChatGPT PLUS 都不能正常工作了。还连带了全球数以万计的依赖Cha...
阅读原文

美国收紧向我国出口人工智能芯片的管制

图|匡萃彪文|匡萃彪华尔街日报最新消息:美国商务部长吉娜·雷蒙多告诉记者,她们的目标是限制中国获得可能推动人工智能和高级计算机领域取得突破的先进半导...
阅读原文

大模型生成提速2倍!单GPU几小时搞定微调,北大数院校友共同一作丨开源

萧箫 发自 凹非寺量子位 | 公众号 QbitAI只需给大模型“加点小零件”,推理速度立刻提升2倍!不需要额外训练一个模型,也不需要对计算硬件做优化,单张A100最快...
阅读原文

老黄给H100“打鸡血”:英伟达推出大模型加速包,Llama2推理速度翻倍

克雷西 发自 凹非寺量子位 | 公众号 QbitAI大模型的推理速度,仅仅一个月就提高了一倍!英伟达近日官宣给H100推出了“鸡血包”——专用于LLM推理的加速程序。或许...
阅读原文

不用4个H100!340亿参数Code Llama在Mac可跑,每秒20个token,代码生成最拿手|Karpathy转赞

新智元报道编辑:桃子【新智元导读】现在,34B Code Llama模型已经能够在M2 Ultra上的Mac运行了,而且推理速度超过每秒20个token,背后杀器竟是「投机采样」...
阅读原文
1234