标签:阶段

图解Mixtral 8 * 7b推理优化原理与源码实现

智猩猩与智东西将于4月18-19日在北京共同举办2024中国生成式AI大会,阿里巴巴通义千问大模型技术负责人周畅,潞晨科技创始人尤洋,生数科技CEO唐家渝,优必选...
阅读原文

复旦发布ToolSword框架,揭露大模型工具学习中的安全风险

夕小瑶科技说 原创作者 | 芒果、Python引言:工具学习在实际部署大型语言模型中的重要性在当今的人工智能领域,大语言模型(LLMs)的实际部署已成为一个热门...
阅读原文

生成速度快SDXL一倍,9GB GPU也能运行,Stable Cascade来搞性价比了

机器之心报道 编辑:大盘鸡硬件要求越来越低,生成速度越来越快。Stability AI 作为文本到图像的「元老」,不仅在引领该领域的潮流方向,也在模型质量上一次...
阅读原文

AI看视频自动找“高能时刻”|字节&中科院自动化所@AAAI 2024

梦晨 发自 凹非寺量子位 | 公众号 QbitAI大家看视频用过“高光时刻”功能吗? 观众可以直接空降到精彩时刻,主播也可以从长时间直播录像中复盘自己的表现。 字...
阅读原文

比A100性价比更高!FlightLLM让大模型推理不再为性能和成本同时发愁

机器之心专栏 机器之心编辑部大语言模型在端侧的规模化应用对计算性能、能效比需求的“提拽式”牵引,在算法与芯片之间,撕开了一道充分的推理竞争场。 面对想...
阅读原文

AAAI 2024:大模型如何掌握复杂工具?看孔子框架的教学之道

夕小瑶科技说 原创作者 | 智商掉了一地、Python 如今,大型语言模型(LLM)发展飞速,在文本和图像生成方面表现都很出色,但在我们的实际生活中,要理解和正...
阅读原文

只需一张图片、一句动作指令,Animate124轻松生成3D视频

机器之心专栏 机器之心编辑部Animate124,轻松将单张图片变成 3D 视频。近一年来,DreamFusion 引领了一个新潮流,即 3D 静态物体与场景的生成,这在生成技术...
阅读原文

一文剖析GPT推断中的批处理(Batching)效应

来源:PaperWeekly作者:陈乐群学校:华盛顿大学博士生研究方向 :机器学习系统及分布式系统机器学习模型依赖于批处理(Batching)来提高推断吞吐量,尤其是...
阅读原文

OpenAI内斗时,Karpathy在录视频:《大型语言模型入门》上线

机器之心报道编辑:杜伟赶紧学习起来吧!OpenAI 的风波暂时告一段落,员工也忙着「干活了」。年初回归 OpenAI 的 Andrej Karpathy 最近做了一场关于大型语言...
阅读原文

ChatGPT只算L1阶段,谷歌提出AGI完整路线图

丰色 发自 凹非寺量子位 | 公众号 QbitAIAGI应该如何发展、最终呈什么样子?现在,业内第一个标准率先发布:AGI分级框架,来自谷歌DeepMind。该框架认为,发...
阅读原文

GPU推理提速4倍,256K上下文全球最长:无问芯穹刷新大模型优化记录

机器之心报道机器之心编辑部想用大模型赚钱?这个实力强劲的新面孔决定先把推理成本打下来。大模型业务到底多烧钱?前段时间,华尔街日报的一则报道给出了参...
阅读原文

让大模型真正学会1+1=2!谷歌教会模型自动学习推理规则,大模型的幻觉有救了

夕小瑶科技说 原创作者 | 谢年年在初学算术加法或乘法时,我们通过数小棍的方式逐步从1+1=2,1+2=3等例子中得出1+3=4,这是一种依赖记忆中的数学表格进行演绎...
阅读原文

DeepMind让大模型学会归纳和演绎,GPT-4准确率提升13.7%

机器之心报道机器之心编辑部当前,大型语言模型(LLM)在推理任务上表现出令人惊艳的能力,特别是在给出一些样例和中间步骤时。然而,prompt 方法往往依赖于 ...
阅读原文

用暂停token重新训练大模型,AI学会三思而后行

梦晨 发自 凹非寺量子位 | 公众号 QbitAI让ChatGPT给出答案之前多想想步骤,就能提高准确率。那么能不能省去提示词,直接把这种能力内化在大模型里呢?CMU与...
阅读原文

ChatGPT/GPT-4/Llama电车难题大PK!大模型具备道德感吗?

夕小瑶科技说 分享来源 | 新智元作者 | Lumina「模型有道德推理能力吗?」这个问题似乎应该跟模型生成的内容政策挂钩,毕竟我们常见的是「防止模型生成不道德...
阅读原文
1234