标签:权重

AI赚钱副业~AI生成影视解说,半个月涨粉变现3.5W+!

这两年大家都在感叹生活不易,然而我想说的是,机会还是有的,但问题不在于有没有,而在于你是否能够认准机会,然后抓住它。 接触过很多咨询项目的人,发现...

Meta开源首个量化模型Llama 3.2:减少40%内存,效率提升2倍以上

文章转载自公众号:AIGC开放社区,本文只做学术/技术分享,如有侵权,联系删文。 全球社交巨头Meta开源了首个轻量级量化版模型Llama 3.2,一共有10亿和30亿两...
阅读原文

杰弗里·辛顿:从小语言到大语言,人工智能究竟如何理解人类?

来源:返朴 演讲:杰弗里·辛顿 翻译:陈国华(北京外国语大学外国语言研究所教授)2024 年 4 月 8 日辛顿获得尤利西斯奖章,以表彰他对计算机科学人工智能领...
阅读原文

至高 1.8 倍无损加速!互补量化方案的投机加速

夕小瑶科技说 原创作者 | Juntao Zhao等本文作者来自香港大学和哈尔滨工业大学。其中共同第一作者分别为来自香港大学Netexplo实验室的博士生Juntao Zhao、She...
阅读原文

微软开源爆火1.58bit大模型推理框架!千亿参数模型量化后单CPU可跑,速度每秒5-7个token

西风 发自 凹非寺量子位 | 公众号 QbitAI微软开源1bit大模型推理框架! 现在1000亿参数大模型量化后单CPU可跑,速度可达每秒5-7个token。 比如在苹果M2新品上...
阅读原文

清华开源混合精度推理系统MixQ,实现大模型近无损量化并提升推理吞吐

PACMAN实验室投稿量子位 | 公众号 QbitAI一键部署LLM混合精度推理,端到端吞吐比AWQ最大提升6倍! 清华大学计算机系PACMAN实验室发布开源混合精度推理系统——M...
阅读原文

不敢对比阿里Qwen2.5,Mistral“最强小模型”陷争议,欧洲的OpenAI也不Open了

梦晨 发自 凹非寺量子位 | 公众号 QbitAI欧洲的OpenAI,也不Open了。 Mistral AI发布自称“世界上最好的边缘模型”,却陷入质疑和争议。 不仅因为这一次没有磁...
阅读原文

AI教父Hinton万字访谈: 人类可能只是AI演化过程中的一个过渡阶段

2023 年 5月份,Hinton 宣布离开谷歌,对于 AI 的一系列发言也引起了轩然大波。随后,在 5 月 3 日 MIT 的一场分享上,Hinton 比较完整地讲述了他对于 AI 的...
阅读原文

Sebastian Raschka最新博客:从头开始,用Llama 2构建Llama 3.2

机器之心报道 编辑:蛋酱十天前的 Meta Connect 2024 大会上,开源领域迎来了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。两个版本都是纯文...
阅读原文

TensorRT-LLM保姆级教程(二)-离线环境搭建、模型量化及推理

开讲预约随着大模型的爆火,投入到生产环境的模型参数量规模也变得越来越大(从数十亿参数到千亿参数规模),从而导致大模型的推理成本急剧增加。因此,市面...
阅读原文

100B 的「跨级」跃升!元象发布最大 MoE 开源大模型,「高性能全家桶」系列全部免费

作者 | 华卫 9 月 13 日,元象 XVERSE 发布中国最大 MoE 开源模型:XVERSE-MoE-A36B。该模型总参数 255B,激活参数 36B,能 达到 100B 模型的性能「跨级」跃...
阅读原文

中国最大开源MoE模型,255B参数无条件免费商用,元象发布

允中 发自 凹非寺量子位 | 公众号 QbitAI元象XVERSE发布中国最大MoE开源模型: XVERSE-MoE-A36B,该模型总参数255B,激活参数36B,达到100B模型性能的「跨级...
阅读原文

TensorRT-LLM保姆级教程(一)-快速入门

随着大模型的爆火,投入到生产环境的模型参数量规模也变得越来越大(从数十亿参数到千亿参数规模),从而导致大模型的推理成本急剧增加。因此,市面上也出现...
阅读原文

【万字访谈】AI教父Hinton:招募Ilya、安利黄仁勋、谈大模型的理解、推理、时间尺度、多模态、算法

Geoffrey Hinton接受Sana Labs专访★内容导读:这段访谈中,Geoffrey Hinton 回顾了他漫长的研究生涯,并谈论了人工智能的未来。Hinton 认为: 深度学习的成功...
阅读原文

这就翻车了?Reflection 70B遭质疑基模为Llama 3,作者:重新训练

机器之心报道 编辑:杜伟最近,开源大模型社区再次「热闹」了起来,主角是 AI 写作初创公司 HyperWrite 开发的新模型 Reflection 70B。 它的底层模型建立在 M...
阅读原文

Llama-3不算真开源:今年10月,权威定义就要来了

机器之心报道 编辑:泽南、佳琪你给翻译翻译,什么是开源?开源大模型的标杆 Llama 3,居然都「被闭源」了。今天,开源再次成为了人们讨论的话题。 如今,开...
阅读原文
1237