标签:参数

AI赚钱副业~AI生成影视解说,半个月涨粉变现3.5W+!

这两年大家都在感叹生活不易,然而我想说的是,机会还是有的,但问题不在于有没有,而在于你是否能够认准机会,然后抓住它。 接触过很多咨询项目的人,发现...

Scaling Law或将终结?哈佛MIT预警:低精度量化已无路可走,重磅研究掀翻AI圈

新智元报道编辑:桃子 LRS 【新智元导读】哈佛斯坦福MIT等机构首次提出「精度感知」scaling law,揭示了精度、参数规模、数据量之间的统一关系。数据量增加,...
阅读原文

Token化一切,甚至网络!北大&谷歌&马普所提出TokenFormer,Transformer从来没有这么灵活过!

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
阅读原文

首个多模态连续学习综述,港中文、清华、UIC联合发布

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
阅读原文

finetune后的模型参数,还可以继续怎么玩?

大会预告12月5日-6日,2024中国生成式AI大会(上海站)将举办。上海科大助理教授、博导顾家远,腾讯优图实验室天衍研究中心负责人吴贤,银河通用机器人合伙人...
阅读原文

从能量角度看AI模型训练过程

说 AI 模型训练之前先说个引子。 人体消耗能量最多的器官是大脑,人脑几乎每时每刻都在消耗能量进行思考活动,甚至睡觉的时候都停不下来。 与人体大脑能量消...
阅读原文

有生命的AI?AI Agent的应用可不只游戏NPC|对话超参数科技

视点 发自 凹非寺量子位|公众号 QbitAIAI与游戏一直以来都是相辅相成的关系。 过去,AI在游戏中不断训练升级,电子游戏、象棋、围棋都曾是AI的训练场。如今...
阅读原文

微软开源爆火1.58bit大模型推理框架!千亿参数模型量化后单CPU可跑,速度每秒5-7个token

西风 发自 凹非寺量子位 | 公众号 QbitAI微软开源1bit大模型推理框架! 现在1000亿参数大模型量化后单CPU可跑,速度可达每秒5-7个token。 比如在苹果M2新品上...
阅读原文

NeurIPS 2024 Oral | 小参数,大作为!揭秘非对称 LoRA 架构的高效性能

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
阅读原文

Jurgen、曼宁等大佬新作:MoE重塑6年前的Universal Transformer,高效升级

机器之心报道 编辑:杜伟、蛋酱7 年前,谷歌在论文《Attention is All You Need》中提出了 Transformer。就在 Transformer 提出的第二年,谷歌又发布了 Unive...
阅读原文

冲出“包围圈”,阶跃星辰登顶国内多模态理解大模型榜首

说起阶跃星辰,可以说是 AI 六小强中最低调的一个,但最近这家公司在 AI 圈里频频“闹出动静”。 前几天,中文大模型基准测评机构 SuperCLUE 发布了 10 月中文...
阅读原文

学生最伟大的新研究!书里的斜坡实验、透镜变化规律用AI都动起来了

夕小瑶科技说 分享来源 | 机器之心原来物理还能这么学。 学习物理,不同的人自然有不同的经历。一些人觉得物理课简单直观,但另一些人却认为它抽象又反直觉,...
阅读原文

OpenAI今天Open了一下:开源多智能体框架Swarm

夕小瑶科技说 分享来源 | 机器之心毫无疑问,多智能体肯定是 OpenAI 未来重要的研究方向之一,前些天 OpenAI 著名研究科学家 Noam Brown还在 X 上为 OpenAI ...
阅读原文

NeurIPS 2024 | 大模型的词表大小,同样适用于Scaling Law

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
阅读原文

微调大模型,AMD MI300X就够了!跟着这篇博客微调Llama 3.1 405B,效果媲美H100

机器之心报道 机器之心编辑部随着 AI 模型的参数量越来越大,对算力的需求也水涨船高。 比如最近,Llama-3.1 登上了最强开源大模型的宝座,但超大杯 405B 版...
阅读原文

图解大模型训练之:数据并行上篇(DP, DDP与ZeRO)

GTIC 2024中国AI PC创新峰会将于10月11日,在2024上海国际消费电子展TechG同期举办。联想集团首席研究员颜毅强、荣耀终端有限公司PC产品研发系统部部长席迎军...
阅读原文
12316