标签:参数
AI赚钱副业~AI生成影视解说,半个月涨粉变现3.5W+!
这两年大家都在感叹生活不易,然而我想说的是,机会还是有的,但问题不在于有没有,而在于你是否能够认准机会,然后抓住它。 接触过很多咨询项目的人,发现...
Scaling Law或将终结?哈佛MIT预警:低精度量化已无路可走,重磅研究掀翻AI圈
新智元报道编辑:桃子 LRS 【新智元导读】哈佛斯坦福MIT等机构首次提出「精度感知」scaling law,揭示了精度、参数规模、数据量之间的统一关系。数据量增加,...
Token化一切,甚至网络!北大&谷歌&马普所提出TokenFormer,Transformer从来没有这么灵活过!
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
首个多模态连续学习综述,港中文、清华、UIC联合发布
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
finetune后的模型参数,还可以继续怎么玩?
大会预告12月5日-6日,2024中国生成式AI大会(上海站)将举办。上海科大助理教授、博导顾家远,腾讯优图实验室天衍研究中心负责人吴贤,银河通用机器人合伙人...
有生命的AI?AI Agent的应用可不只游戏NPC|对话超参数科技
视点 发自 凹非寺量子位|公众号 QbitAIAI与游戏一直以来都是相辅相成的关系。 过去,AI在游戏中不断训练升级,电子游戏、象棋、围棋都曾是AI的训练场。如今...
微软开源爆火1.58bit大模型推理框架!千亿参数模型量化后单CPU可跑,速度每秒5-7个token
西风 发自 凹非寺量子位 | 公众号 QbitAI微软开源1bit大模型推理框架! 现在1000亿参数大模型量化后单CPU可跑,速度可达每秒5-7个token。 比如在苹果M2新品上...
NeurIPS 2024 Oral | 小参数,大作为!揭秘非对称 LoRA 架构的高效性能
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
Jurgen、曼宁等大佬新作:MoE重塑6年前的Universal Transformer,高效升级
机器之心报道 编辑:杜伟、蛋酱7 年前,谷歌在论文《Attention is All You Need》中提出了 Transformer。就在 Transformer 提出的第二年,谷歌又发布了 Unive...
冲出“包围圈”,阶跃星辰登顶国内多模态理解大模型榜首
说起阶跃星辰,可以说是 AI 六小强中最低调的一个,但最近这家公司在 AI 圈里频频“闹出动静”。 前几天,中文大模型基准测评机构 SuperCLUE 发布了 10 月中文...
学生最伟大的新研究!书里的斜坡实验、透镜变化规律用AI都动起来了
夕小瑶科技说 分享来源 | 机器之心原来物理还能这么学。 学习物理,不同的人自然有不同的经历。一些人觉得物理课简单直观,但另一些人却认为它抽象又反直觉,...
OpenAI今天Open了一下:开源多智能体框架Swarm
夕小瑶科技说 分享来源 | 机器之心毫无疑问,多智能体肯定是 OpenAI 未来重要的研究方向之一,前些天 OpenAI 著名研究科学家 Noam Brown还在 X 上为 OpenAI ...
NeurIPS 2024 | 大模型的词表大小,同样适用于Scaling Law
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
微调大模型,AMD MI300X就够了!跟着这篇博客微调Llama 3.1 405B,效果媲美H100
机器之心报道 机器之心编辑部随着 AI 模型的参数量越来越大,对算力的需求也水涨船高。 比如最近,Llama-3.1 登上了最强开源大模型的宝座,但超大杯 405B 版...
图解大模型训练之:数据并行上篇(DP, DDP与ZeRO)
GTIC 2024中国AI PC创新峰会将于10月11日,在2024上海国际消费电子展TechG同期举办。联想集团首席研究员颜毅强、荣耀终端有限公司PC产品研发系统部部长席迎军...