标签:参数

掏空Inflection之后,微软自研5000亿参数大模型MAI-1曝光,前DeepMind高管带队

不需要OpenAI,微软或许也会成为AI领头羊! 外媒Information爆料称,微软内部正在开发自家首款5000亿参数的大模型MAl-1。 这恰好是,纳德拉带领团队证明自己...
阅读原文

挑战OpenAI,微软自研5000亿参数绝密武器曝光!前谷歌DeepMind高管带队

新智元报道编辑:桃子 好困 【新智元导读】没有OpenAI,微软还有万全之策!首个5000亿参数大模型MAl-1正在研发,前谷歌DeepMind负责人领衔,预计5月底亮相。...
阅读原文

爆火后反转?「一夜干掉MLP」的KAN:其实我也是MLP

机器之心报道 编辑:蛋酱、张倩KAN 作者:我想传达的信息不是「KAN 很棒」,而是「尝试批判性地思考当前的架构,并寻求从根本上不同的替代方案,这些方案可以...
阅读原文

手机可跑,3.8B参数量超越GPT-3.5!微软发布Phi-3技术报告:秘密武器是洗干净数据

新智元报道编辑:LRS 【新智元导读】Scaling Laws再次失效?微软最新的phi-3-mini模型,只用3.8B模型就击败了一众7B老大哥,用iPhone14每秒可生成12个tokens...
阅读原文

MLP一夜掉,全新神经网络架构KAN破纪录!MIT华人一作,轻松复现Nature封面AI数学研究

夕小瑶科技说 分享来源 | 量子位一种全新的神经网络架构KAN,诞生了! 与传统的MLP架构截然不同,且能用更少的参数在数学、物理问题上取得更高精度。 比如,2...
阅读原文

瑜伽球上遛「狗」!入选英伟达十大项目之一的Eureka有了新突破

机器之心报道 编辑:陈萍机器狗在瑜伽球上稳稳当当的行走,平衡力那是相当的好:各种场景都能拿捏,不管是平坦的人行道、还是充满挑战的草坪都能 hold 住:甚...
阅读原文

打破「非此即彼」,平衡 AI 与物理,中国科学院提出建立可学习的气候模型

将 ScienceAI设为星标 第一时间掌握 新鲜的 AI for Science 资讯平衡 AI-物理模型示意图。 编辑 |X 人工智能(AI)迅速发展,大模型正在重新定义我们理解和应...
阅读原文

MLP一夜掉!MIT加州理工等性KAN破记录,发现数学定理碾压DeepMind

新智元报道编辑:桃子 LRS 【新智元导读】无需怀念MLP,新网络KAN基于柯尔莫哥洛夫-阿诺德定理,带着更少的参数、更强的性能、更好的可解释性来了,深度学习...
阅读原文

全新神经网络架构KAN一夜爆火!200参数顶30万,MIT华人一作,轻松复现Nature封面AI数学研究

白交 衡宇 发自 凹非寺量子位 | 公众号 QbitAI一种全新的神经网络架构KAN,诞生了! 与传统的MLP架构截然不同,且能用更少的参数在数学、物理问题上取得更高...
阅读原文

苹果首次公布开源大模型,加紧和OpenAI谈判,我们从中找到了AI iPhone的细节

AI iPhone 怎么做?开源最近成了 AI 圈绕不开的高频热门词汇。 先有 Mistral 8x22B 闷声干大事,后有 Meta Llama 3 模型深夜炸场,现在连苹果也要下场参加这...
阅读原文

大模型MoE的前世今生,10个模型一文搞懂!

2024年3、4月这段时间,很多MoE模型扎堆发布,包括Qwen1.5-MoE、DBRX、Jamba和Mistral等。 下面这个表格列出了部分近期发布的MoE工作MoE模型目前风头正劲,就...
阅读原文

让大模型不再「巨无霸」,这是一份最新的大模型参数高效微调综述

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
阅读原文

阿里开源110B大模型!超越LLama3!

4月26日晚间,阿里正式发布了110B的千问1.5开源大模型。 110B是中文开源模型的最大尺寸,用了GQA,32k上下文,除了中文能力亮眼,英文表现效果好于LLama3 70B...
阅读原文

LLM爆发的一周!Apple开源OpenELM(270M、450M、1.1B 和 3B)

Apple今天发布并开源OpenELM系列模型(270M、450M、1.1B 和 3B)!还包括了在公开可用数据集上训练和评估语言模型的完整框架,包括训练日志、多个checkpoint ...
阅读原文

全球最大开源模型再刷爆纪录!4800亿参数MoE击败Llama 3、Mixtral

新智元报道编辑:编辑部 【新智元导读】最大开源模型,再次刷爆纪录!Snowflake的Arctic,以128位专家和4800亿参数,成为迄今最大的开源模型。它的特点,是又...
阅读原文
15678916