标签：专家
港大新型图基础模型AnyGraph：挑战Scaling Law，精准建模多样化结构模式和特征空间
AnyGraph团队 投稿量子位 | 公众号 QbitAI新型图基础模型来了—— AnyGraph，基于图混合专家（MoE）架构，专门为实现图模型跨场景泛化而生。 通过MoE架构、路由...
100B 的「跨级」跃升！元象发布最大 MoE 开源大模型，「高性能全家桶」系列全部免费
作者 | 华卫 9 月 13 日，元象 XVERSE 发布中国最大 MoE 开源模型：XVERSE-MoE-A36B。该模型总参数 255B，激活参数 36B，能 达到 100B 模型的性能「跨级」跃...
中国最大开源MoE模型，255B参数无条件免费商用，元象发布
允中 发自 凹非寺量子位 | 公众号 QbitAI元象XVERSE发布中国最大MoE开源模型： XVERSE-MoE-A36B，该模型总参数255B，激活参数36B，达到100B模型性能的「跨级...
国产最大MoE开源模型发布！腾讯AI Lab创始人带队，已融2亿美元
2550亿参数、免费可商用，前腾讯副总裁创业。 编辑|香草 智东西9月13日报道，今日，大模型创企元象XVERSE发布国内最大MoE开源模型XVERSE-MoE-A36B，其总参数2...
MoE再下一城！港大提出AnyGraph：首次开启「图大模型」Scaling Law之路
新智元报道编辑：LRST 【新智元导读】AnyGraph聚焦于解决图数据的核心难题，跨越多种场景、特征和数据集进行预训练。其采用混合专家模型和特征统一方法处理结...
港大黄超团队推出AnyGraph, 首次揭秘图大模型的Scaling Law
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...
幻方AI ESFT：针对 MoE 的高效微调方案，媲美全参微调
生成式AI时代最火AI芯片峰会下月来袭！9月6-7日，智猩猩发起主办的2024全球AI芯片峰会将在北京盛大举行。峰会设有开幕式、数据中心AI芯片专场、边缘/端侧AI芯...
HyperAI超神经 x MoonBit | 第4期Meetup暨编程大赛开幕，大模型时代下编程实践与前沿发展
MoonBit 第四期 Meetup 来啦！HyperAI超神经邀您共同参赛~ 2024 年 9 月 1 日，MoonBit 将携手多位专家、老师在深圳这座创新的城市，举办 Meetup 第四期暨 Mo...
算法、系统和应用，三个视角全面读懂混合专家（MoE）
机器之心报道 编辑：Panda WLLM 很强，而为了实现 LLM 的可持续扩展，有必要找到并实现能提升其效率的方法，混合专家（MoE）就是这类方法的一大重要成员。最...
138 亿美元的 Scale AI：解决正确的问题，做「技术含量最低」的生意
Scale AI 的创始人 8 年前意识到，所有干 AI 的都认为数据至关重要，但没多少人把数据当成主业。 他从 MIT 辍学，创业做数据标注。 2016 年，Alex Wang 成立 ...
华为GTS LocMoE+：高可扩展性亲和度 MoE 架构，低开销实现主动路由
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术...
MoE也有Scaling Law，「百万专家」利用率近100%！DeepMind华人挑战MoE极限
新智元报道编辑：编辑部 【新智元导读】MoE已然成为AI界的主流架构，不论是开源Grok，还是闭源GPT-4，皆是其拥趸。然而，这些模型的专家，最大数量仅有32个。...
生成式模型不只会「模仿」！哈佛、UCSB等最新成果：性能可超越训练集专家水平
新智元报道编辑：LRS 【新智元导读】生成式模型原本被设计来模仿人类的各种复杂行为，但人们普遍认为它们最多只能达到与其训练数据中的专家相当的水平。不过...
单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE
机器之心报道 编辑：泽南、杜伟释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。标准 Transformer 架构中的前馈（FFW）层会随着隐藏层宽度的增...
从零实现一个MOE（专家混合模型）
7月11日19点，「智猩猩自动驾驶新青年讲座」第36讲将开讲，主讲理想汽车最新成果：基于MLLM的闭环规划智能体PlanAgent，由理想汽车实习研究员、中国科学院自...
粤公网安备 44011502001135号