标签:架构
独家|非 Transformer 开源大模型 RWKV 元始智能已完成种子轮融资
训练出千亿模型依然是 RWKV 当下最能证明自己的事情。作者丨张 进 编辑丨陈彩娴 AI科技评论独家获悉,开源LLM RWKV背后的元始智能,种子轮融资已于1月16日走...
对标OpenAI GPT-4,MiniMax 国内首个 MoE 大语言模型全量上线
作者|冬梅 1 月 16 日,InfoQ 获悉,经过了半个月的部分客户的内测和反馈,MiniMax 全量发布大语言模型 abab6,该模型为国内首个 MoE(Mixture-of-Experts)...
HTAP 在快递行业助力时效分析的落地实践
本文节选自《基础软件之路 - 企业级实践及开源之路》一书,该书集结了中国几乎所有主流基础软件企业的实践案例,由 28 位知名专家共同编写,系统剖析了基础软...
大模型套壳祛魅:质疑套壳,理解套壳|甲子光年
套壳不是核心竞争力,把壳做厚才是。作者|赵健 刚刚过去的 2023 年是大模型元年,在国产大模型数量狂飙突进的同时——已经超过 200 个,“套壳”一直是萦绕在大...
「唤醒」NPC,这家融资过亿的国内创企在做一种很新的游戏
机器之心报道 编辑:张倩、陈萍每次进入游戏,NPC 都说着不一样的台词,这将是一个怎样的世界?在众多游戏类型中,开放世界游戏是非常受欢迎的一种,因为它允...
华为改进Transformer架构!盘古-π解决特征缺陷问题,同规模性能超LLaMA
明敏 发自 凹非寺量子位 | 公众号 QbitAI华为盘古系列,带来架构层面上新! 量子位获悉,华为诺亚方舟实验室等联合推出新型大语言模型架构:盘古-π。 它通过...
你没有看过的全新版本,Transformer数学原理揭秘
机器之心报道 编辑:赵阳近日,arxiv 上发布了一篇论文,对 Transformer 的数学原理进行全新解读,内容很长,知识很多,十二分建议阅读原文。2017 年,Vaswan...
挑战Transformer,华为诺亚新架构盘古π来了,已有1B、7B模型
机器之心专栏 机器之心编辑部5 年前,Transformer 在国际神经信息处理大会 NeurIPS 2017 发表,后续其作为核心网络架构被广泛用于自然语言处理和计算机视觉等...
谁能撼动Transformer统治地位?Mamba作者谈LLM未来架构
机器之心编译 机器之心编辑部自 2017 年被提出以来,Transformer 已成为 AI 大模型的主流架构,未来这种情况是一直持续,还是会有新的研究出现,我们不妨先听...
大模型被偷家!腾讯港中文新研究修正认知:CNN搞多模态不弱于Transfromer
腾讯&港中文团队 投稿量子位 | 公众号 QbitAI在Transformer占据多模态工具半壁江山的时代,大核CNN又“杀了回来”,成为了一匹新的黑马。 腾讯AI实验室与港...
让大模型操纵无人机,北航团队提出具身智能新架构
赵浩然 投稿量子位 | 公众号 QbitAI进入多模态时代,大模型也会操纵无人机了!只要视觉模块捕捉到启动条件,大模型这个“大脑”就会生成动作指令,接着无人机便...
戴琼海院士:开源后在 AlpacaEval 直追 GPT4,零一靠技术如何重建生态信心
来源:AI科技大本营斯坦福大学研发的大语言模型评测 AlpacaEval Leaderboard 备受业内认可,在 2023 年 12 月 7 日 更新的排行榜中,Yi-34B-Chat 以 94.08% ...
丢掉注意力的扩散模型:Mamba带火的SSM被苹果、康奈尔盯上了
机器之心报道机器之心编辑部替代注意力机制,SSM 真的大有可为?为了用更少的算力让扩散模型生成高分辨率图像,注意力机制可以不要,这是康奈尔大学和苹果的...
进入苹果最神秘的芯片实验室,回顾苹果历代CPU构架,展现3万亿公司成长之路
新智元报道编辑:alan 润【新智元导读】苹果创造了资本主义历史上最成功的产品,成为第一家市值达到1万亿美元的企业。让我们一起探究苹果最神秘的芯片研发部...
上云还是下云:章文嵩博士解读真正的云原生 Kafka 十倍降本方案!
作者|章文嵩、周新宇 策划 | Tina近日,AutoMQ 团队发布了基于云的开源云原生 Kafka——AutoMQ for Kafka,所有的代码采用 Apache 2.0 开源许可。AutoMQ 充分...