独家｜非 Transformer 开源大模型 RWKV 元始智能已完成种子轮融资

AIGC动态欢迎阅读

原标题：独家｜非 Transformer 开源大模型 RWKV 元始智能已完成种子轮融资
关键字：模型,架构,参数,人类,版本
文章来源：AI科技评论
内容字数：4004字

内容摘要：

训练出千亿模型依然是 RWKV 当下最能证明自己的事情。作者丨张 进
编辑丨陈彩娴
AI科技评论独家获悉，开源LLM RWKV背后的元始智能，种子轮融资已于1月16日走完工商变更，由陆奇于2018年创立的奇绩创坛和某匿名投资者投资，目前元始智能已开始继续融第二轮。
RWKV是国产开源的首个非Transformer架构的大语言模型，目前已经迭代到第六代RWKV-6。它的作者彭博在2022年5月开始训练RWKV-2，当时只有1亿（100M）参数规模，后续在2023年3月训练了RWKV-4 140亿（14B）参数版本。
RWKV-5的15亿和30亿参数版本已发布，且70亿参数版本会在2024年1月发布。而RWKV-6的15亿和30亿参数版本将在2024年2月发布，然后将继续训练70亿和140亿参数版本。
RWKV-5和RWKV-6系列的特点是，支持全球100+种语言，也支持几十种编程语言，目前可以在 https://www.rwkv.com/页面上的链接，体验在线Demo。
彭博香港大学物理系本科毕业，此前在香港对冲基金做过多年的量化交易，也在深圳做过智能硬件。在2020年，因为对AIGC小

原文链接：独家｜非 Transformer 开源大模型 RWKV 元始智能已完成种子轮融资

联系作者

文章来源：AI科技评论
作者微信：aitechtalk
作者简介：雷峰网旗下AI新媒体。聚焦AI前沿研究，关注AI工程落地。