标签:分词

干货满满!大神Karpathy两小时AI大课文字版第一弹,全新工作流自动把视频转成文章

新智元报道编辑:桃子 【新智元导读】「从头开始构建GPT分词器」文字版来了。前段时间,AI大神Karpathy上线的AI大课,已经收获了全网15万次播放量。 当时还有...
阅读原文

ChatGPT突然疯了,意外输出震惊网友!OpenAI官方回应:token预测是根源​

新智元报道编辑:桃子 【新智元导读】‍ChatGPT突然失去理智,被网友们吵翻了天。许多用户在请求ChatGPT问题时,发现它开始胡言乱语,大篇重复。不一会儿,Ope...
阅读原文

Karpathy离职OpenAI,首发2小时AI大课!从头开始构建GPT分词器

新智元报道编辑:桃子 【新智元导读】果不其然,继放出BPE的GitHub代码后,Karpathy终于上线了「从头构建GPT分词器」的课程,引来大波网友关注。离职OpenAI的...
阅读原文

Karpathy新视频又火了:从头构建GPT Tokenizer

丰色 鱼羊 发自 凹非寺量子位 | 公众号 QbitAI技术大神卡帕西离职OpenAI以后,营业可谓相当积极啊。 这不,前脚新项目刚上线,后脚全新的教学视频又给大伙整...
阅读原文

离开OpenAI的大神卡帕西「开课了」:新项目日增千星,还是熟悉的min代码风

鱼羊 发自 凹非寺量子位 | 公众号 QbitAI大神Karpathy从OpenAI离职,原本扬言要大休一周。 但转眼,新项目就已上线GitHub,日增上千星的那种。 还是熟悉的卡...
阅读原文

离开OpenAI待业的Karpathy做了个大模型新项目,Star量一日破千

机器之心报道 编辑:杜伟没工作也要「卷」。闲不下来的 Andrej Karpathy 又有了新项目! 过去几天,OpenAI 非常热闹,先有 AI 大牛 Andrej Karpathy 官宣离职...
阅读原文

每周编辑精选|FewJoint 基准数据集上线、科技部监督司发布 AI 新规

小样本学习 (Few-shot Learning) 是指像人类一样能够通过很少的样本来学习掌握新任务。这一领域已经成为机器学习社区的热点,并被认为是推动机器智能接近人类...
阅读原文

ICLR 2024|把图像视为外语,快手、北大多模态大模型媲美DALLE-3

机器之心报道 机器之心编辑部动态视觉分词统一图文表示,快手与北大合作提出基座模型 LaVIT 刷榜多模态理解与生成任务。 当前的大型语言模型如 GPT、LLaMA 等...
阅读原文

大模型笔记!以LLAMA为例,快速入门LLM的推理过程

直播预告 | 下周一晚7点,「自动驾驶新青年讲座」第35讲正式开讲,LMDrive一作、香港中文大学MMLab在读博士邵昊将主讲《LMDrive:大语言模型加持的闭环端到端...
阅读原文

视觉分词器统一图文信息,快手提出基座模型 LaVIT 刷榜多模态任务

夕小瑶科技说 原创作者 | 智商掉了一地、Python你是否想过,有朝一日能够仅输入寥寥数语或图片,就可以一键检索最为匹配的短视频内容。不是凭借视频标签、也...
阅读原文

大语言模型击败扩散模型!视频图像生成双SOTA,谷歌CMU最新研究,一作北大校友

白交 发自 凹非寺量子位 | 公众号 QbitAI语言模型击败扩散模型,在视频和图像生成上实现双SOTA!这是来自谷歌CMU最新研究成果。据介绍,这是语言模型第一次在...
阅读原文

词表的选择如何影响语言模型训练?这可能是目前见过最好的词表选择研究

机器之心报道编辑:赵阳本文初步探讨了不同类型的词表对语言模型训练所产生的影响,研究者使用了 12 个小型的语言模型及 4 个中型的语言模型作为实验对象,并...
阅读原文

揭秘iPhone里的Transformer:基于GPT-2架构,分词器含emoji,MIT校友出品

鱼羊 发自 凹非寺量子位 | 公众号 QbitAI苹果Transformer的“秘密”,让发烧友给扒出来了。大模型浪潮下,即使保守如苹果,也每逢发布会必提“Transformer”。比...
阅读原文
12