标签:算法
Karpathy离职OpenAI,首发2小时AI大课!从头开始构建GPT分词器
新智元报道编辑:桃子 【新智元导读】果不其然,继放出BPE的GitHub代码后,Karpathy终于上线了「从头构建GPT分词器」的课程,引来大波网友关注。离职OpenAI的...
Karpathy新视频又火了:从头构建GPT Tokenizer
丰色 鱼羊 发自 凹非寺量子位 | 公众号 QbitAI技术大神卡帕西离职OpenAI以后,营业可谓相当积极啊。 这不,前脚新项目刚上线,后脚全新的教学视频又给大伙整...
GPT-4可能也在用的推测解码是什么?一文综述前世今生和应用情况
机器之心报道 机器之心编辑部推测解码(Speculative Decoding)是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下,获得 3 倍...
传月之暗面融资10亿美元;马斯克称已掌握Sora类似技术;杨立昆开喷Sora丨AIGC大事日报
02/19 全球AIGC产业要闻 1、马斯克:特斯拉一年前就可生成真实世界视频 2、马斯克连续发文施压OpenAI 3、杨立昆开喷Sora:不理解物理世界 4、谢赛宁否认系Sor...
离开OpenAI的大神卡帕西「开课了」:新项目日增千星,还是熟悉的min代码风
鱼羊 发自 凹非寺量子位 | 公众号 QbitAI大神Karpathy从OpenAI离职,原本扬言要大休一周。 但转眼,新项目就已上线GitHub,日增上千星的那种。 还是熟悉的卡...
AI模拟器拿下物理仿真新SOTA!|SIGGRAPH Asia 2023最佳论文
NFM团队 投稿量子位 | 公众号 QbitAI机器学习让计算机图形学(CG)仿真更真实了! 方法名为神经流向图(Neural Flow Maps,NFM),四个涡旋的烟雾也能精确模...
离开OpenAI待业的Karpathy做了个大模型新项目,Star量一日破千
机器之心报道 编辑:杜伟没工作也要「卷」。闲不下来的 Andrej Karpathy 又有了新项目! 过去几天,OpenAI 非常热闹,先有 AI 大牛 Andrej Karpathy 官宣离职...
大型语言模型的模型压缩与高效推理:综述
来源:专知 基于Transformer的大型语言模型取得了巨大成功。然而,在推理过程中产生的显著内存和计算成本,使得在资源受限的设备上部署大型模型变得具有挑战...
人类偏好优化算法哪家强?跟着高手一文学懂DPO、IPO和KTO
选自 huggingface.co/blog 作者:Kashif Rasul 等 机器之心编译 编辑:赵阳尽管收集人类对模型生成内容的相对质量的标签,并通过强化学习从人类反馈(RLHF)...
中科院半导体所论文再登 TNNLS 顶刊,贡献探索数学表达式的新视角
作者:哇塞 编辑:李宝珠,三羊 中国科学院半导体研究所的研究人员将表达式结构的求解视为分类问题,并通过监督学习进行解决,提出一种名为 DeepSymNet 的符...
大模型×文本水印:清华、港中文、港科广、UIC、北邮联合发布首个大模型时代下的文本水印综述
机器之心专栏 机器之心编辑部本文介绍首个大模型时代下的文本水印综述,由清华、港中文、港科广、UIC、北邮联合发布,全面阐述了大模型时代下文本水印技术的...
基于Python的强化学习库
大数据文摘受权转载自数据派THU 作者:陈之炎1、OpenAI Gym库 OpenAI Gym是一个用于开发和比较强化学习算法的Python库。它提供了一个标准化的环境,使得研究...
五位清华教授团建!从复杂推理到算力瓶颈,他们眼中“通用人工智能” 该如何降临?
来源:圆桌内容来自智谱 AI 技术开放日 圆桌嘉宾 清华大学计算机系教授 黄民烈 清华大学电子工程系教授 汪玉 清华大学计算机系教授 翟季冬 清华大学计算机系...
美版「本科特等奖学金」来了,多位华人学生获奖!1人获「优秀本科研究员」
新智元报道编辑:润 【新智元导读】CRA公布「优秀本科研究员」奖,两名华人学生获奖。他们在本科阶段就取得了非常优异的学术成果,而且相关的研究已经在现实...