标签:函数

综合RLHF、DPO、KTO优势,统一对齐框架UNA来了

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
阅读原文

Python程序到计算图一键转化,详解清华开源深度学习编译器MagPy

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
阅读原文

KAN 1.0到2.0:构建全新神经网络结构,开创AI+Science大统一新范式

导语今年4月,Max Tegmark 团队发布了一种崭新的深度学习网络结构 Kolmogorov-Arnold Network(简称KAN) 后迅速引起轰动,论文一作刘子鸣在集智俱乐部 AI+Sc...
阅读原文

Pandas中使用pivot_table函数进行高级数据汇总

大数据文摘受权转载自机器学习算法与Python实战 Pandas的pivot_table函数是一个强大的数据分析工具,可以帮助我们快速地对数据进行汇总和重塑。 本文将详细介...
阅读原文

使神经网络更容易理解,促进科学发现,MIT刘子鸣团队新架构

来源:ScienceAI 编译:白菜叶 「神经网络是目前人工智能领域最强大的工具。」Perimeter Institute for Theoretical Physics 的研究员 Sebastian Wetzel 表示...
阅读原文

KAN结合Transformer,真有团队搞出了解决扩展缺陷的KAT

机器之心报道 编辑:小舟、陈陈Transformer 是现代深度学习的基石。传统上,Transformer 依赖多层感知器 (MLP) 层来混合通道之间的信息。 前段时间,来自 MIT...
阅读原文

Sigmoid注意力一样强,苹果开始重新审视注意力机制

机器之心报道 机器之心编辑部注意力是 Transformer 架构的关键部分,负责将每个序列元素转换为值的加权和。将查询与所有键进行点积,然后通过 softmax 函数归...
阅读原文

ECCV 2024 | 探索离散Token视觉生成中的自适应推理策略

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术...
阅读原文

KAN干翻MLP,开创神经网络新范式!一个数十年前数学定理,竟被MIT华人学者复活了

新智元报道编辑:桃子 【新智元导读】KAN的诞生,开启了机器学习的新纪元!而这背后,竟是MIT华人科学家最先提出的实践想法。从KAN到KAN 2.0,这个替代MLP全...
阅读原文

斯坦福最新理论研究:RLHF中奖励过度优化现象也存在Scaling Laws

大数据文摘授权转载自将门创投 作者:seven_ 可以说,人类反馈强化学习 (RLHF) 是一把解锁大型语言模型(LLMs)涌现能力的金钥匙。它使拥有庞大参数规模的语言...
阅读原文

30行代码,500万长文本推理提速8倍!「树注意力」让GPU越多省的越多

梦晨 发自 凹非寺量子位 | 公众号 QbitAI跨GPU的注意力并行,最高提速8倍,支持512万序列长度推理。 环注意力(Ring Attention)后继者——树注意力(Tree Atte...
阅读原文

AI顶会ICML收了一篇论文:没算法没实验

蔡永强 投稿量子位 | 公众号 QbitAI没有算法没有实验,从2610篇收录论文中脱颖而出,成为唯一一篇纯理论入选2024 ICML Spotlight的论文。 “Vocabulary for Un...
阅读原文

黎曼猜想的新突破

来源:老胡说科学 素数是指那些除了1和自身以外,无法被其他正整数整除的数,比如2、3、5、7、11、13……它们的神秘之处在于,我们无法完全理解并预测它们在数...
阅读原文

小模型狂飙!6家巨头争相发布小模型,Andrej Karpathy:大语言模型的尺寸竞争正在倒退…

夕小瑶科技说 原创作者 | 21#过去一周,可谓是小模型战场最疯狂的一周,商业巨头改变赛道,向大模型say byebye~。 OpenAI、Apple、Mistral等“百花齐放”,纷纷...
阅读原文

反转了?在一场新较量中,号称替代MLP的KAN只赢一局

机器之心报道 机器之心编辑部KAN 在符号表示中领先,但 MLP 仍是多面手。 多层感知器 (Multi-Layer Perceptrons,MLP) ,也被称为全连接前馈神经网络,是当今...
阅读原文
12347