标签:因果

机器学习框架NIS+:通过最大化有效信息识别“因果涌现” | NSR

机器学习技术难以捕捉复杂系统中的涌现现象(比如鸟群的集群行为、生命游戏中出现的复杂模式等),这阻碍了对复杂系统演化的预测。近日,北京师范大学系统科...
阅读原文

重磅:AI机制可解释性的理论基础:抽象因果

来源:图灵人工智能 Causal Abstraction:A Theoretical Foundation for Mechanistic Interpretability https://arxiv.org/pdf/2301.04709 v3 2024 摘要 因果...
阅读原文

新PyTorch API:几行代码实现不同注意力变体,兼具FlashAttention性能和PyTorch灵活性

机器之心报道 编辑:陈陈用 FlexAttention 尝试一种新的注意力模式。理论上,注意力机制就是你所需要的一切。然而在实际操作中,我们还需要优化像 FlashAtten...
阅读原文

小技巧大功效,「仅阅读两次提示」让循环语言模型超越Transformer++

机器之心报道 编辑:杜伟在当前 AI 领域,大语言模型采用的主流架构是 Transformer。不过,随着 RWKV、Mamba 等架构的陆续问世,出现了一个很明显的趋势:在...
阅读原文

公理训练让LLM学会因果推理:6700万参数模型比肩万亿参数级GPT-4

机器之心报道 编辑:Panda把因果链展示给 LLM,它就能学会公理。AI 已经在帮助数学家和科学家做研究了,比如著名数学家陶哲轩就曾多次分享自己借助 GPT 等 AI...
阅读原文

6700万参数比肩万亿巨兽GPT-4!微软MIT等联手破解Transformer推理密码

新智元报道编辑:桃子 乔杨 【新智元导读】来自微软、MIT等机构的学者提出了一种创新的训练范式,攻破了大模型的推理缺陷。他们通过因果模型构建数据集,直接...
阅读原文

LeCun转发,AI让失语者重新说话!纽约大学发布全新「神经-语音」解码器|Nature子刊

新智元报道编辑:LRT 【新智元导读】通过采集皮层电图(ECoG)的数据信号,模型可以将其转换为可解释的语音参数(如音高,响度,共振峰频率等),并合成出既...
阅读原文

脑电合成自然语音!LeCun转发Nature子刊新成果,代码开源

Xupeng 投稿量子位 | 公众号 QbitAI脑机接口最新进展登上Nature子刊,深度学习三巨头之一的LeCun都来转发。 这次是用神经信号进行语音合成,帮助因神经系统缺...
阅读原文

大模型如何用因果性?最新《大型语言模型与因果推断在协作中的应用》全面综述

来源:专知 因果推断在提高自然语言处理(NLP)模型的预测准确性、公平性、鲁棒性和可解释性方面显示出潜力,它通过捕捉变量间的因果关系来实现这一点。生成...
阅读原文

UC伯克利发现GPT-4惊人缺陷:儿童从经验中学习因果,LLM却不行

新智元报道编辑:拉燕【新智元导读】最近,UC伯克利的一项研究揭示了LLM和小孩子们在认知上的一项重要差别——创造新的因果结构的能力。大家有没有想过一个问题...
阅读原文

计算力学:量化涌现的又一条路径

导语因果涌现一直关注的一个核心问题,是量化复杂系统的涌现现象。从生命游戏的斑图,到大脑产生意识,我们希望不只是停留在定性的讨论上,而是能够定量刻画...
阅读原文

什么是涌现?人工智能给你答案

导语涌现是复杂系统诸多现象中最神秘莫测的一个:从鸟群聚集、蚂蚁觅食,到生命游戏、大模型涌现能力,再到宇宙起源、生命演化、意识产生,都可以看作是涌现...
阅读原文