NeurIPS23｜视觉 「读脑术」：从大脑活动中重建你眼中的世界

AIGC动态欢迎阅读

原标题：NeurIPS23｜视觉 「读脑术」：从大脑活动中重建你眼中的世界
关键字：图像,编码器,噪声,模型,对比
文章来源：机器之心
内容字数：6112字

内容摘要：

机器之心专栏
机器之心编辑部在这篇 NeurIPS23 论文中，来自鲁汶大学、新加坡国立大学和中科院自动化所的研究者提出了一种视觉 「读脑术」，能够从人类的大脑活动中以高分辨率出解析出人眼观看到的图像。人类的感知不仅由客观塑造，而且深受过往经验的影响，这些共同促成了大脑中的复杂活动。在认知神经科学领域，解码大脑活动中的视觉信息成为了一项关键任务。功能性磁共振成像（fMRI）作为一种高效的非侵入性技术，在恢复和分析视觉信息，如图像类别方面发挥着重要作用。
然而，由于 fMRI 信号的噪声特性和大脑视觉表征的复杂性，这一任务面临着不小的挑战。针对这一问题，本文提出了一个双阶段 fMRI 表征学习框架，旨在识别并去除大脑活动中的噪声，并专注于解析对视觉重建至关重要的神经激活模式，成功从大脑活动中重建出高分辨率且语义上准确的图像。论文链接：https://arxiv.org/abs/2305.17214
项目链接：https://github.com/soinx0629/vis_dec_neurips/
论文中提出的方法基于双重对比学习、跨模态信息交叉及扩散模型，在相关 fMRI 数据集上

原文链接：NeurIPS23｜视觉 「读脑术」：从大脑活动中重建你眼中的世界

联系作者

文章来源：机器之心
作者微信：almosthuman2014
作者简介：专业的人工智能媒体和产业服务平台