AIGC动态欢迎阅读
原标题:清华光学AI登Nature!物理神经网络,反向传播不需要了
关键字:神经网络,系统,方法,梯度,光子
文章来源:量子位
内容字数:0字
内容摘要:
一水 发自 凹非寺量子位 | 公众号 QbitAI用光训练神经网络,清华成果最新登上了Nature!
无法应用反向传播算法怎么办?
他们提出了一种全前向模式(Fully Forward Mode,FFM)的训练方法,在物理光学系统中直接执行训练过程,克服了传统基于数字计算机模拟的限制。
简单点说,以前需要对物理系统进行详细建模,然后在计算机上模拟这些模型来训练网络。而FFM方法省去了建模过程,允许系统直接使用实验数据进行学习和优化。
这也意味着,训练不需要再从后向前检查每一层(反向传播),而是可以直接从前向后更新网络的参数。
打个比方,就像拼图一样,反向传播需要先看到最终图片(输出),然后逆向一块块检查复原;而FFM方法更像手中已有部分完成的拼图,只需按照一些光原理(对称互易性)继续填充,而无需回头检查之前的拼图。
这样下来,使用FFM优势也很明显:
一是减少了对数学模型的依赖,可以避免模型不准确带来的问题;二是节省了时间(同时能耗更低),使用光学系统可以并行处理大量的数据和操作,消除反向传播也减少了整个网络中需要检查和调整的步骤。
论文共同一作是来自清华的薛智威、周天贶,通讯作者是清
原文链接:清华光学AI登Nature!物理神经网络,反向传播不需要了
联系作者
文章来源:量子位
作者微信:
作者简介:
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...