从能量角度看AI模型训练过程

AIGC动态欢迎阅读

原标题：从能量角度看AI模型训练过程
关键字：参数,能量,人脑,模型,代价
文章来源：JioNLP
内容字数：0字

内容摘要：

说 AI 模型训练之前先说个引子。
人体消耗能量最多的器官是大脑，人脑几乎每时每刻都在消耗能量进行思考活动，甚至睡觉的时候都停不下来。
与人体大脑能量消耗巨大相对应的，是人脑懒于学习。人天性厌恶学习知识，辅导过子女学习的父母们应该对此深有体会。
就像我这篇文章，纯讲AI技术科普，几乎没什么阅读量，但是如果讲八卦段子，社会热点，流量就会非常高。 从能量角度来看这件事也很简单，思考 AI 技术，做数学题，面对大量的数学公式，需要耗费人脑许多能量。而看八卦，吐槽美国大选（我个人认为特朗普肯定赢）和姜萍，讨论今天股票情况，则不需要耗费太多精力。
人脑会产生排异反应，努力避免去思考类似数学题这种又抽象又没什么用的知识，表现出来就是，要么打瞌睡，要么带上痛苦面具。
这里抛出的引子的结论就是，人脑高耗能，但人脑会极力避免耗能。
我不是生物学家，引子的目的是引出 AI 模型的训练过程。
如果把新训练一些数据样本当作 AI 模型的学习过程，则利用梯度下降把所有的模型参数更新一遍，就是一个消耗能量的过程。
注意，在最初的神经网络模型里，这里是更新所有参数，“所有”，听起来就非常耗费能量， 为了学习一些新的

原文链接：从能量角度看AI模型训练过程

联系作者

文章来源：JioNLP
作者微信：
作者简介：