希望这篇是最清晰好懂的 Layernorm 原理解析

AIGC动态欢迎阅读

原标题：希望这篇是最清晰好懂的 Layernorm 原理解析
关键字：向量,维度,梯度,表示,数据
文章来源：JioNLP
内容字数：0字

内容摘要：

Hello，大家好，我是 JioNLP。
这一篇文章主要讲讲 Layer Normalization。在本文里，Layer Normalization 统一都被称为 layernorm。字面意思就是层归一化，也属于数据分布归一化的一种。
在神经网络训练里，把数据分布都做一个归一化，好处多多，可以使训练更充分，更快速，可以克服Internal Covariate Shift 问题。这个问题是需要单独摊开来讲的。这一节主要是讲一下 layernorm 是如何实施的，以及其本质。
Layernorm 的应用场景Layernorm 主要应用在自然语言处理领域，里面的各类神经网络模型 Bert、GPT 等等都是建立在 token 上的。也就是下图这样，每一个 token 都对应一个 embedding。
Embedding 是一个向量，每个 token 之间的关系都使用 embedding 向量来表示。最主要使用余弦相似度。举例两个 token embedding 向量，都是4维，他们之间的余弦相似度是：
importnumpyasnptoken_embedding_1=np.array([-5

原文链接：希望这篇是最清晰好懂的 Layernorm 原理解析