Vanishing&ExplodingGradientProblem&DyingReLUProblem

请我喝杯咖啡☕

*备忘录：

我的帖子解释了过拟合和欠拟合。我的文章解释了 PyTorch 中的图层。我的文章解释了 PyTorch 中的激活函数。我的文章解释了 PyTorch 中的损失函数。我的文章解释了 PyTorch 中的优化器。梯度消失问题：是在反向传播过程中，梯度越来越小或者为零，从输出层到输入层多次将小梯度相乘，则模型无法有效训练。模型中层数越多，更容易发生。很容易由Sigmoid激活函数引起，即PyTorch中的Sigmoid()，因为它会产生范围为0发生在：CNN（卷积神经网络）.RNN(循环神经网络) 是 PyTorch 中的 RNN()。不容易发生在：LSTM（长短期记忆） 即 PyTorch 中的 LSTM()。GRU（门控循环单元） 即 PyTorch 中的 GRU()。Resn​​et（残差神经网络），即 PyTorch 中的 Resnet。Transformer 是 PyTorch 中的 Transformer()。等等在以下情况下可以被检测到：靠近输出层的层参数显着变化，而靠近输入层的层参数略有变化或保持不变。输入层附近各层的权重接近0或变为0。收敛缓慢或停止。 可以通过以下方式缓解：批量归一化层，即 PyTorch 中的 BatchNorm1d()、BatchNorm2d() 或 BatchNorm3d()。Leaky ReLU 激活函数，即 PyTorch 中的 LeakyReLU()。 *您还可以使用 ReLU 激活函数，即 PyTorch 中的 ReLU()，但它有时会导致 Dying ReLU Problem，我稍后会解释。PReLU 激活函数，即 PyTorch 中的 PReLU()。ELU 激活函数 即 PyTorch 中的 ELU()。梯度裁剪，即PyTorch中的clip_grad_norm_()或clip_grad_value_()。 *渐变裁剪是将渐变保持在指定范围内的方法。梯度爆炸问题：在反向传播过程中，梯度变得越来越大，从输出层到输入层将更大的梯度相乘多次，然后就不可能收敛。模型中层数越多，更容易发生。发生在：CNN.RNN.LSTM.GRU.不容易发生在：Resn​​et.变压器。等等在以下情况下可以被检测到：模型的权重显着增加。模型权重显着增加最终变成NaN。收敛是波动的，没有完成。 可以通过以下方式缓解：批量归一化层.渐变裁剪.Dying ReLU 问题：在反向传播过程中，一旦具有ReLU激活函数的节点（神经元）接收到零或负输入值，它们总是为任何输入值产生零，最后，它们永远不会恢复产生任何值，除了为零，则无法有效训练模型。也称为Dead ReLU问题。更容易发生在：更高的学习率。更高的负面偏见。在以下情况下可以被检测到：收敛缓慢或停止。 损失函数返回 nan。可以通过以下方式缓解：较低的学习率。积极的偏见。Leaky ReLU 激活函数.PReLU 激活函数.ELU 激活函数.

以上就是Vanishing & Exploding Gradient Problem & Dying ReLU Problem的详细内容，更多请关注范的资源库其它相关文章！

转载请注明：范的资源库 » Vanishing&ExplodingGradientProblem&DyingReLUProblem