模型不收敛的原因
发布网友
发布时间：2023-01-04 17:25
共1个回答
热心网友
时间：2023-10-13 21:15
即其中有部分的变量可能被转换为 numpy 数组，虽然仍然能够参与计算，但却失去了梯度传播的能力，导致无法向后面的变量传播梯度
2、学习率设置不合理
如果学习率设置得太大，则容易造成 loss 变成 nan，导致模型不收敛，设置得太小，则会导致模型学习得很慢
3、神经网络层参数没有进行好的参数初始化
因为参数初始化会影响到模型的训练速度
4、神经网络层参数没有进行梯度裁剪
没有进行梯度裁剪的话可能会导致梯度爆炸，从而使得模型无法将有效的梯度反向传播
5、训练次数不足
模型要经过足够多的学习之后，才能够学习到好的特征，过早地暂停模型的训练，会导致模型并没有学习到好的特征
6、训练批次中的样本数量太少，导致 loss 值存在波动，从而造成模型不收敛的错觉
