权重初始化方法
发布网友
发布时间：2022-12-26 17:27
共1个回答
热心网友
时间：2023-06-28 04:48
在线性回归、逻辑回归这类简单模型中全0初始化一般是work的；但在深度模型中全0初始化会导致每层的参数都一样，反向传播梯度也一样，没有意义。
深度模型中一般都能用，但有缺陷：随机数生成其实也是在均值为0、方差为1的高斯分布中采样，当神经网络的层数增多，激活函数（tanh）的输出值越接近0，会导致梯度非常接近0，然后梯度消失
用相似场景pretrain的模型，加载参数信息到需要训练的新模型中
基本思想：保持输入和输出的方差一致，避免所有输出值都趋向于0（var=1/n）
针对Xavier在ReLU的后面层仍然无法避免输出值趋近于0的情况提出的初始化方法（var=2/n）
