L1正则化与L2正则化

发布网友发布时间：2024-09-09 22:58

共1个回答

热心网友时间：2024-10-12 02:18

正则化是用于降低过拟合问题的策略之一，通常在优化目标函数的基础上，添加正则化项，以此惩罚模型的复杂度。以线性回归为例，最小化原始的损失函数。

加L1正则项（lasso回归）后，目标函数变为最小化原始损失函数加上L1范数，这会导致解的某些维度趋向于0，形成稀疏解。这是因为L1范数的等高线在与原函数等高线相切时，会形成菱形，且在坐标轴附近的相交点最可能使得解更简单。

加L2正则项（岭回归）后，目标函数同样在原始损失函数上增加了L2范数的平方项，这会导致解向量中接近于0的维度比较多，但不会完全为0。这种平滑解有助于降低模型复杂度，进而降低过拟合。

从结构风险最小化的角度，正则化通过在最小化经验风险的基础上，选择更简单的模型来提高泛化预测精度。这正是正则化实现结构风险最小化的一种方式。

从贝叶斯学派观点，正则化通过假设参数的先验分布，对极大似然估计进行调整。L1正则化假设参数服从拉普拉斯分布，增加了解取值为0的概率，而L2正则化假设参数服从正态分布，使得解接近于0的维度概率较高，从而降低模型复杂度。

综上所述，正则化通过优化目标函数，结合L1和L2正则化，实现降低过拟合的程度。L1正则化倾向于形成稀疏解，而L2正则化则倾向于平滑解，两者均有助于简化模型，提高泛化能力。