Dimensionality Reduction——LDA线性判别分析原理篇

发布网友发布时间：2024-09-28 05:22

共1个回答

热心网友时间：2024-10-24 13:33

作为对基友需求和自我知识分享的结合，我将撰写一篇关于LDA线性判别分析原理的笔记，作为降维算法系列的第一篇。

LDA，即线性判别分析，是一种监督学习方法，由Fisher于1936年提出，也称作Fisher's Linear Discriminant。它常用于数据预处理阶段，目标是通过将高维数据映射到低维空间，降低维度灾难带来的过拟合风险，同时保持数据的可分性。

在降维问题中，我们设想在二维空间中，两类样本需要被投影到一条直线，以最大化类别间的分离度。理想目标是选择一种投影方式，使得类别间的均值距离最大化，同时保持类别内部的差异最小。具体来说，通过寻找投影向量w，使得样本投影后的中心距离最大化，同时w被*为单位向量。

Fisher通过拉格朗日乘数法解决这一问题，提出了最大化类间距离和最小化类内距离的准则。在多类*情况下，LDA扩展为寻找最佳的投影矩阵W，使得类内散度矩阵最小，类间散度矩阵（全局散度矩阵）与类内散度矩阵之差最大。

最终的优化目标可通过广义特征值问题求解，找到的W矩阵将原始特征空间投影到K维，这便是LDA的经典有监督降维方法。值得注意的是，由于矩阵性质，特征向量的数量受限于类别数目。

深入理解LDA，可以参考以下参考资料：