支持向量机为什么能解决维数灾难和局部最小

发布网友发布时间：2022-04-14 20:50

共2个回答

热心网友时间：2022-04-14 22:19

支持向量机，通俗来讲，它是一种二类分类模型，其基本模型定义为特征空间上的间隔最大的线性分类器，即支持向量机的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解。

其思路是简单情况，线性可分，把问题转化为一个凸优化问题，可以用拉格朗日乘子法简化，然后用既有的算法解决。复杂情况，线性不可分，用映射函数将样本投射到高维空间，使其变成线性可分的情形。利用核函数来减少高维度计算量。
回到问题（个人理解）：
1、支持向量机并不是“解决”维数灾难，准确来说是能避免“引起”维数灾难，利用核函数投射到高维，输入的维数n对核函数矩阵无影响。
2、SVM可转化为一个凸优化问题的求解，则局部最优解就是全局最优解。

热心网友时间：2022-04-14 23:37

维数灾难即为了获得更好的分类效果，我们需要添加更多的特征。而随着特征的增多，尽管分类器拟合的结果更加准确，但是数据在空间中的密度会急剧减小。此时的分类器会把噪声项也一并学习了，因此会出现过拟合。用一句话总结：高纬下的线性分类器仅相当于低维下复杂的非线性分类器。那么SVM所做的就是把低维数据映射到高维，使得低维下非线性可分的数据映射到高维后就变得线性可分，因此可避免引入太*度，不会出现维数灾难。

那么SVM怎么做到这种映射的呢？举例：Gauss核函数，就是把 x（线形函数）转化为指数函数（exp(x^2/2)）。而指数函数的泰勒展开，恰好就是无穷个有规律的单项式函数的累加，每个单项式函数就代表一个维度。

局部最小等价于全局最小，这个是凸优化问题的核心。凸函数的优良性质就在于，极值点就是最值点。不妨考虑一下x^2.而这里所说的凸函数就是二阶导非负的函数，比如 x 其实也算是凸函数。