发布网友 发布时间:2022-04-14 20:50
共2个回答
热心网友 时间:2022-04-14 22:19
支持向量机,通俗来讲,它是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,即支持向量机的学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。热心网友 时间:2022-04-14 23:37
维数灾难即为了获得更好的分类效果,我们需要添加更多的特征。而随着特征的增多,尽管分类器拟合的结果更加准确,但是数据在空间中的密度会急剧减小。此时的分类器会把噪声项也一并学习了,因此会出现过拟合。用一句话总结:高纬下的线性分类器仅相当于低维下复杂的非线性分类器。那么SVM所做的就是把低维数据映射到高维,使得低维下非线性可分的数据映射到高维后就变得线性可分,因此可避免引入太*度,不会出现维数灾难。
那么SVM怎么做到这种映射的呢?举例:Gauss核函数,就是把 x(线形函数) 转化为指数函数(exp(x^2/2))。而指数函数的泰勒展开,恰好就是无穷个有规律的单项式函数的累加,每个单项式函数就代表一个维度。
局部最小等价于全局最小,这个是凸优化问题的核心。凸函数的优良性质就在于,极值点就是最值点。不妨考虑一下x^2.而这里所说的凸函数就是二阶导非负的函数,比如 x 其实也算是凸函数。