机器学习的特征重要性究竟是怎么算的

发布网友发布时间：2024-09-27 18:04

共1个回答

热心网友时间：2024-10-01 07:19

了解主流机器学习模型计算特征重要性的过程。常用算法包括xgboost、gbdt、randomforest、tree等，它们都能输出特征的重要性评分。本文将重点阐述xgboost和gbdt特征重要性计算方法。

xgboost计算特征重要性涉及到复杂的过程。在xgboost R API文档中能找到部分解释。在Python代码中，通过get_mp获取树规则，规则描述了特征在决策树中的使用情况。然而，原始的get_score方法输出的仅为统计值，包含权重、增益和覆盖度，未转换为百分比形式，这还不是真正的特征重要性得分。在xgboost的sklearn API中，feature_importance_方法对重要性统计量进行归一化处理，将之转换为百分比形式，计算分母为所有特征的重要性统计量之和。默认情况下，xgboost sklearn API计算重要性时使用importance_type="gain"，而原始get_score方法使用importance_type="weight"。

对于gbdt，首先查找BaseGradientBoosting类，得到feature_importances_方法的源码。进一步追踪至tree模块，发现特征重要性来源于tree_.compute_feature_importances()方法。关于gbdt评估特征重要性的标准，存在疑问：它是依据*前后节点的impurity减少量进行评估。impurity的计算标准取决于节点的*标准，如MSE或MAE，具体在_criterion.pyx脚本中有所说明。gbdt中的树都是回归树，因此计算impurity的标准适用于该类问题。