Logistic回归,多类分类

发布网友发布时间：2024-09-30 15:38

共1个回答

热心网友时间：2024-11-18 12:54

在多类分类中，一种常用的方法是Logistic回归的变种，即One-vs-Rest (OvR)策略。这种方法对于每个类别c，独立训练一个Logistic回归模型，目标是预测样本属于类别c的概率。预测阶段，通过比较每个分类器输出的概率，选择具有最高概率的类别作为预测结果，这称为最大后验估计（Maximum A Posteriori，MAP）。

在概率论中，多类分类的模型是基于Multinoulli分布的，它相当于多项分布的扩展，可以描述K种可能状态的输出。与Bernoulli分布只描述二分类不同，Multinoulli分布的参数是一个向量，每个元素代表一个状态的概率。通过独热编码（将类别用C维向量表示，其中第c维为1，其余为0），可以将类别与向量形式的Multinoulli分布联系起来。

Softmax分类器是Multinoulli分布的一个应用，它假设输出类别概率由输入特征线性变换并通过sigmoid函数转换。模型定义为线性变换后的值经过Softmax函数处理，确保输出为每个类别的概率之和为1。Softmax分类器的log似然函数和负log似然损失是模型训练的核心，通过最小化这些损失进行参数估计。

Scikit-Learn库中的LogisticRegression类提供了multi_class参数，用于选择多类分类策略。'ovr'表示OvR策略，支持所有solvers；而'multinomial'则选择Softmax回归，但仅限于newton-cg、lbfgs和sag/saga等优化器，因为liblinear不支持。
在选择多类分类方法时，要根据实际需求和优化器的特性来决定使用哪种策略。