sklearn.linear_model.SGDClassifier

class sklearn.linear_model.SGDClassifier(loss='hinge', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal', eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None, warm_start=False, average=False)

具有SGD训练的线性分类器(SVM,逻辑回归等)。

该估计器通过随机梯度下降(SGD)学习实现正则化线性模型:每次对每个样本估计损失的梯度,并以递减的强度(即学习率)沿此路径更新模型。SGD允许通过该partial_fit方法进行小批量(在线/核心外)学习。为了使用默认学习率计划获得最佳结果,数据应具有零均值和单位方差。

此实现使用表示为密集或稀疏浮点值数组的数据。它所拟合的模型可以用损失参数来控制;默认情况下,它适用于线性支持向量机(SVM)。

正则化器是一个附加在损失函数上的惩罚,它使用平方欧氏范数L2或绝对范数L1或两者的组合(弹性网)将模型参数收缩到零向量。如果由于正则化器的原因,参数更新跨越了0.0值,那么更新被截断为0.0,以允许学习稀疏模型和实现在线特征选择。

用户指南中阅读更多内容。

参数 说明
loss str, default=’hinge’
要使用的损失函数。默认为'hinge',这将提供线性SVM。

可选项有“hinge”,“log”,“ modified_huber”,“ squared_hinge”,“ perceptron”或回归损失:“ squared_loss”,“ huber”,“ epsilon_insensitive”或“ squared_epsilon_insensitive”。

log损失使逻辑回归成为概率分类器。 'modified_huber'是另一个平滑的损失,它使异常值和概率估计具有一定的容忍度。“ squared_hinge”与hinge类似,但会受到二次惩罚。“perceptron”是感知器算法使用的线性损失。其他损失是为回归而设计的,但也可用于分类。请参阅 SGDRegressor以获取更多信息。
penalty {‘L2’, ‘L1’, ‘elasticnet’}, default=’L2’
要使用的惩罚(又称正则化)。默认值为“ L2”,这是线性SVM模型的标准正则化器。“ L1”和“ elasticnet”可能会给模型带来稀疏性(特征选择),而这是“ l2”无法实现的。
alpha float, default=0.0001
与正则项相乘的常数。值越高,正则化越强。当learning_rate设置为“optimal” 时,也用于计算学习率。
l1_ratio float, default=0.15
弹性网混合参数,其中0 <= l1_ratio <=1。l1_ratio = 0对应于L2惩罚,l1_ratio = 1对应与L1惩罚。仅在penalty为“ elasticnet”时使用。
fit_intercept bool, default=True
是否估计截距。如果为False,则假定数据已经中心化。
max_iter int, default=1000
通过训练数据的最大次数(又称历元)。它只会影响fit方法中的行为,而不会影响 partial_fit方法。

0.19版本中的新功能。
tol float, default=1e-3
停止标准。如果不是None,则连续n_iter_no_change次(eploss> best_loss-tol)时迭代将停止。

0.19版本中的新功能。
shuffle bool, default=True
在每次迭代之后是否重新打乱训练数据。
verbose int, default=0
日志的详细程度。
epsilon float, default=0.1
仅当loss是“ huber”,“ epsilon_insensitive”或“ squared_epsilon_insensitive”时,损失函数对epsilon是不敏感的。对于“huber”,确定一个阈值,在这个阈值上,准确预测变得不那么重要了。对于epsilon不敏感的情况,如果当前的预测和正确的标签小于这个阈值,那么它们之间的任何差异都将被忽略。
n_jobs int, default=None
用于执行OVA(对于多类问题而言为“一个对所有”)的CPU内核数。除非joblib.parallel_backend在上下文中进行了设置,否则None表示1 。 -1表示使用所有处理器。有关 更多详细信息,请参见词汇表
random_state int, RandomState instance, default=None
用于打乱训练数据,当shuffle设置为 True。可以用一个整数为多个函数调用传递重复的输出。请参阅词汇表
learning_rate str, default=’optimal’
学习率参数:
- ‘constant’: eta = eta0
- ‘optimal’:eta = 1.0 / (alpha * (t + t0)),其中t0由Leon Bottou提出的启发式方法选择。
- ‘invscaling’: eta = eta0 / pow(t, power_t)
- ‘adaptive’:eta = eta0,只要训练持续减少即可。如果early_stopping为True,每次迭代中连续n_iter_no_change次未能减少tol的训练损失或未能增加tol的验证分数,则当前学习率除以5。

*0.20版中的新功能:*添加了“adaptive”选项
eta0 double, default=0.0
“constant”,“invscaling”或“adaptive”,初始学习率。默认值为0.0,因为eta0没有被默认的选项' optimal '。
power_t double, default=0.5
逆标度学习率指数[默认0.5]。
early_stopping bool, default=False
是否使用验证提前停止终止训练。如果设置为True,它将自动将训练数据的分层部分的score留作验证,并在连续n_iter_no_change次的验证分数没有提高至少tol时终止训练。

0.20版中的新功能。
validation_fraction float, default=0.1
预留的训练数据比例作为早期停止的验证集。必须介于0和1之间。仅在early_stopping为True时使用。
n_iter_no_change int, default=5
迭代次数,结果没有改善,迭代需要提前停止。

*0.20版中的新功能:*添加了“ n_iter_no_change”选项
class_weight dict, {class_label: weight} or “balanced”, default=None
预设class_weight 拟合参数。

类别关联的权重。如果没有给出,所有类别的权重都应该是1。

“balanced”模式使用y的值来自动调整为与输入数据中的类频率成反比的权重。如n_samples / (n_classes * np.bincount(y))
warm_start bool, default=False
设置为True时,重用前面调用的解决方案来进行初始化,否则,只清除前面的解决方案。请参阅词汇表

当warm_start为True时,重复调用fit或partial_fit可能会导致解决方案与一次调用fit时有所不同,这是因为数据的重排方式不同。如果使用动态学习率,则根据已经看到的样本数调整学习率。调用fit会重置此计数器,而partial_fit会导致增加现有计数器。
average bool or int, default=False
设置为True时,将计算平均SGD权重并将结果存储在coef_属性中。如果将int设置为大于1,则一旦看到的样本总数达到平均值就会开始平均。如average=10,将在看到10个样本后开始平均。
属性 说明
coef_ ndarray of shape (1, n_features) if n_classes == 2 else (n_classes, n_features)
分配给特征的权重。
intercept_ ndarray of shape (1,) if n_classes == 2 else (n_classes,)
决策函数中的常数项。
n_iter_ int
达到停止标准之前的实际迭代次数。对于多类别拟合,它是每个二分类拟合的最大值。
loss_function_ concrete LossFunction
classes_ array of shape (n_classes,)
t_ int
训练期间进行的权重更新次数,与(n_iter_ * n_samples)相同。

另见

示例

>>> import numpy as np
>>> from sklearn.linear_model import SGDClassifier
>>> from sklearn.preprocessing import StandardScaler
>>> from sklearn.pipeline import make_pipeline
>>> X = np.array([[-1-1], [-2-1], [11], [21]])
>>> Y = np.array([1122])
>>> # Always scale the input. The most convenient way is to use a pipeline.
>>> clf = make_pipeline(StandardScaler(),
...                     SGDClassifier(max_iter=1000, tol=1e-3))
>>> clf.fit(X, Y)
Pipeline(steps=[('standardscaler', StandardScaler()),
                ('sgdclassifier', SGDClassifier())])
>>> print(clf.predict([[-0.8-1]]))
[1]
方法 说明
decision_function(self, X) 预测样本的置信度得分。
densify(self) 将系数矩阵转换为密集数组格式。
fit(self, X, y[, coef_init, intercept_init, …]) 用随机梯度下降拟合线性模型。
get_params(self[, deep]) 获取此估计器的参数。
partial_fit(self, X, y[, classes, sample_weight]) 对给定的样本进行一次随机梯度下降。
predict(self, X) 预测X中样本的类别标签。
score(self, X, y[, sample_weight]) 返回给定测试数据和标签上的平均准确度。
set_params(self, **kwargs) 设置并验证估计器的参数。
sparsify(self) 将系数矩阵转换为稀疏格式。
__init__(self, loss='hinge', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, n_jobs=None, random_state=None, learning_rate='optimal', eta0=0.0, power_t=0.5, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, class_weight=None, warm_start=False, average=False)

[源码]

初始化self, 请参阅help(type(self))以获得准确的说明。

decision_function(self, X)

[源码]

预测样本的置信度得分。

样本的置信度分数是该样本到超平面的符号距离。

参数 说明
X array_like or sparse matrix, shape (n_samples, n_features)
样本数据。
返回值 说明
array, shape=(n_samples,) if n_classes == 2 else (n_samples, n_classes)
每个(样本,类别)组合的置信度得分。在二分类情况下,self.classes_ [1]的置信度得分> 0表示将预测该类。
densify(self)

[源码]

将系数矩阵转换为密集数组格式。

coef_数值(返回)转换为numpy.ndarray。这是coef_的默认格式,并且是拟合模型所需的格式,因此仅在之前被稀疏化的模型上才需要调用此方法。否则,它是无操作的。

返回值 说明
self 拟合估计器。
fit(self, X, y, coef_init=None, intercept_init=None, sample_weight=None)

[源码]

用随机梯度下降拟合线性模型。

参数 说明
X {array-like, sparse matrix} of shape (n_samples, n_features)
训练数据
y array-like of shape (n_samples,)
目标标签。
coef_init ndarray of shape (n_classes, n_features), default=None
用于热启动优化的初始系数。
intercept_init ndarray of shape (n_classes,), default=None
初始截距以热启动优化。
sample_weight array-like, shape (n_samples,), default=None
权重应用于各个样本。如果未提供,则假定权重相同。如果指定了class_weight,则这些权重将与class_weight(通过构造函数传递)相乘。
返回值 说明
self 返回self的实例。
get_params(self,deep = True )

[源码]

获取此估计器的参数。

参数 说明
deep bool, default=True
如果为True,返回此估计器和所包含子对象的参数。
返回值 说明
params mapping of string to any
参数名称映射到其值。
partial_fit(self, X, y, classes=None, sample_weight=None)

[源码]

对给定的样本进行一次随机梯度下降的迭代。

在内部,此方法使用max_iter = 1。因此,不能保证调用一次后达到损失函数的最小值。目标收敛、提前停止等问题由用户自行处理。

参数 说明
X {array-like, sparse matrix}, shape (n_samples, n_features)
训练数据的子集
y ndarray of shape (n_samples,)
目标值的子集
classes ndarray of shape (n_classes,), default=None
partial_fit调用中所有的类。可以通过np.unique(y_all)获得,其中y_all是整个数据集的目标向量。第一次调用partial_fit时需要此参数,在后续调用中可以将其省略。请注意,y不需要包含classes中的所有标签。
sample_weight array-like, shape (n_samples,), default=None
权重应用于各个样本。如果未提供,则假定权重相同。
返回值 说明
self 返回self的实例。
predict(self, X)

[源码]

预测X中样本的类别标签。

参数 说明
X array_like or sparse matrix, shape (n_samples, n_features)
样本数据
返回值 说明
C array, shape [n_samples]
每个样本的预测类别标签。
property predict_log_proba

概率估计的对数。

此方法仅适用于对数损失和修正Huber损失。

当loss =“ modified_huber”时,概率估计只可能是0和1,所以取对数是不可能的。

详细信息请参见predict_proba

参数 说明
X {array-like, sparse matrix} of shape (n_samples, n_features)
进行预测的样本数据。
返回值 说明
T array-like, shape (n_samples, n_classes)
返回模型中每个类的样本的对数概率,按self.classes_中的类别顺序排序 。
property predict_proba

概率估计。

此方法仅适用于对数损失和修正Huber损失。

根据Zadrozny和Elkan的建议,通过简单的归一化方法从二元(one-vs.-rest)估计值中得出多类概率估计值。

对于损失函数为“ modified_huber”的二分类概率估计值由(clip(decision_function(X),-1,1)+ 1)/ 2给出。对于其他损失函数,有必要通过用sklearn.calibration.CalibratedClassifierCV分类器包裹来进行适当的概率校准 。

参数 说明
X {array-like, sparse matrix}, shape (n_samples, n_features)
进行预测的样本数据。
返回值
ndarray of shape (n_samples, n_classes)
返回模型中每个类的样本概率,按self.classes_中的类别顺序排序 。

参考

Zadrozny and Elkan, “Transforming classifier scores into multiclass probability estimates”, SIGKDD’02, http://www.research.ibm.com/people/z/zadrozny/kdd2002-Transf.pdf

The justification for the formula in the loss=”modified_huber” case is in the appendix B in: http://jmlr.csail.mit.edu/papers/volume2/zhang02c/zhang02c.pdf

score(self,X,y,sample_weight = None )

[源码]

返回给定测试数据和标签上的平均准确度。

在多标签分类中,这是子集准确性,这是一个严格的指标,因为你需要为每个样本正确预测对应的标签集。

参数 说明
X array-like of shape (n_samples, n_features)
测试样本。
y array-like of shape (n_samples,) or (n_samples, n_outputs)
X的真实标签。
sample_weight array-like of shape (n_samples,), default=None
样本权重。
返回值 说明
score float
预测标签与真实标签的平均准确度
set_params(self, **kwargs)

[源码]

设置并验证估计器的参数。

参数 说明
**kwargs dict
估计器参数。
返回值 说明
self object
估计器实例。
sparsify(self)

[源码]

将系数矩阵转换为稀疏格式。

coef_数值转换为scipy.sparse矩阵,对于L1正规化的模型,该矩阵比通常的numpy.ndarray具有更高的内存和存储效率。

intercept_数值未转换。

返回值 说明
self 拟合估计器。

对于非稀疏模型,即当coef_中零的个数不多时,这实际上可能会增加内存使用量,因此请谨慎使用此方法。经验法则是,可以使用(coef_ == 0).sum()计算得到的零元素的数量必须大于50%,这时的效果是显着的。

在调用densify之前,调用此方法将无法进一步使用partial_fit方法(如果有)。