sklearn.linear_model.SGDRegressor¶
class sklearn.linear_model.SGDRegressor(loss='squared_loss', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, random_state=None, learning_rate='invscaling', eta0=0.01, power_t=0.25, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, warm_start=False, average=False)
通过使用SGD最小化正则经验损失来拟合线性模型。
SGD代表随机梯度下降:每次对每个样本估计损失函数的梯度，模型以递减的强度(又名学习率)沿此路径更新。
正则化器是对损失函数的一种惩罚，它使用平方欧几里德范数L2或绝对范数L1或两者的组合（弹性网）将模型参数向零矢量收缩。如果由于正则化器的原因，参数更新跨越了0.0值，那么更新被截断为0.0，以允许学习稀疏模型和实现在线特征选择。
这个实现使用的数据为浮点值密集的numpy数组。
在用户指南中阅读更多内容。
| 参数 | 说明 |
|---|---|
| loss | str, default=’hinge’ 要使用的损失函数。可能的值为“ squared_loss”，“ huber”，“ epsilon_insensitive”或“ squared_epsilon_insensitive” “ squared_loss”是指普通的最小二乘拟合。'huber'修正了'squared_loss'，通过从平方损失切换到超过epsilon距离的线性损失，减少了对异常值的校正。 'epsilon_insensitive'忽略小于epsilon的错误，并且是线性的；这是SVR中使用的损失函数。 'squared_epsilon_insensitive'也是相同的，但是变成了超过ε容差的平方损失。 有关损失函数的更多详细信息，请参见用户指南。 |
| penalty | {‘L2’, ‘L1’, ‘elasticnet’}, default=’L2’ 要使用的惩罚（又称正则化）。默认值为“ L2”，这是线性SVM模型的标准正则化器。“ L1”和“ elasticnet”可能会给模型带来稀疏性（特征选择），而这是“ l2”无法实现的。 |
| alpha | float, default=0.0001 与正则项相乘的常数。值越高，正则化越强。当 learning_rate设置为“optimal” 时，也用于计算学习率。 |
| l1_ratio | float, default=0.15 弹性网混合参数，其中0 <= l1_ratio <=1。l1_ratio = 0对应于L2惩罚，l1_ratio = 1对应与L1惩罚。仅在 penalty为“ elasticnet”时使用。 |
| fit_intercept | bool, default=True 是否估计截距。如果为False，则假定数据已经中心化。 |
| max_iter | int, default=1000 通过训练数据的最大次数（又称历元）。它只会影响 fit方法中的行为，而不会影响 partial_fit方法。0.19版本中的新功能。 |
| tol | float, default=1e-3 停止标准。如果不是None，则连续 n_iter_no_change次（eploss> best_loss-tol）时迭代将停止。0.19版本中的新功能。 |
| shuffle | bool, default=True 在每次迭代之后是否重新打乱训练数据。 |
| verbose | int, default=0 日志的详细程度。 |
| epsilon | float, default=0.1 仅当 loss是“ huber”，“ epsilon_insensitive”或“ squared_epsilon_insensitive”时，损失函数对epsilon是不敏感的。对于“huber”，确定一个阈值，在这个阈值上，准确预测变得不那么重要了。对于epsilon不敏感的情况，如果当前的预测和正确的标签小于这个阈值，那么它们之间的任何差异都将被忽略。 |
| random_state | int, RandomState instance, default=None 用于打乱训练数据，当 shuffle设置为 True。可以用一个整数为多个函数调用传递重复的输出。请参阅词汇表。 |
| learning_rate | str, default=’optimal’ 学习率参数： - ‘constant’: eta = eta0- ‘optimal’: eta = 1.0 / (alpha * (t + t0)),其中t0由Leon Bottou提出的启发式方法选择。- ‘invscaling’: eta = eta0 / pow(t, power_t)- ‘adaptive’:eta = eta0，只要训练持续减少即可。如果early_stopping为True，每次迭代中连续n_iter_no_change次未能减少tol的训练损失或未能增加tol的验证分数，则当前学习率除以5。 0.20版中的新功能：添加了“adaptive”选项 |
| eta0 | double, default=0.01 “constant”，“invscaling”或“adaptive”，初始学习率。默认值为0.01。 |
| power_t | double, default=0.25 逆标度学习率指数。 |
| early_stopping | bool, default=False 是否使用验证提前停止终止训练。如果设置为True，它将自动将训练数据的分层部分的 score留作验证，并在连续n_iter_no_change次的验证分数没有提高至少tol时终止训练。0.20版中的新功能：添加了“ early_stopping”选项 |
| validation_fraction | float, default=0.1 预留的训练数据比例作为早期停止的验证集。必须介于0和1之间。仅在 early_stopping为True时使用。0.20版中的新功能：添加了“ validation_fraction”选项 |
| n_iter_no_change | int, default=5 迭代次数，结果没有改善，迭代需要提前停止。 0.20版中的新功能：添加了“ n_iter_no_change”选项 |
| warm_start | bool, default=False 设置为True时，重用前面调用的解决方案来进行初始化，否则，只清除前面的解决方案。请参阅词汇表。 当warm_start为True时，重复调用fit或partial_fit可能会导致解决方案与一次调用fit时有所不同，这是因为数据的重排方式不同。如果使用动态学习率，则根据已经看到的样本数调整学习率。调用 fit会重置此计数器，而partial_fit会导致增加现有计数器。 |
| average | bool or int, default=False 设置为True时，将计算平均SGD权重并将结果存储在 coef_属性中。如果将int设置为大于1，则一旦看到的样本总数达到平均值就会开始平均。如average=10，将在看到10个样本后开始平均。 |
| 属性 | 说明 |
|---|---|
| coef_ | ndarray of shape (n_features,) 分配给特征的权重。 |
| intercept_ | ndarray of shape (1,) 决策函数中的常数项。 |
| average_coef_ | ndarray of shape (n_features,) 分配给特征的平均权重。仅在 average=True时可用。从0.23版 average_coef_开始不推荐使用*：*此属性在0.23版中不再推荐使用，并且将从0.25版中删除。 |
| average_intercept_ | ndarray of shape (1,) 平均截距项。仅在 average=True时可用。从0.23版 average_intercept_开始不推荐使用*：*此属性在0.23版中不再推荐使用，并且将从0.25版中删除。 |
| n_iter_ | int 达到停止标准之前的实际迭代次数。 |
| t_ | int 训练期间进行的权重更新次数，与 (n_iter_ * n_samples)相同。 |
另见
示例
>>> import numpy as np
>>> from sklearn.linear_model import SGDRegressor
>>> from sklearn.pipeline import make_pipeline
>>> from sklearn.preprocessing import StandardScaler
>>> n_samples, n_features = 10, 5
>>> rng = np.random.RandomState(0)
>>> y = rng.randn(n_samples)
>>> X = rng.randn(n_samples, n_features)
>>> # Always scale the input. The most convenient way is to use a pipeline.
>>> reg = make_pipeline(StandardScaler(),
... SGDRegressor(max_iter=1000, tol=1e-3))
>>> reg.fit(X, y)
Pipeline(steps=[('standardscaler', StandardScaler()),
('sgdregressor', SGDRegressor())])
方法
| 方法 | 说明 |
|---|---|
densify() |
将系数矩阵转换为密集数组格式。 |
fit(X, y[, coef_init, intercept_init, …]) |
用随机梯度下降拟合线性模型。 |
get_params([deep]) |
获取此估计器的参数。 |
partial_fit(X, y[, sample_weight]) |
对给定的样本进行一次随机梯度下降的迭代。 |
predict(X) |
使用线性模型进行预测。 |
score(X, y[, sample_weight]) |
返回预测的确定系数R ^ 2。 |
set_params(**kwargs) |
设置并验证估计器的参数。 |
sparsify() |
将系数矩阵转换为稀疏格式。 |
__init__(loss='squared_loss', *, penalty='l2', alpha=0.0001, l1_ratio=0.15, fit_intercept=True, max_iter=1000, tol=0.001, shuffle=True, verbose=0, epsilon=0.1, random_state=None, learning_rate='invscaling', eta0=0.01, power_t=0.25, early_stopping=False, validation_fraction=0.1, n_iter_no_change=5, warm_start=False, average=False)
初始化self， 请参阅help(type(self))以获得准确的说明。
densify()
将系数矩阵转换为密集数组格式。
将coef_数值（返回）转换为numpy.ndarray。这是coef_的默认格式，并且是拟合模型所需的格式，因此仅在之前被稀疏化的模型上才需要调用此方法。否则，它是无操作的。
| 返回值 | 说明 |
|---|---|
| self | 拟合估计器。 |
fit(X, y, coef_init=None, intercept_init=None, sample_weight=None)
[源码]
用随机梯度下降拟合线性模型。
| 参数 | 说明 |
|---|---|
| X | {array-like, sparse matrix} of shape (n_samples, n_features) 训练数据 |
| y | ndarray of shape (n_samples,) 目标标签。 |
| coef_init | ndarray of shape (n_features,), default=None 用于热启动优化的初始系数。 |
| intercept_init | ndarray of shape (1,), default=None 初始截距以热启动优化。 |
| sample_weight | array-like, shape (n_samples,), default=None 应用于各个样本的权重（1表示未加权）。 |
| 返回值 | 说明 |
|---|---|
| self | returns an instance of self. 返回self的实例。 |
get_params(deep=True)
[源码]
获取此估计器的参数。
| 参数 | 说明 |
|---|---|
| deep | bool, default=True 如果为True，返回此估计器和所包含子对象的参数。 |
| 返回值 | 说明 |
|---|---|
| params | mapping of string to any 参数名称映射到其值。 |
partial_fit(X, y, sample_weight=None)
[源码]
对给定的样本进行一次随机梯度下降的迭代。
在内部，此方法使用max_iter = 1。因此，不能保证调用一次后达到损失函数的最小值。目标收敛、提前停止等问题由用户自行处理。
| 参数 | 说明 |
|---|---|
| X | {array-like, sparse matrix}, shape (n_samples, n_features) 训练数据的子集 |
| y | numpy array of shape (n_samples,) 目标值的子集 |
| sample_weight | array-like, shape (n_samples,), default=None 权重应用于各个样本。如果未提供，则假定权重相同。 |
| 返回值 | 说明 |
|---|---|
| self | returns an instance of self. 返回self的实例。 |
predict(X)
[源码]
使用线性模型进行预测。
| 参数 | 说明 |
|---|---|
| X | {array-like, sparse matrix}, shape (n_samples, n_features) 样本数据 |
| 返回值 | 说明 |
|---|---|
| C | ndarray of shape (n_samples,) X中每个样本的预测目标值。 |
score(X, y, sample_weight=None)
[源码]
返回预测的确定系数R ^ 2。
系数R ^ 2定义为（1- u / v），其中u是残差平方和（（y_true-y_pred）** 2）.sum（），而v是总平方和（（y_true- y_true.mean（））** 2）.sum（）。可能的最高得分为1.0，并且也可能为负（因为该模型可能会更差）。一个常数模型总是预测y的期望值，而不考虑输入特征，得到的R^2得分为0.0。
| 参数 | 说明 |
|---|---|
| X | array-like of shape (n_samples, n_features) 测试样本。对于某些估计量，这可以是预先计算的内核矩阵或通用对象列表，形状为（n_samples，n_samples_fitted），其中n_samples_fitted是用于拟合估计器的样本数。 |
| y | array-like of shape (n_samples,) or (n_samples, n_outputs) X的真实值。 |
| sample_weight | array-like of shape (n_samples,), default=None 样本权重。 |
| 返回值 | 说明 |
|---|---|
| score | float 预测值与真实值的R^2。 |
注
调用回归器中的score时使用的R2分数，multioutput='uniform_average'从0.23版开始使用 ，与r2_score默认值保持一致。这会影响多输出回归的score方法（ MultiOutputRegressor除外）。
set_params(**params)
[源码]
设置并验证此估计器的参数。
| 参数 | 说明 |
|---|---|
| **params | dict 估计器参数。 |
| 返回值 | 说明 |
|---|---|
| self | object 估计器实例。 |
sparsify()
[源码]
将系数矩阵转换为稀疏格式。
将coef_数值转换为scipy.sparse矩阵，对于L1正规化的模型，该矩阵比通常的numpy.ndarray具有更高的内存和存储效率。
该intercept_数值未转换。
| 返回值 | 说明 |
|---|---|
| self | 拟合估计器。 |
注
对于非稀疏模型，即当coef_中零的个数不多时，这实际上可能会增加内存使用量，因此请谨慎使用此方法。经验法则是，可以使用(coef_ == 0).sum()计算得到的零元素的数量必须大于50％，这时的效果是显着的。
在调用densify之前，调用此方法将无法进一步使用partial_fit方法（如果有）。
