绘制单独与投票回归预测

投票回归器是一种集合元-估计器,适用于多个基回归器,每个基估计器位于整个数据集上。然后对单个预测进行平均值,形成最终预测。我们将使用三个不同的回归器来预测数据:GradientBoostingRegressor, RandomForestRegressor, 和 LinearRegression)。然后,上述3个回归器将用于 VotingRegressor

最后,我们将绘制所有模型的预测,以供比较。

我们将使用糖尿病数据集,该数据集由从一组糖尿病患者中收集的10个特征组成。该标签是基线一年后疾病进展的定量指标。

print(__doc__)

import matplotlib.pyplot as plt

from sklearn.datasets import load_diabetes
from sklearn.ensemble import GradientBoostingRegressor
from sklearn.ensemble import RandomForestRegressor
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import VotingRegressor

11.3.1 训练分类器

首先,我们将加载糖尿病数据集并启动梯度提升回归、随机森林回归器和线性回归器。接下来,我们将使用三个回归者来构建投票回归器:

X, y = load_diabetes(return_X_y=True)

# Train classifiers
reg1 = GradientBoostingRegressor(random_state=1)
reg2 = RandomForestRegressor(random_state=1)
reg3 = LinearRegression()

reg1.fit(X, y)
reg2.fit(X, y)
reg3.fit(X, y)

ereg = VotingRegressor([('gb', reg1), ('rf', reg2), ('lr', reg3)])
ereg.fit(X, y)

11.3.2 作出预测

现在,我们将使用每个回归器对前20个进行预测。

xt = X[:20]

pred1 = reg1.predict(xt)
pred2 = reg2.predict(xt)
pred3 = reg3.predict(xt)
pred4 = ereg.predict(xt)

11.3.3 绘制结果

最后,我们将可视化这20个预测。红星显示了VotingRegressor所做的平均预测。

plt.figure()
plt.plot(pred1, 'gd', label='GradientBoostingRegressor')
plt.plot(pred2, 'b^', label='RandomForestRegressor')
plt.plot(pred3, 'ys', label='LinearRegression')
plt.plot(pred4, 'r*', ms=10, label='VotingRegressor')

plt.tick_params(axis='x', which='both', bottom=False, top=False,
                labelbottom=False)
plt.ylabel('predicted')
plt.xlabel('training samples')
plt.legend(loc="best")
plt.title('Regressor predictions and their average')

plt.show()

脚本的总运行时间:(0分1.002秒)

Download Python source code: plot_voting_regressor.py

Download Jupyter notebook: plot_voting_regressor.ipynb