使用Pipeline和GridSearchCV选择降维算法¶
本示例构建了一个进行降维处理，然后使用支持向量分类器进行预测的管道。 它演示了如何使用GridSearchCV和Pipeline在单个CV运行中优化不同类别的估计量–在网格搜索过程中，将无监督的PCA和NMF降维与单变量特征进行了比较。
此外，可以使用memory参数实例化管道，以记住管道内的转换器，从而避免反复安装相同的转换器。
请注意，当转换器的安装成本很高时，使用内存来启用缓存就变得很有趣。
管道和GridSearchCV的展示
本节说明了将Pipeline与GridSearchCV一起使用。
# 作者: Robert McGibbon, Joel Nothman, Guillaume Lemaitre
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import load_digits
from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline
from sklearn.svm import LinearSVC
from sklearn.decomposition import PCA, NMF
from sklearn.feature_selection import SelectKBest, chi2
print(__doc__)
pipe = Pipeline([
# the reduce_dim stage is populated by the param_grid
('reduce_dim', 'passthrough'),
('classify', LinearSVC(dual=False, max_iter=10000))
])
N_FEATURES_OPTIONS = [2, 4, 8]
C_OPTIONS = [1, 10, 100, 1000]
param_grid = [
{
'reduce_dim': [PCA(iterated_power=7), NMF()],
'reduce_dim__n_components': N_FEATURES_OPTIONS,
'classify__C': C_OPTIONS
},
{
'reduce_dim': [SelectKBest(chi2)],
'reduce_dim__k': N_FEATURES_OPTIONS,
'classify__C': C_OPTIONS
},
]
reducer_labels = ['PCA', 'NMF', 'KBest(chi2)']
grid = GridSearchCV(pipe, n_jobs=1, param_grid=param_grid)
X, y = load_digits(return_X_y=True)
grid.fit(X, y)
mean_scores = np.array(grid.cv_results_['mean_test_score'])
# 分数按param_grid迭代的顺序排列，按字母顺序排列
mean_scores = mean_scores.reshape(len(C_OPTIONS), -1, len(N_FEATURES_OPTIONS))
# 选择最佳C的分数
mean_scores = mean_scores.max(axis=0)
bar_offsets = (np.arange(len(N_FEATURES_OPTIONS)) *
(len(reducer_labels) + 1) + .5)
plt.figure()
COLORS = 'bgrcmyk'
for i, (label, reducer_scores) in enumerate(zip(reducer_labels, mean_scores)):
plt.bar(bar_offsets + i, reducer_scores, label=label, color=COLORS[i])
plt.title("Comparing feature reduction techniques")
plt.xlabel('Reduced number of features')
plt.xticks(bar_offsets + len(reducer_labels) / 2, N_FEATURES_OPTIONS)
plt.ylabel('Digit classification accuracy')
plt.ylim((0, 1))
plt.legend(loc='upper left')
plt.show()
输出：
在管道中缓存转换器
有时值得存储特定转换器的状态，因为它可以再次使用。 在GridSearchCV中使用管道会触发这种情况。因此，我们使用参数内存（memory）来启用缓存。
警告：请注意，此示例仅是示例，因为在这种特定情况下，拟合PCA不一定比加载缓存慢。 因此，当转换器的安装成本很高时，请使用内存构造函数参数。
from joblib import Memory
from shutil import rmtree
# 创建一个临时文件夹来存储管道的转换器
location = 'cachedir'
memory = Memory(location=location, verbose=10)
cached_pipe = Pipeline([('reduce_dim', PCA()),
('classify', LinearSVC(dual=False, max_iter=10000))],
memory=memory)
# 这次，将在网格搜索中使用缓存的管道
# 退出前删除临时缓存
memory.clear(warn=False)
rmtree(location)
仅在评估LinearSVC分类器的C参数的第一配置时计算PCA拟合。 ‘C’的其他配置将触发缓存PCA估计器数据的加载，从而节省了处理时间。 因此，当安装转换器成本高昂时，使用内存对管道进行缓存非常有用。
脚本的总运行时间：（0分钟5.976秒）
