使用网格搜索（GridSearchCV）自动调参
描述
调参对于提高模型的性能十分重要。在尝试调参之前首先要理解参数的含义，然后根据具体的任务和数据集来进行，一方面依靠经验，另一方面可以依靠自动调参来实现。
Scikit-learn 中提供了网格搜索（GridSearchCV）工具进行自动调参，该工具自动尝试预定义的参数值列表，并具有交叉验证功能，最终找到最佳的参数组合。
本任务的主要实践内容：
1、 使用手工枚举来调参
2、 利用GridSearchCV自动调参
添加链接描述
环境
-
操作系统：Windows10、Ubuntu18.04
-
工具软件：Anaconda3 2019、Python3.7
-
硬件环境：无特殊要求
-
依赖库列表
scikit-learn 0.24.2
分析
本任务采用SVM算法对鸢尾花数据集进行建模，实践调参过程。任务涉及以下环节：
1）使用手工枚举来确定最佳参数组合
2）拆分出验证集进行调参
3）使用GridSearchCV进行自动调参，确定最佳参数组合
实施
步骤1、使用手工枚举进行调参
首先使用支持向量机（SVM）建立鸢尾花分类模型，模型主要参数为gamma和C，我们使用循环枚举的方式进行调参，具体过程为：
1、定义gamma和C两个参数的取值列表
2、定义循环，使用不同的参数组合创建模型并评估成绩
3、取最佳成绩的参数组合
from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
iris = load_iris() # 加载数据
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=0)
best_score = 0 # 最佳成绩
# 对每种参数组合都训练一个模型，评估其成绩，找到最佳参数组合
for gamma in [0.001, 0.01, 0.1, 1, 10, 100]:
for C in [0.001, 0.01, 0.1, 1, 10, 100]:
svm = SVC(gamma=gamma, C=C).fit(X_train, y_train)
score = svm.score(X_test, y_test) # 在测试集上评估SVC
# 如果得到了更高的分数，则保存该分数和对应的参数
if score > best_score:
best_score = score
best_parameters = {'C': C, 'gamma': gamma}
print("Best score: {:.2f}".format(best_score)) # 输出最佳成绩
print("Best parameters: {}".format(best_parameters)) # 输出最佳参数组合
输出结果:
Best score: 0.97
Best parameters: {'C': 100, 'gamma': 0.001}
可以看到，最佳成绩为97%，最佳组合为 {‘C’: 100, ‘gamma’: 0.001}
步骤2、拆分出验证集用于调参
如果模型调参在测试集上进行，就不能保证测试的客观性（相当于练习题与考试题不分），因此调参时需要拆分出独立的验证集，在验证集上调参，而测试集专门用于最终测试，即测试集不参与训练和调参过程。
2.1 拆分方法：
# 首先，将数据拆分为（训练+验证集）与测试集
X_train_valid, X_test, y_train_valid, y_test = train_test_split(iris.data, iris.target, random_state=0)
# 然后，将（训练+验证集）拆分为训练集与验证集
X_train, X_valid, y_train, y_valid = train_test_split(X_train_valid, y_train_valid, random_state=1)
2.2 拆分出验证集后，在验证集上进行调参，代码如下：
best_score = 0
# 对每种参数组合都训练一个模型，评估其成绩，找到最佳参数组合
for gamma in [0.001, 0.01, 0.1, 1, 10, 100]:
for C in [0.001, 0.01, 0.1, 1, 10, 100]:
svm = SVC(gamma=gamma, C=C).fit(X_train, y_train)
score = svm.score(X_valid, y_valid) # 注意！这里改为在验证集上评估模型
if score > best_score:
best_score = score
best_parameters = {'C': C, 'gamma': gamma}
print("Training_set size: {} , Validation_set size: {} , Test_set size: {}"
.format(X_train.shape[0], X_valid.shape[0], X_test.shape[0]))
# 利用调参得到的最佳参数组合，在(训练+验证集)上重新构建一个模型，并在测试集上进行评估
svm = SVC(**best_parameters)
svm.fit(X_train_valid, y_train_valid)
test_score = svm.score(X_test, y_test) # 测试集只用做最终评估，不参与调参，保证测试的客观性
print("Best score on validation_set: {:.2f}".format(best_score))
print("Best parameters: ", best_parameters)
print("Test_set score with best parameters: {:.2f}".format(test_score)) # 输出测试成绩
输出结果：
Training_set size: 84 , Validation_set size: 28 , Test_set size: 38
Best score on validation_set: 0.96
Best parameters: {'C': 10, 'gamma': 0.001}
Test_set score with best parameters: 0.92
强调：在机器学习中，测试集只做测试用，不参与训练与调参，以保证测试的客观性。
步骤3、使用网格搜索（GridSearchCV）自动调参
GridSearchCV整合了自动调参和交叉验证功能，相对于手工枚举更加高效。
from sklearn.model_selection import GridSearchCV # 引入网格搜索类
# 定义参数列表
param_grid = {'C': [0.001, 0.01, 0.1, 1, 10, 100], 'gamma': [0.001, 0.01, 0.1, 1, 10, 100]}
# 定义GridSearchCV对象，注意参数
# 参数1-模型
# 参数2-参数列表
# 参数3-交叉验证次数（网格搜索具有交叉验证功能）
grid_search = GridSearchCV(SVC(), param_grid, cv=10)
# 拆分数据集
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=0)
grid_search.fit(X_train, y_train) # 将训练数据交给GridSearchCV对象
# 输出最佳参数组合及最佳成绩（利用.best_params_和.best_score_属性）
print("Best parameters: {}".format(grid_search.best_params_))
print("Best cross-validation score: {:.2f}".format(grid_search.best_score_))
输出结果：
Best parameters: {'C': 10, 'gamma': 0.1}
Best cross-validation score: 0.98
说明：需要掌握GridSearchCV的参数及两个重要属性。
