XGBoost实战

大家好，又见面了，我是你们的朋友全栈君。

1.XGBoost参数
1.1常规参数General Parameters
      booster[default=gbtree]:选择基分类器，可以是：gbtree,gblinear或者dart。gbtree和draf基于树模型，而gblinear基于线性模型。
      slient[default=0]：是否有运行信息输出，设置为1则没有运行信息输出。
      nthread[default to maximum number of threads available if not set]：线程数，默认使用能使用的最大线程数。
      num_pbuffer [set automatically by xgboost, no need to be set by user]：预测缓冲区的大小，通常设置为训练实例的数量。缓冲区用于保存最后一个提升步骤的预测结果。
      num_feature [set automatically by xgboost, no need to be set by user]：boosting过程中用到的特征维数，设置为特征个数。
1.2模型参数Booster Parameters
      eta[default=0.3]:收缩参数，也即学习率。用于更新叶节点权重时，乘该系数，避免步长过大。参数值越大，越可能无法收敛。把eta设置的小一些，小的学习率可以使后面的学习更加仔细。通常最后设置eta为0.01~0.2。
      min_child_weight[default=1]:每个叶子里面的h的和至少是多少，这个参数非常影响结果，控制叶子节点中二阶导的和的最小值，该参数越小，越容易过拟合。
      max_depth[default=6]:每棵树的最大深度，该参数设置越大，越容易过拟合。建议通过交叉验证（xgb.cv ) 进行调参。通常取值：3-10。
      max_leaf_nodes:最大叶节点数，和max_depth类似。
      gamma[default=0]:后剪枝时，用于控制是否后剪枝。模型在默认情况下，对于一个节点的划分只有在其loss function得到结果大于0的情况下才进行，而gamma 给定了所需的最低loss function的值。gamma值使得算法更conservation，且其值依赖于loss function，在模型中应该进行调参。
      max_delta_step[default=0]:该参数可以使得更新更加平缓，如果取0表示没有约束，如果取正值则使得更新步骤更加保守，防止更新时迈的步子太大。通常不需要设置这个值，但在使用logistics 回归时，若类别极度不平衡，则调整该参数可能有效果。
      subsample[default=1]:样本随机样本，该参数越大，越容易过拟合，但设置过大也会造成过拟合。
      colsample_bytree[default=1]:列采样，对每棵树生成时用的特征进行列采样，一般设置为0.5-1
      lambda[default=1]:模型的L2正则化参数，参数越大，越不容易过拟合。
      alpha[default=0]:模型的L1正则化参数，参数越大，越不容易过拟合。
      scale_pos_weight[default=1]:如果取值大于0，在类别样本偏斜时，有助于快速收敛。
1.3学习任务参数(Learning Task Parameters)
      objective[default=reg:linear]:定义最小化损失函数类型，常用参数：
      binary:logistic –二元分类的逻辑回归模型，返回预测概率(p(y=1|x,w))
      multi:softmax –使用softmax objective的多类分类模型，返回预测的分类。这里需要设置一个额外的num_class参数，表示类的个数。
      multi:softprob –与softmax相同，但是返回每个数据点属于每个类的预测概率。
      eval_metric[default according to objective]:用于衡量验证数据的参数，即是各评价标准，常用参数如下:
            rmse – root mean square error
            mae – mean absolute error
            logloss – negative log-likelihood
            error – Binary classification error rate (0.5 threshold)
            merror – Multiclass classification error rate
            mlogloss – Multiclass logloss
            auc: Area under the curve
            seed[default=0]:随机种子，用于产生可复现的结果。
      这里，xgboost与sklearn的命名风格有点区别，如：
            eta->learning_rate
            lambda->reg_lambda
            alpha->reg_alpha
2.代码实战
引入库

import numpy as np
from xgboost import XGBClassifier
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

加载数据，并将数据集切分成训练集和测试集

# load data
dataset =np.loadtxt('pima-indians-diabetes.csv',delimiter=',')
# split data into X and y
X = dataset[:,0:8]
y = dataset[:,8]
# split data into train and test sets
X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.33,random_state=7)

进行拟合

# fit model with train data
model = XGBClassifier()
model.fit(X_train,y_train)

进行预测

# make predictions for test data
y_pre = model.predict(X_test)
predictions = [round(value) for value in y_pre]
# evaluate predictions
accuracy = accuracy_score(y_test,predictions)
print("Accuracy: %.2f%%" % (accuracy * 100.0))

输出结果：Accuracy: 77.95%

查看训练过程verbose=False不打印过程

eval_set = [(X_test,y_test)]
model = XGBClassifier()
model.fit(X_train,y_train,early_stopping_rounds=20,
		  eval_metric='logloss',eval_set=eval_set,verbose=True)
y_pre = model.predict(X_test)
predictions = [round(value) for value in y_pre]
# evaluate predictions
accuracy = accuracy_score(y_test, predictions)
print("Accuracy: %.2f%%" % (accuracy * 100.0))

输出结果：

[0]	validation_0-logloss:0.660186
Will train until validation_0-logloss hasn't improved in 10 rounds.
[1]	validation_0-logloss:0.634854
[2]	validation_0-logloss:0.612239
[3]	validation_0-logloss:0.593118
[4]	validation_0-logloss:0.578303
[5]	validation_0-logloss:0.564942
……
[42]	validation_0-logloss:0.492369
Stopping. Best iteration:
[32]	validation_0-logloss:0.487297

Accuracy: 77.56%

用XGBoost衡量特征的重要程度

from xgboost import plot_importance
import matplotlib.pyplot as plt
plot_importance(model)
plt.show()

在这里插入图片描述
找到最好的学习率

from sklearn.model_selection import GridSearchCV,StratifiedKFold
model = XGBClassifier()
eta = [0.0001, 0.001, 0.01, 0.1, 0.2, 0.3]
param_grid = dict(eta=eta)
kfold = StratifiedKFold(n_splits=10,shuffle=True,random_state=7)
grid_search = GridSearchCV(model,param_grid=param_grid,
						   scoring='neg_log_loss',n_jobs=-1,cv=kfold,iid=True)
grid_result = grid_search.fit(X_train,y_train)
# summarize results
print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
means = grid_result.cv_results_['mean_test_score']
params = grid_result.cv_results_['params']
for mean, param in zip(means, params):
    print("%f  with: %r" % (mean, param))

注：KFold和StratifiedKFold的区别
StratifiedKFold 分层采样交叉切分，确保训练集，测试集中各类别样本的比例与原始数据集中相同。KFold交叉采样，按顺序取。
下面是对数据进行四等分采样的结果：
      （1）StratifiedKFold切分结果如下：
            Train: [1 3 4 5 6 7] | test: [0 2]
            Train: [0 2 4 5 6 7] | test: [1 3]
            Train: [0 1 2 3 5 7] | test: [4 6]
            Train: [0 1 2 3 4 6] | test: [5 7]
      （2）KFold切分结果如下：
            Train: [2 3 4 5 6 7] | test: [0 1]
            Train: [0 1 4 5 6 7] | test: [2 3]
            Train: [0 1 2 3 6 7] | test: [4 5]
            Train: [0 1 2 3 4 5] | test: [6 7]