在上一篇用决策树判断广告的文章中，我们对数据做了简单的处理，过滤掉特征存在nan值的样本，利用决策树分类，得到了93.3%的准确率。
现在我们来用一些方法进一步提高准确率。
from sklearn.pipeline import Pipeline from sklearn.decomposition import PCA from sklearn.grid_search import GridSearchCV #利用主成分分析尝试提高准确率 #n_components为最终的特征维度 pca = PCA(n_components=15) clf = DecisionTreeClassifier(random_state=14) X_pca = pca.fit_transform(X) scores = cross_val_score(clf,X_pca,y,scoring='accuracy') print("Accuracy:{0:.1f}%".format(np.mean(scores)*100)) #Accuracy:93.6%
利用主成分分析，我们将准确率提高了0.3个百分点。这里我们认为设定n_components=15。并不一定是较好的参数。接下来我们继续优化。 #利用网格搜索来调整参数 pca = PCA() clf = DecisionTreeClassifier(random_state=14) pipe = Pipeline([ ('pca',pca), ('clf',clf) ]) grid_param={ 'pca__n_components':list(range(1,20)) } grid = GridSearchCV(pipe,grid_param) grid.fit(X,y) print(grid.best_params_) print("Accuracy:{0:.1f}%".format(grid.best_score_*100)) #best_params_:{'pca__n_components': 16},Accuracy:94.9%
利用网格搜索，我们得到了最优参数n_components=16，准确率提高到94.9%，较优化前提高了1.6个百分点。
试试继续优化模型。 #尝试简单的特征工程来提高准确率 from sklearn.pipeline import FeatureUnion from sklearn.feature_selection import SelectKBest,chi2 pca = PCA() selection = SelectKBest(score_func=chi2) combined_features = FeatureUnion([ ('pca',pca), ('univ_select',selection) ]) clf = DecisionTreeClassifier(random_state=14) pipe = Pipeline([ ('feature',combined_features), ('clf',clf) ]) grid_param = { 'feature__pca__n_components':list(range(1,20)), 'feature__univ_select__k':list(range(1,10)) } grid = GridSearchCV(pipe,grid_param) grid.fit(X,y) print(grid.best_params_) print("Accuracy:{0:.1f}%".format(100*grid.best_score_)) 这里我们采用两种方法来处理原始数据：PCA和SelectKBest。SelectKBest可以从原始数据中选择K个重要特征，评估分数为chi2，即卡方检验。
然后用FeatureUnion合并特征。
最终我们得到了95.6%的准确率。
{'feature__univ_select__k': 9, 'feature__pca__n_components': 13} Accuracy:95.6%
通过优化，单棵树的准确率达到了95.6%，已经相当不错。后续我们将利用集成模型来进一步提高准确率。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/176423.html原文链接：https://javaforall.net
