决策树算法(Bagging与随机森林)

决策树算法(Bagging与随机森林)

Bagging算法:

将训练数据集进行N次Bootstrap采样得到N个训练数据子集,对每个子集使用相同的算法分别建立决策树,最终的分类(或回归)结果是N个决策树的结果的多数投票(或平均)。

其中,Bootstrap即为有放回的采样,利用有限的样本资料经由多次重复抽样,重新建立起足以代表母体样本分布之新样本。

 

随机森林:

随机森林是基于Bagging策略的修改算法,样本的选取采用Bootstrap采样,而属性集合也采用Bootstrap采样(不同之处)。

传统决策树在选择划分属性时是在当前结点的属性集合中选择一个最优属性;而在RF中,对每个样本构架决策树时,其每个结点,先从该结点的属性集合中随机选择一个包含k个属性的子集,然后再从这个子集中选择一个最优属性用于划分.。

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/119481.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号