摘要: Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。 首先介绍Bootstraping,即自助法:它是一种有放回的抽样方法(可能抽到重复的样本)。
Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来,形成一个性能更加强大的分类器,更准确的说这是一种分类算法的组装方法。即将弱分类器组装成强分类器的方法。
首先介绍Bootstraping,即自助法:它是一种有放回的抽样方法(可能抽到重复的样本)。
1. Bagging (bootstrap aggregating)
Bagging即套袋法,其算法过程如下:
从原始样本集中抽取训练集。每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本(在训练集中,有些样本可能被多次抽取到,而有些样本可能一次都没有被抽中)。共进行k轮抽取,得到k个训练集。(k个训练集之间是相互独立的)
每次使用一个训练集得到一个模型,k个训练集共得到k个模型。(注:这里并没有具体的分类算法或回归方法,我们可以根据具体问题采用不同的分类或回归方法,如决策树、感知器等)
对分类问题:将上步得到的k个模型采用投票的方式得到分类结果;对回归问题,计算上述模型的均值作为最后的结果。(所有模型的重要性相同)
2. Boosting
其主要思想是将弱分类器组装成一个强分类器。在PAC(概率近似正确)学习框架下,则一定可以将弱分类器组装成一个强分类器。
关于Boosting的两个核心问题:
2.1 在每一轮如何改变训练数据的权值或概率分布?
通过提高那些在前一轮被弱分类器分错样例的权值,减小前一轮分对样例的权值,来使得分类器对误分的数据有较好的效果。
2.2 通过什么方式来组合弱分类器?
通过加法模型将弱分类器进行线性组合,比如AdaBoost通过加权多数表决的方式,即增大错误率小的分类器的权值,同时减小错误率较大的分类器的权值。
而提升树通过拟合残差的方式逐步减小残差,将每一步生成的模型叠加得到最终模型。
3. Bagging,Boosting二者之间的区别
Bagging和Boosting的区别:
1)样本选择上:
Bagging:训练集是在原始集中有放回选取的,从原始集中选出的各轮训练集之间是独立的。
Boosting:每一轮的训练集不变,只是训练集中每个样例在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整。
2)样例权重:
Bagging:使用均匀取样,每个样例的权重相等
Boosting:根据错误率不断调整样例的权值,错误率越大则权重越大。
3)预测函数:
Bagging:所有预测函数的权重相等。
Boosting:每个弱分类器都有相应的权重,对于分类误差小的分类器会有更大的权重。
4)并行计算:
Bagging:各个预测函数可以并行生成
Boosting:各个预测函数只能顺序生成,因为后一个模型参数需要前一轮模型的结果。
4. 总结
这两种方法都是把若干个分类器整合为一个分类器的方法,只是整合的方式不一样,最终得到不一样的效果,将不同的分类算法套入到此类算法框架中一定程度上会提高了原单一分类器的分类效果,但是也增大了计算量。
下面是将决策树与这些算法框架进行结合所得到的新的算法:
Bagging + 决策树 = 随机森林
AdaBoost + 决策树 = 提升树
Gradient Boosting + 决策树 = GBDT
版权声明:本文内容由互联网用户自发贡献,本社区不拥有所有权,也不承担相关法律责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:yqgroup@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。
分享到:
相关推荐
主要是给新手熟悉bagging和boosting算法在虹膜中的运用。
机器学习处理问题时同样如此。集成学习(ensemblelearning)通过构建并结合多个学习器来完成学习任务,有时被称为多分类器学习系统、基于委员会的学习等。下图显示出集成学习的一般结构:先产生一组“个体学习器”,...
关于机器学习方面的集成算法,包括boosting和bagging,里面讲解详细,值得下载
Bagging and boosting are two of the most well-known ensemble learning methods due to their theoretical performance guarantees and strong experimental results. However, these algorithms have been used ...
代表:Adaboost(Adaptive boosting)公式推导可见《机器学习》P174优点:泛化错误率低,易编码,可以应用在大部分分类器上,无参数调整缺点
Iterative Bagging和MultiBoosting 算法实现。并且比较了bias和variance的值。
Boosting和Bagging 181 224. 逻辑回归相关问题 182 225. 用贝叶斯机率说明Dropout的原理 183 227. 什么是共线性, 跟过拟合有什么关联? 184 共线性:多变量线性回归中,变量之间由于存在高度相关关系而使回归...
本文来自www.jiqizhixin.com,主要从以下几个方面介绍:Bagging,Boosting,Stacking从基础到性能,更多请看下文。集成学习(Ensemblelearning)通过组合几种...Netflix、KDD2009和Kaggle比赛)中能够取得很好的名次。
同时尝试采用不同机器学习算法进行学习训练,如 Bagging 算法系列中较为著名的随机森林分类算法、Boosting 算法系列中较为著名的 XGBoost 提升算法、模式识别领域中较为常见的 K-近邻算法、分类问题中较为经典的有...
分类是数据挖掘、机器学习和模式识别中一个重要的研究领域。通过对当前数据挖掘中具有代表性的优秀分类算法进行分析和比较,总结出了各种算法的特性,为使用者选择算法或研究者改进算法提供了依据。 解决分类问题的...
集成学习基础思维导图,根据该导图可以对集成学习有一个框架上的了解,学习了解bagging、boosting、下的随机森林、GBDT、xbg等
1)回归算法:线性回归、多项式回归、LASSO、岭回归 2)聚类算法:K_Means及其推广,高斯混合聚类(GMM)、密度聚类、层次聚类 3)分类算法:逻辑回归、KNN、SVM、贝叶斯、...5)集成算法:bagging、boosting、stacking
Python基于机器学习文本多分类源码+项目说明+数据集.zip 中文文档分类数据集: 陈旸老师的《人人都听得懂的清华大学数据挖掘》里的练习 数据说明: 1、文档共有4中类型:女性、体育、文学、校园 2、训练集放到...
集成学习 ensemble 机器学习 集成方法 boosting PCA bagging boosting stacking
我们需要研究的是:①弱分类器模型的形式②这些弱分类器是如何组合为一个强分类器学习过机器学习相关基础的童鞋应该知道,集成学习有两大类——以Adaboost为代表的Boosting和以RandomForest为代表的Bagging。...
⽬录 集成学习介绍 基础集成技术 最⼤投票(Max Voting)法 平均(Averaging)法 加权平均(Weighted Average)法 ⾼级集成技术 堆叠(Stacking) 混合(Blending) Bagging 提升(Boosting) 基于Bagging和Boosting的
R语言回归方法和机器学习方法的讲解,课件是pdf形式 R代码-机器学习方法包括决策树、随机森林、svm、神经网络、boosting、bagging以及各种回归方法 其中包含一些数据及例子以供参考。
pdf包含机器学习中集成学习的相关内容,包括bagging、stacking和Boosting的区别,bagging的具体实现算法-随机森林以及Boosting的具体实现算法-AdaBoost。