集成学习-bagging和boosting
集成学习（算法框架）：
提高模型能力+减少不同模型产生结果选择性的问题
#不同类型的模型，或是同一类模型不同测试集
Bootstrap samples：有放回的取出
Bagging（bootstrap aggregating）：
1.同一个模型+多个不同的训练集，生成多个分类器；
2.多个分类器进行投票（少数服从多数），得出结论
Stacking：
学习每个小分类器，形成权重，在进行分类（两层训练）
Boosting：
第一个分类器出现之后，将分类器放回到原来的数据中测试，拿出一部分正确和一部分错误的作为训练集，生成另一个分类器；之后再生成一个分类器，作为解决前两个分类器的差异
Adaboost：
#最美妙的地方就是参数α=0.5ln((1-e)/e)是一个固定的权重
其他的步骤类似于boosting
#简单，基础分类器就好、几乎没有参数
#很少有过学习的问题、α是局部最优、模型可解释性不好....
regionboost：
#动态权重，取决于当前的输入
一般用k近邻方法判断输入接近判断对的样本还是错的样本，来决定权重
#boosting分类器是串行，bagging分类器是并行
评论