基于集成学习的回归问题研究与实现开题报告

1. 研究目的与意义

作为机器学习领域的四大研究方向之一,集成学习通过训练多个学习器并将其结果进行组合,从而在大多数情况下显著提升了学习器的泛化能力。因此,集成学习的基础理论、集成学习算法及应用是近年来机器学习领域的研究重点和热点。作为机器学习研究领域所要解决的两大核心问题(分类问题和回归问题)之一,回归问题已经被广泛应用于气象、水文、医学、金融、电力、交通等诸多领域。针对回归问题,国内外研究者已经提出了许多学习算法,如人工神经网络、分类回归树、支持向量机回归等等。集成学习在分类问题中已经取得了丰硕的理论和应用研究成果。

2. 研究内容和预期目标

集成学习是机器学习领域的一种重要的学习机制，通过结合多个学习器来提高学习算法的性能，达到“三个臭皮匠顶个诸葛亮”的效果。本项目要求理解机器学习中模型的评价和选择准则，了解决策树、线性判别分析等基本分类算法，理解adaboost、随机森林等集成策略的基本原理，研究其解决在解决回归问题中的应用，并利用python程序设计语言编程实现上述算法。主要内容包括：

1） 理解机器学习中过拟合、欠拟合、交叉验证、查准率、查全率、fβ检验等基本概念[1]；

2） 理解线性回归、决策树、神经网络等基本回归算法的基本原理，掌握其python程序实现方法；

3. 研究的方法与步骤

1、设计基于学习过程模型的集成回归学习算法框架,基于本文提出的集成回归学习算法框架,进一步分析和讨论如何设计一个有效的集成回归学习算法。

2、设计基于多重扰动的异质集成回归学习算法,并从提高个体学习器的准确度和个体学习器之间的差异度两方面对算法进行了实验验证。

3、设计基于后剪枝的自适应动态加权集成算法,并用于解决动态环境下非平稳时间序列数据的回归问题。

4. 参考文献

[1]周志华，机器学习，北京：清华大学出版社，2016年1月

[2]robert tibshirani,jerome friedman著，范明，柴玉梅，咎红英等译，统计学习基础-数据挖掘、推理与预测，北京：电子工业出版社，2004

[3]华校专、王正林，python大战机器学习-数据科学家的第一个小目标，北京：电子工业出版社，2017年3月

5. 计划与进度安排

1.2022年3月1日-3月5日 下发毕业论文任务书

2.2022年3月1日-3月12日 学生完成开题报告

3.2022年3月15日-6月4日毕业论文写作