基于回声状态网络的多元回归算法实现开题报告

1. 研究目的与意义（文献综述）

随着现代社会的发展，人工智能越来越成为我们研究的热门方向，而一提到人工智能，就不得不提到深度学习和机器学习。人工神经网络则是上世纪80年代以来人工智能领域的研究热点，而回声状态网络(esn)作为一种新型的递归神经网络，自2001年由jaeger提出后便成为学术界的热点，就有各种不同的领域将其广泛应用，其中一个重要应用就是时间序列的预测，而基于esn的多元回归算法通过对多元数据的处理能够较好的将其实现。

国内对于esn的研究在近年也取得了较大突破。时间序列的预测作为esn的重要应用，大连理工大学的韩敏教授在这方面的研究是非常前沿的，她有很多关于esn的延伸模型都是有使用价值的，例如基于vmd循环随机跳跃状态网络的时间序列长期预测利用变分模态分解方法将混沌时间序列转化为一系列特征子序列，这个模型可应用于气象，水文和金融领域；他提出的基于回声状态网络的脑电信号特征提取可应用于生物医学领域。国内其它相关的研究也是百花齐放，各有千秋。

国外在这方面的研究也逐年的增多。自从2001年回声状态网络的模型提出后，esn 研究的集大成者mantas lukoeviius发表了应用esn的实用指南让大众更容易上手esn。近年来国外的研究则是更加倾向于对于esn网络模型的优化，在原有esn模型的基础上提出了许多新的改进，比如针对给定任务难以确定esn的结构和储备池大小的问题提出了dresn，为了解决电子自旋网络可能存在共线性问题提出了alesn。此外，对于esn模型的应用的研究也有所突破，在石油勘测和金融方面有广泛应用。

2. 研究的基本内容与方案

多元数据是对多个变量联合观测所取得的数据。本选题的多元数据来自于mantas lukoeviius的论文中的多元数据。本选题以多元数据为目标进行预处理，提取合适的样本构建训练集，利用回声状态网络将样本转换到高维空间，然后利用训练集训练回归算法，实现多元数据回归，在测试样本集上验证回归算法。

本选题的主要内容是esn 网络训练过程，就是训练储备池与输出层间连接权值的过程，简单的线性回归就可以完成对网络的训练过程。具体分为以下几个步骤。

（1）对输入层到储备池的权值连接矩阵，储备池内部的连接权值矩阵和储备池到输出层之间的连接权值矩阵进行随机初始化，使输出层到下一时刻的储备池的连接权值矩阵为零矩阵，储备池的初始状态也为0.

3. 研究计划与安排

第1－3周：查阅中英文资料,完成开题报告，完成不少于2万字符的英文翻译任务。

第4－8周：学习和评测多元回归算法；

第9－14周：完成多元回归算法和评测总结；

4. 参考文献（12篇以上）

[1] yang,cuili; qiao, junfei; wang, lei. dynamical regularized echo state network fortime series prediction [j]. neural computing applications, 2019, 31(10):6781-6794.

[2] hoangminh nguyen; kalra, gaurav; jun, tae joon. esnemble: an echo statenetwork-based ensemble for workload prediction and resource allocation of webapplications in the cloud [j]. journal of supercomputing， 2019, 75(10): 6303-6323.

[3] qiao,junfei; wang, lei; yang, cuili. adaptive lasso echo state network based onmodified bayesian information criterion for nonlinear system modeling [j].neural computing applications, 2019, 31(10): 6163-6177.