稀疏优化中非凸正则化模型的解法及应用研究开题报告

随着信息时代的不断发展，社会的各行各业不断产生着大量的高维数据，如何处理大规模数据以获得数据中的有效信息是各个领域的人们都在关注的问题。

稀疏性是指优化模型的最优解中绝大多数元素都为零，利用稀疏性，可以将数据充分压缩，达到节约空间，减少传输量的目的。稀疏优化为处理大规模数据提供了有效途径，是最优化领域中非常热门的研究课题，其使数字技术更加灵活，尤其在信息和信号处理领域中站着举足轻重的地位。

所谓正则化，是指为了防止过度拟合，增强模型的泛化能力，添加一个关于模型复杂度的惩罚函数， 正则化在求解大规模数据优化问题中具有不可替代的作用，正则化模型通常分为凸正则模型和非凸正则 模型。其中非凸正则具有良好的统计性质，如无偏性、Oracle 性质、稳健性等，因此在信号恢复、图像重建、视频前景提取等领域有着广泛的应用。

目前对非凸正则化的研究还远远不够，正是因为稀疏优化非凸正则问题即涉及深刻的数学理论，又有广阔的应用前景，它已经成为了优化、统计学、信息科学和生物医学等多个领域共同关注的热点之一。 因此研究稀疏优化非凸正则及应用是一件非常有意义的工作。

1.2 国内外研究现状

稀疏优化模型即寻找稀疏最优解的模型，该模型最早是由美国科学院院士 David Donoho 等人 [1]于1998 年提出来的，它的本质思想是结合解的稀疏性结构来构建数学模型，克服欠定线性反问题的不适定性。2005 年，数学家 Emmanuel Candès 与陶哲轩[2]给出了压缩感知的数学理论，该理论证明了在已知信号稀疏性的条件下，稀疏优化模型可以利用少量的采样数来重建原信号，该理论突破了奈奎斯特-香农采样定理的限制，节省了大量的资源，受到国内外广大学者的高度关注，被评为 2007 年度美国十大科技进展之一。

前面提到，正则化模型通常分为凸正则模型和非凸正则模型。最早的凸正则模型是岭回归模型[3]，但其不具有变量选择的作用。之后 Tibshirani 提出了 Lasso 模型[4]，考虑到变量之间的相关性，Tibshirani、Zou 和 Yuan 等对 Lasso 模型进行了改进，提出了弹性网模型[5]

、组 Lasso 模型[6]、Fused Lasso 模型[7]、自适应模型[8]等。非凸正则化模型主要有桥回归模型[9]，该模型是由 Friedman 等在 1993 年提出的，具有很好的统计性质。之后 Fan 在 2001 年提出了 SCAD 正则模型 [10]、Zhang 在 2001 年提出了极大极小凹惩罚模型[11】、限制 1 l 模型[12]等。

近些年针对非凸正则化模型的研究方法主要分为以下几种：迭代加权 1 l 方法、凸差方法、光滑化方法以及交替方向法，其中交替方向法最为有效。Zhao song Lu [13]提出了一种新颖的李普希茨连续逼近罚项 p p x ，研究了新的 1 IRL 最小化方法解决近似目标函数，该方法生成序列的任意积累点都是目标问题的一阶稳定点，是一个了不起的结果。2015 年，Laming Chen 和 Yuantao Gu[14]针对信号恢复问题，对非凸函数正则化最小二乘问题提出了一种快速算法，该算法运行时间短且去噪效果更好。而后 Jinshan Zeng, Shaobo Lin 和 Zongben Xu [15]提出了迭代跳跃阈值算法，简称 IJT 算法，该算法在某些二阶条件下可以收敛到严格局部极小值，适用性较广。2018 年，修贤超 [16]针对信号恢复问题提出了最小一乘 p l 极小化问题，在算法方面，基于 p l 范数逼近，设计了迭代加权 1 l 和 2 l 算法，该算法具有很好的稳健性。2019 年，王格华 [17]针对经典的 Lasso 模型以及 SCAD,MCP 解较密集的问题，提出了倒数 1 l 正则化方法，基于重赋权迭代算法求解倒数 1 l 正则化，对于求解高维数据可以得到更稀疏的解，并且更好的稀疏信号的重建能力。同时，杨赵琪璘等人[18]对稀疏优化模型的正则项p p x 进行了光滑化处理，提出了光滑化拟牛顿算法、光滑化共轭梯度算法和光滑化修正牛顿算法，这些算法对不同维度的信号都有良好的适应性，可以求解系数度更高，携带噪声以及采样率更低的问题。

（2）4-6 周：总体设计，完成论文综述；

（3）7-10 周：设计算法，功能模块设计；