基于深度学习的图像超分辨率重建文献综述

一、文献综述

（一）国内外研究现状

Harris等人于1964年首次提出图像超分辨率重建的概念，利用外推频谱的方法获取到高于成像系统分辨率的图像，虽然效果不佳，但是打开了图像超分辨率重建技术的开端。20世纪80年代，Tsai提出利用傅里叶变换建立低分辨率图像与高分辨率图像之间的线性关系，结合多幅低分辨率图像重建出一副高分辨率图像，即基于频域上的多幅图像超分辨率算法，使得图像超分辨率重构方法受到广泛的关注。之后，在Tsai的基础上，Kim等人提出了改进，并且可对动态图像序列进行图像超分辨率，该方法借助于傅里叶变换的位移特性处理图像的内插相关问题，但由于对原低分辨率图像的先验知识应用不足，仍存在很大的局限性。1989年，Stack等人提出的凸集投影法不仅使得图像的重建质量明显改善，且该算法在收敛速度方面也有了大大的提升，迭代反投影法由Irani等人于1991年提出，有着计算量小且收敛速度快等优点，该方法假定高分辨率图像的降质低分辨率图像与实际的低分辨率图像之间存在模拟误差，并对其进行反向投影，最终重建出高分辨率图像，之后，Raati等人将双三次插值方法应用到迭代反投影中，使得图像的细节信息更加丰富。

由于以上基于重构的图像超分辨率方法在重建过程中难以使用先验知识，图像的重建效果有待进一步提升。基于学习的图像超分辨率重建方法被提出，取得了较好的重建效果和广泛的关注。2002年，Freeman等人为了学习低分辨率图像与高分辨率图像之间的关系，提出使用马尔可夫随机场，并取得了较好的效果，但该方法存在两个问题：一方面，该方法所产生的计算量较大，容易导致运算效率不高，另一方面，数据集的大小会对结果产生较大影响。之后，Chang等人提出了基于邻域嵌入的图像超分辨率重建方法，该方法建立训练集中高分辨率图像与低分辨率图像块之间的差异，再选取多个临近块，并对比训练集中低分辨率图像与输入的低分辨率图像之间的差异，再选取多个临近块，根据临近块的线性组合映射到高分辨率图像中，最终得到重建出的高分辨率图像。之后，Pu，Wei，Cao，Huang，Gao和Zhang等人分别对邻域嵌入法做出了一系列的改进。到2010年，Yang等人对低分辨率图像块和高分辨率图像块进行训练，学习两者之间的稀疏系数，提出了基于稀疏表示的图像超分辨率重建算法，最终通过学习到的稀疏系数与完备字典重建出高分辨率图像。

近年来，由于深度学习再其他计算机视觉领域中取得的突破性进展，人们尝试引入深度神经网络，通过构建深层次的网络进行端到端的训练来解决图像超分辨率重建问题，2014年，Dong等人使用卷积神经网络拟合传统的图像超分辨率重建过程，提出了首个基于深度学习的图像超分辨率网络SRCNN，并证明了SRCNN的网络结构所表达的意义与传统的图像超分辨率重建过程是吻合的。2016年，Dong等人又提出了FSRCNN算法对SRCNN进行改进，不仅减少了预处理操作，还提高了算法的速度，Kim等人首次将残差学习的思想引入到图像超分辨率中，认为可以直接学习图像的高频信息，即低分辨率图像和分辨率图像之间的残差信息，因为高分辨率图像和扩大尺寸后的低分辨率图像之间的低频信息是相同的，并基于此思想提出了VDSR，VDSR方法将超分辨率网络扩展到20层，极大地提高了图像超分辨率重建的准确性。SRCNN和VDSR将经过双三次插值的图像作为网络的输入，均在高分辨率图像尺寸上进行神经网络运算，这样的做法一方面会导致部分运算在高分辨率图像尺寸上进行，极大地浪费了计算资源；另一方面，将原始的低分辨率图像经过双三次插值处理作为网络的输入图像，会造成一定信息的损失。Shi等人提出了ESPCN，直接在低分辨率图像上进行卷积运算，减少了因插值上采样操作造成的低分辨率图像信息损失，且在网络的末端直接使用亚像素卷积层将图像上采样至目标大小，节省了大量的计算资源，提升了运算效率。使用上述方法重建出的图片往往会过于平滑，使得观者缺乏真实感。因此，Ledig等人于2017年提出SRGAN方法，首次将生成对抗的思想引入到超分辨率中，并在损失函数中引入了感知损失来代替欧氏距离损失函数，结合对抗损失函数，是的生成网络生成的超分辨率图像在视觉上更加可以被人眼所接受，更加具有真实感。之后，Zhang等人提出的RCAN，首次将注意力机制应用于图像超分辨率领域，在计算能力有限的情况下，将更多的计算资源分配给任务的核心，强化图像特征的高频信息，加快网络的收敛速度，有效地重建出高分辨率图像。

1. 研究主要成果

1. 发展趋势

基于深度学习的SR重建方法成为近几年该领域的研究趋势，SR重建的任务就是尽可能地预测出与HR图像高度相似地图像。其学习LR图像核HR图像的映射关系，保留大量有效的细节信息，重建出效果较为理想地HR图像。基于稀疏表示地方法解决了领域嵌入法人为选择领域大小地问题，取得了不错的重建效果，但是字典的训练使得重建效率较低。随着人工智能和深度学习的发展，深度学习方法因为其优越的重建性能和速度之快成问研究热点，许多学者致力于不断对网络模型的结构进行改进和优化，使效果越来越好。

1. 存在的问题
2. 图像视觉效果的提升。虽然基于生成对抗网络的模型能够在一定程度上提升重建的视觉效果，但生成对抗网络仍面临训练时收敛困难和不稳定的难题，重建出的高分辨率图像中容易出现一些人为的痕迹和伪影。接下来需要研究的时如何引入一些图像先验或约束，从而使重建的图像既有较好的视觉效果，同时也不产生一些伪影情况。
3. 评价指标的增添。目前在超分辨率重建领域中，最常用的评价指标是PSNR和SSIM。但是仅有这些评价指标是远远不够的，将不能很好地对重建后地图像进行有效评价。一些研究学者已经选用了新的评价指标，如Ledig等选用了MOS、Gao选用了LS。因此，需要进一步探索更加准确的评价指标。
4. 网络模型地设计。目前很多SR算法选用地是深度网络，通常会大大增加模型的参数和计算量。此外，SR算法卷积核的大小大多是根据经验选择，理论基础较为薄弱。因此，可以引入自组织学习的理念，自动地选择合适的网络层数和卷积核大小来达到最佳的重建效果。
5. 实际场景中的超分辨重建。现有SR算法大多是采用固定的退化方式（如双三次插值）对真实HR图像处理，再将其缩小获得LR图像，然后通过算法重建出对应的HR图像。然而实际场景的图像超分辨率只有LR图像没有对应的HR图像，因此无法评估重建出的HR图像的准确性。虽然已有一些盲超分辨重建算法，但距离实际应用还需要很长的时间，因此更具适用性的盲超分辨重建算法需要进一步研究。

二、查阅中外文献资料目录

[1] Chao Dong, Chen Change Loy, Kaiming He, Xiaoou Tang. Image Super-Resolution Using Deep Convolutional Networks, IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), Preprint, 2015

[2]Sharma Shailza,Kumar Vinay. An efficient image super resolution model with dense skip connections between complex filter structures in Generative Adversarial Networks[J]. Expert Systems With Applications,2021,186:

[3]Han Sujy,Lee Tae Bok,Heo Yong Seok. Deep Image Prior for Super Resolution of Noisy Image[J]. Electronics,2021,10(16):