基于卷积神经网络的综合孔径辐射计成像方法研究开题报告

具体公式和图请老师看附件

1、目的及意义（含国内外的研究现状分析）

1.1 研究目的及意义

根据热辐射定律，温度高于绝对零度的一切物体都以电磁波的形式向外辐射能量,，其辐射强度与物体自身属性密切相关^[1,2]。通过接收物体微波波段辐射信号对目标进行成像和测量的高灵敏度仪器称为微波辐射计。由于微波具有可穿透云层、雾霾、细雨、烟尘和积雪等特性，相较于红外和可见光成像仪，微波辐射计具有全天时和全天候工作能力，同时由于其完全被动的工作机理，使得微波辐射计在地球遥感、军事目标探测、安检、生物医疗等领域具有广泛的应用前景^[1-9]。

传统的实孔径辐射计由单个天线通道辅以机械扫描实现成像，其空间分辨率受限于天线物理尺寸，同时由于需要机械扫描，实时成像困难。为了解决上述问题，美国NASA戈达德空间飞行中心将射电天文中的孔径综合方法引入对地观测，提出了综合孔径辐射计(Synthetic Aperture Interferometric Radiometer，SAIR)^[10,11]。综合孔径辐射计采用稀疏分布的小孔径天线阵列合成一个等效的大孔径天线，实现高空间分辨率。其基本原理是通过天线阵列相关干涉的方式获取视场内辐射亮温分布的空间频率域信息，其测量样本称为可见度函数，然后由测量的可见度函数进行图像重建获得辐射场景亮温分布^[12-14]。相比于传统实孔径辐射计，综合孔径辐射计无需机械扫描即可瞬时成像，同时避免了大孔径微波扫描天线设计与机械加工的困难，极大扩展了微波辐射测量的应用，且在目标探测、安检等应用中具有重要的应用前景^[15,16]。

SAIR测量得到的是亮温分布T的空间频率。在射电天文领域，该空间频率称为可见度函数V^[17]。可见度函数V与亮温分布T的关系如下：

(1)

其中，表示归一化天线电压方向图，表示中心频率，R表示消条纹函数，表示方向余弦，表示波长归一化的基线坐标。上式可采用矩阵形式表示为^[18]

(2)

其中，V表示可见度函数的有限、离散采样值向量，简称V为可见度采样；T 表示离散的亮温分布，模型操作算子G表示SAIR的系统冲击响应，e为可见度采样的测量噪声。

SAIR反演是通过求解式(1)从测量的V近似地重建T。式(1)属于第一类Fredholm积分方程，在数学上SAIR图像重建属于求解第一类Fredholm方程的反问题^[19]。求解该反问题面临两个本质性的困难^[19]：①由于SAIR误差和噪声使得观测数据(可见度函数)可能不属于所讨论的问题精确解所对应的值域，因而，在经典意义下的近似解可能不存在；②近似解的不稳定性，即：由于SAIR模型操作算子的不适定性^[19]，使可见度采样的小的观测误差会导致近似解与精确解之间的严重偏离。上述两点体现了反问题的不适定性，即反问题的解不唯一或者不连续依赖于测量数据。反问题的不适定性根植于模型操作算子以及未知解对应的信号空间。解决SAIR成像反问题不适定性的根本途径在于挖掘、正确描述（用数学语言）并利用关于SAIR以及亮温分布的先验信息。

近年来，深度学习(DL)的实现，使其成为解决科学和工程学中许多问题的最新技术，包括自然语言处理^[20]、目标识别^[21]和图像分类^[22]。特别是在遥感图像处理领域，深度卷积神经网络（CNN）架构在高光谱/ SAR图像分类和目标识别方面取得了惊人的成功^[23-27]。CNN体系结构由多个卷积层以及非线性和池化层组成，可用于直接执行图像分类或其他特征提取任务。经典的CNN架构可以通过定义第一个网络层的输入和最后一个网络层的输出来实现分类或特征提取功能。这种网络体系结构拓宽了我们解决成像反问题的思想。在医学MRI成像中已经报道了使用深层CNN架构解决反问题的一些方法^[27,28]。这些方法建立在已知的正则化模型上，采用CNN架构来解决正则化问题。CNN解决SAIR成像问题的优势在于以下两点：①由于实际情况中SAIR具有不同的稀疏天线阵列，如：T型、Y型、圆型等，不同的阵列会产生不同数据结构的可见度函数样本，在使用正则化方法时需要采用不同的处理方法和不同的参数选择。而CNN通过大量的训练集训练可以解决参数选择困难的问题。②在传统成像方法中，为了更好的成像效果，需要手动引入额外的先验信息（例如总变异或稀疏性）。而CNN可以通过训练数据来提取隐含的高阶先验信息。CNN为逆成像问题提供了完全不同的解决方案。

1.2 国内外研究现状

在综合孔径技术引入遥感领域的早期，借鉴射电天文研究成果，Ruf等人就将傅里叶变换方法引入到综合孔径辐射计成像方法中^[29]。其后在SAIR的研究中，Camps提出了针对Y形阵列的矩形FFT反演法^[30]。傅氏变换法是在许多假设条件下近似得到的，据此反演出的图像准确度较差^[31]。另一种方法是在输出最小平方问题的框架内求解该反问题，一种直接的方法是采用MP广义逆法计算反问题的最小范数解。然而，从反问题数值解的观点看，当模型操作算子G为不适定矩阵(ill-conditioned)时或者行秩亏时（通常SAIR的非理性特性会导致G不适定）。对于不适定的G矩阵，最小平方解不稳定：相应地，最小范数解无意义。

Lannes和Anterrieu最早对SAIR成像反演的不适定性进行了论述，指出可通过正则化的手段来寻求唯一的稳定解^[32,33]。SAIR反问题的不适定性根植于模型操作算子G和未知解T对应的信号空间^[34]。关于G矩阵的不适定性前已论及。而T的信息不完整且受到SAIR误差和噪声的干扰是导致反问题不适定的另一个主要原因。

Goodberlet在分析ESTAR系统的G矩阵时发现：理论上，SAIR的阵列因子的每一行应等效为一个加权值和为1的综合孔径天线方向图；然而，G矩阵是通过测量的手段得到的，由于没有对测量的G矩阵进行天线方向图归一化(APN)操作，使得反演图像的波动大于正常的Gibbs振荡。因此，Goodberlet提出了将综合孔径方向图归一化的方法或APN法。该方法的本质是消除由于测量导致的G矩阵不适定性。另一种直接从反问题数值解发展起来的消除G矩阵不适定性的方法称为截断奇异值分解法(TSVD)^[35]。TSVD法通过直接去除G矩阵中小的奇异值，从而降低G矩阵的条件数，达到稳定反问题解的目的。但该方法在选取所要舍弃的最佳的最小奇异值的个数(即进行正则化参数选择)上却面临着困难。Tikhonov正则化^[36]是一种针对第一类Fredholm积分方程的正则化方法。Anterrieu则利用了SAIR 空间频率采样带宽有限且离散的先验信息，提出了带限正则化法。带限正则化的本质是将被反演的亮温分布的空间频率限制在所谓的实验频率覆盖域(即SAIR有限且离散的空间频率采样点所构成的空间)。TSVD法、Tikhonov正则化法采用数学的手段约束G矩阵的不适定性。APN法和带限正则化则利用SAIR的物理特性约束G矩阵的不适定性。从反问题解的角度来看，上述反演方法均没有提供有关T的信号空间的任何先验信息。

正则化方法还在确定最优正则化参数上存在困难。在不适定问题的正则化过程中，正则化参数的选择是一个至关重要的问题。以一种什么样的策略来选择正则化参数，不仅影响着SAIR反演成像方法的收敛速度，而且影响着所求得的解是否收敛于问题的真实解。目前最常用的方法大致可以分为两类：一类是在已知数据项V中误差的大小情况，由误差水平规定正则化解剩余范数应满足的上界，使解的范数最小，目前这一类方法仅有Morozov离差原理^[37]；另一类方法是在无法确定误差的情况下，尽量从数据项V中提取必要的信息，其中的代表是广义交叉验证法(GCV)。但是离差原理法非常依赖于数据误差水平情况，这在实际中是有困难的。而GCV函数有时过于平缓，要定位它的最小值很困难。Hansen针对不适定问题提出了L曲线法^[38]，其核心是定位L曲线上曲率最大的点。但该方法需要计算足够多的正则化参数对应的反问题解误差与反问题解进行计算，以绘制L曲线。实际上，对于L曲线法，即使该方法在某些情况下使用(即可寻找到最优正则化参数)，但并不适用所有的情况。

针对最优正则化参数很难确定的困难，中国南京紫山天文台的研究团队提出了一种结合深度学习卷积神经网络的SAIR成像方法^[39]，该方法中将SAIR的干涉测量结果用信号编码表示，将SAIR成像用相应的解码表示。用具有附加完全连接层的深度CNN框架从干涉测量样本中自主学习解码表示并执行SAIR成像。并借助具有超参数的监督学习正向模型更准确的获得涉及多个系统特征的SAIR实际成像图片。实验证明，采用深度学习的方法解决SAIR成像问题具有较好的成像效果和稳定的成像成本，相对于FFT重建方法和压缩感知成像方法可以更好地抑制信息缺失和Gibbs振荡。

具体公式和图请老师看附件

2、研究（设计）的基本内容、目标、拟采用的技术方案及措施

本设计旨在借助近年来快速发展的深度学习技术来解决微波SAIR成像重建过程中的干扰和误差问题。SAIR成像重建可以概括为：。在没有测量偏差和噪声干扰的理想情况下SAIR成像重建可以表示为傅里叶逆变换。而现实情况是在干涉测量中存在测量偏差和噪声干扰，使可见性函数样本损坏。为了处理这种破坏，在成像重建过程中需要引入偏差减少和去噪处理。使用损坏的可见性函数样本重建的成像输出不是确定性变量，而是未知变量。这个未知变量的近似不确定性可以表示为一个受条件概率分布约束的随机变量。在的一个紧凑子集上，随机投影和确定性映射相结合的模型是连续可微的，因此理论上它们可以通过基于通用逼近定理的深度神经网络来学习。 因此，SAIR-CNN的去噪和重建模型可以表示为

其中是具有待更新参数的深度神经网络，而是学习的深度神经网络，即我们旨在获得的SAIR成像重建表示。

将SAIR的干涉测量过程解释为从辐射亮度温度（BT）分布域到干涉测量数据域的信号编码表示。在实际情况中，不同天线阵列配置的SAIR会带来不同的获取策略和数据组织的可见度函数，这些可见度函数具有不同的数据结构，使用正则化方法进行图像重建的过程中要针对不同的结构使用不同的处理方式并进行参数设置，实现较为麻烦。建立一个基于卷积神经网络的具有广义无模型的、可适用于不同的阵列配置的从可见度函数到辐射亮温图像的成像方法，称为SAIR-CNN。其结构的输入为干涉测量数据，输出为微波SAIR重建亮温图像数据。为了让SAIR-CNN适用于不同的阵列配置，选用数据驱动的非统一模式来实现SAIR-CNN，而不是引入已知的SAIR成像理论模型。

设计的SAIR-CNN包括一个输入层，两个FC层，三个级联卷积层和一个输出层，不包含池化层，而通过FC层进行增强。它旨在利用SAIR图像和特征图的二维结构，同时避免特征融合，因为SAIR图像重建目的是为了获取亮温图像，而不是目标检测或者图像分类，所以不需要池化层对数据进行压缩。

图1. SAIR-CNN的网络架构

网络的输入是可见性函数样本，由2维复数值矩阵组成。由于对于深度神经网络，输入样本的顺序不影响最终输出结果，因此将个复杂可见性函数样本分离为实部和虚部，并在FC层FC1的向量中调整大小。层FC1完全连接到隐藏的卷积层C1，并引入非线性函数双曲正切函数作为激励函数，双曲正切函数使卷积层的输出有界，方便成为下一层的输入。采用双曲正切函数反向传播时，不会出现梯度消失导致的信息丢失的情况，并且会使一部分的神经元输出为零，减少了参数相互依存关系，避免了过拟合情况出现。前两个隐藏的卷积层C1和C2包含相同的且由ReLU功能激活的过滤器库。第三隐藏卷积层C3完全连接到隐藏FC层FC2，同样引入非线性函数双曲正切函数作为激励函数。FC2层通过附加的范数惩罚完全连接到输出层，同样引入非线性函数双曲正切函数作为激励函数。输出层表示重建的微波SAIR图像。

SAIR-CNN不是建立在已知的正则化模型上，而是自主学习数据驱动的成像模型。这使SAIR-CNN利用了所有现有信息和系统功能，而无需为实际应用进行手工选择参数。SAIR-CNN训练和应用阶段的差异如图2所示。

图2. SAIR-CNN方法不同阶段的流程图

（a）训练阶段（b）验证或应用阶段

在SAIR-CNN框架中，采用FC层来学习从干涉测量数据域到微波BT数据域的投影，而卷积层则用于从数据中提取隐式高阶先验信息，并在卷积特征映射域中表示它们。

在实际训练过程中，将训练集图像调整大小为128×128像素，并提取它们的RGB颜色以形成灰度强度（如微波BT）。经过预处理后，所有模拟的微波SAIR图像都被视为是地面真实输出数据。利用SAIR成像原理将地面真实输出数据生成的可见性函数样本用于加性高斯噪声中，形成有损坏的输入效果，以增强SAIR-CNN方法的鲁棒性。在实际测试过程中，需要模拟现实环境存在系统接收噪声和干涉测量偏差的情况，这种噪声和偏差用加性高斯白噪声（方差σ2=0.05）来描述。对理想条件和模拟现实下分别进行SAIR成像重建实验，通过与传统傅里叶反变换方法重建的图像进行对比，观察两者成像结果的差别，并验证在欠采样可见度函数的情况下，SAIR-CNN方法是否还具有较好的图像重建能力。具体公式和图请老师看附件具体公式和图请老师看附件

4、参考文献

[1] Ulaby F T, Moore R K, Fung A K. MicrowaveRemote Sensing, Active and Passive, Volume 1, Microwave Remote SensingFundamentals and Radiometry. Massachusetts: Addison-Wesley, 1981.

[2] 张祖荫，林世杰. 微波辐射测量技术及应用. 北京：电子工业出版社, 1995.

[3] Nanzer J. Microwave and millimeter-wave remotesensing for security applications. Norwood, MA, USA: Artech House, 2012.

[4] Yujiri L, Shoucri M, Moffa P. Passivemillimeter-wave imaging. IEEE Microwave Magazine, 2003, 4(3):39–50.

[5] Peichl M, Dill S, Jirousek M, et al. Microwaveradiometry–imaging technology and applications. in: Proceedings of IEEEEuropean Radar Conference, 2007, 75-83.

[6] Appleby R, Anderton R N. Millimeter-wave andsubmillimeter-wave imaging for security and surveillance. Proceedings of theIEEE, 2007, 95(8):1683–1690.

[7] Carr K L. Microwave radiometry: Its importanceto the detection of cancer. IEEE Transactions on Microwave Theory andTechniques, 1989, 37(12):1862–1869.

[8] 李辉, 王子滨. 国外毫米波末制导技术的研究. 制导与引信, 1991, (4):43–55.

[9] 张祖荫, 郭炜, 林士杰. 无源毫米波末敏弹. 华中科技大学学报(自然科学版), 1994, (5):20–25.

[10] Ruf C S, Swift C T, Tanner A B, et al.Interferometric synthetic aperture microwave radiometry for the remotesensing of the Earth. IEEE Transactions on Geoscience and Remote Sensing, 1988,26(5):597–611.

[11] LeVine D M, Kao M, Swift C T, et al. Initialresults in the development of a synthetic aperture microwave radiometer. IEEETransactions on Geoscience and Remote Sensing, 1990, 28(4):614– 619.

[12] Thompson A R, Moran J M, Swenson Jr G W.Interferometry and Synthesis in Radio Astronomy. New York: John Wiley andSons, 2008.

[13] Camps A. Application of interferometricradiometry to Earth observation: [PhD Dissertation]. Catalunya, Spain:Universitat Politecnica de Catalunya (UPC), 1996.

[14] Corbella I, Duffo N, Vall-Llossera M, et al.The visibility function in interferometric aperture synthesis radiometry.IEEE Transactions on Geoscience and Remote Sensing, 2004, 42(8):1677– 1682.

[15] 吴季, 刘浩, 孙伟英, et al. 综合孔径微波辐射计的技术发展及其应用展望. 遥感技术与应用, 2005,20(1):24–29.

[16] Martn-Neira M, LevineD M, Kerr Y, et al. Microwave interferometric radiometry in remote sensing:An invited historical review. Radio Science, 2014, 49(6):415–449.

[17] Thompson A R, Moran J M, Swenson G W.Interferometry and synthesis in radio astronomy. John Wiley Sons Inc.,2001

[18] Tanner A B, Swift C T. Calibration of aSynthetic Aperture Radiometer. IEEE Trans. Geosci. Remote Sensing, 1993, 31(1):257~267

[19] 刘继军. 不适定问题的正则化方法及应用. 北京: 科学出版社, 2005

[20] T. Young, D. Hazarika, S. Poria, and E.Cambria, “Recent trends in deep learning based natural language processing,”IEEE Comput. Intell.Mag., vol. 13, no. 3, pp. 55–75, Aug. 2018.

[21] O. Russakovsky et al., “ImageNet large scalevisual recognition challenge,” Int. J. Comput. Vis., vol. 115, no. 3, pp.211–252, Dec. 2015.

[22] T. H. Chan, K. Jia, S. Gao, J. Lu, Z. Zeng,and Y. Ma, “PCANet:A simple deep learning baseline for image classification,”IEEE Trans.Image Process, vol. 24, no. 12, pp. 5017–5032, Dec. 2015.

[23] T. Wiatowski and H. Blcskei, “A mathematicaltheory of deep convolutional neural networks for feature extraction,” IEEETrans. Inf. Theory,vol. 64, no. 3, pp. 1845–1866, Mar. 2018.

[24] S. Chen, H. Wang, F. Xu, and Y. Q. Jin,“Target classification using the deep convolutional networks for SAR images,”IEEE Trans. Geosci.Remote Sens., vol. 54, no. 8, pp. 4806–4817, Aug. 2016.

[25] E. Maggiori, Y. Tarabalka, G. Charpiat, and P.Alliez, “Convolutional neural networks for large-scale remote-sensing image classification,”IEEETrans. Geosci. Remote Sens., vol. 55, no. 2, pp. 645–657,Feb. 2017.

[26] X. Xu, W. Li, Q. Ran, Q. Du, L. Gao, and B.Zhang, “Multisource remote sensing data classification based on convolutionalneural network,” IEEE Trans. Geosci. Remote Sens., vol. 56, no. 2, pp.937–949, Feb. 2018.

[27] J. Pei, Y. Huang, W. Huo, Y. Zhang, J. Yang,and T.-S. Yeo,“SAR automatic target recognition based on multiview deeplearning framework,” IEEE Trans. Geosci. Remote Sens., vol. 56, no. 4,pp.2196–2210, Apr. 2018.

[28] J. Schlemper, J. Caballero, J. V. Hajnal, A.N. Price, and D. Rueckert,“A deep cascade of convolutional neural networksfor dynamic MR image reconstruction,” IEEE Trans. Med. Imag., vol. 37, no.2,pp. 491–503, Feb. 2018.

[29] C. M. Hyun, H. P. Kim, S. M. Lee, S. Lee, andJ. K. Seo, “Deep learning for undersampled MRI reconstruction,” Phys. Med.Biol., vol. 63, no. 13, pp. 135007:1–135007:15, Jun. 2018.

[30] Ruf C S., Swift C T, Tanner A B, et al.Interferometric synthetic aperture microwave radiometry for the remotesensing of the Earth. IEEE Trans., Geosci. Remote Sensing, 1988,26(5):597-611

[31] Camps A. The processing of Hexagonally SampledSignals with Standard Rectangular Techniques: Application to 2-D LargeAperture Synthesis Interforometric Radiometers. IEEE Trans. Geosci. RemoteSensing, 1997, GE-35(1):183~190

[32] 黄永辉. 综合孔径成像微波辐射计反演算法及实验研究: [硕士学位论文]. 空间飞行器设计, 中国科学院空间科学与应用研究中心, 2001

[33] Lannes A, Anterrieu, E and Bouyoucef K.Fourier interpolation and reconstruction via Shannontype techniques; Part I:Regularization principle, J. Modern Opt., 1994, 41(8): 1537–1574

[34] Lannes A, Anterrieu E, and Bouyoucef K.Fourier interpolation and reconstruction via Shannontype techniques Part II:Technical developments and applications, J. Modern Opt., 1996, 43(1): 105–138

[35] Bertero M and Boccacci P. Introduction toInverse Problems in Imaging, 1st ed. London, U.K.: Inst. Phys., 1998

[36] Gaikovich K P and Zhilin A V. Tikhonov'salgorithm for two-dimensional image retrieval, in Proc. MMET, Kharkov,Ukraine, 1998,622-624

[37] Morozov V A. On the solution of functionalequations by the method of regularization. Soviet Math. Dokl., 1966,7:414-417

[38] Golub G H, Heath M, and Wahba G. Generalizedcross-validation as a method for choosing a good ridge parameter.Technometrics, 1979, 21:215-223

[39] Zhang Y, Ren Y, Miao W, et al. Microwave SAIRImaging Approach Based on Deep Convolutional Neural Network[J]. IEEETransactions on Geoscience and Remote Sensing, 2019, 57(12): 10376-10389.