图像拼接算法的研究开题报告

1. 研究目的与意义（文献综述）

在现实生活中，普通相机拍摄图像时，拍摄角度与范围十分有限，而且无法兼顾相机视场与视场中单个个体的分辨率问题；此外，全景相机普遍价格昂贵，不适用较低成本的一般性应用场合。为了使普通相机克服自身视角的局限性，获取更宽的视觉，甚至是 QUOTE（360度）

图像拼接技术起初是应用于遥感技术领域，该技术核心主要是图像配准，且产生了两个研究分支。一条分支是基于区域的图像配准。早期主要采用基于空间域的全局搜索法进行图像配准，计算量相当大。模板匹配法相对于全局搜索法操作简单，容易实现，但都只能解决有关平移的图像拼接问题。而基于变换域的图像配准有相位相关法，依据傅里叶变换的平移不变性将空间域上像素的平移转换为频率上相位的平移，Reddy于1996年提出了扩展相位相关法，将相位相关法和对数极坐标变换法相结合，解决了旋转与尺度放缩问题，可是该方法计算较复杂。另一条分支是基于特征的图像配准，包括角点、边缘、斑点等。1988年，Harris提出了经典的Harris角点检测算法，将图像中具有旋转的、平移不变性的角点作为特征点进行图像配准。在国内，李辉在1995年提出的轮廓匹配算法能够处理包含较大的噪声但具有清晰边缘的图像，具有很好的鲁棒性和可靠性，对目标的变形也有很好的适应性。Lowe于1999年提出并在2004年完善了尺度不变的特征变换算法(scale-invariant feature transform, SIFT),该算法对平移、旋转、尺度放缩和光照不均等情况都有很好的适应性，并且对视角变化、仿射变换也保持一定程度的稳定性，但SIFT算法复杂构建图像金字塔、确定特征点的准确位置、估计主方向等操作时可能会产生误差积累，同时SIFT算法也是目前的研究热点。

2. 研究的基本内容与方案

1.研究的基本内容

本项目主要目的是将把同一场景的相互有部分重叠的一系列图片合成一张更大更宽宽视角的图像，并且要求拼接后的图像最大程度地与原始图像接近，失真尽可能小，没有明显的缝合间隙。图像拼接主要由图像获取、图像配准、图像融合三部分组成。

2.拟解决问题

图像拼接技术应用范围广泛，所以其算法研究均面临着通用性、鲁棒性与实时性的问题。由于图片种类繁多复杂，尺寸、亮度、图像特征多变不一，尚没有一种算法可以适用于所有情况下的图像拼接，能够找到通用性较强的拼接方法则为目前研究的主要方向与任务。其中大尺度放缩、旋转、平移等情况下，几何畸变、重叠区域面积等问题可能会对图像拼接的效率、精度、分辨率等产生影响，多数算法在上述条件差别较小的情况下可以取得良好的效果，但当上述条件差别较大时，可能会产生拼接效果差，甚至导致拼接失败的情况。

3.采用方案

为了实现图像拼接，首先需进行图像校准、抑制图像噪声等预处理操作。

其次，需要寻找图像拼接的重叠部分，即实现重叠图像的匹配。在图像配准技术中，配准的依据是图像之间的相似性。根据相似性判断标准的不同，基于区域的图像匹配方法大致可以分为三类：全局搜索法、模版匹配和基于频域变换相位相关法。而基于特征的匹配方法，不是直接利用图像的像素值，而是通过像素导出图像特征（常见的特征包括点、轮廓、曲线和曲面等），然后以图像特征为标准，对图像重叠部分的对应特征区进行搜索匹配。一般基于特征点的匹配算法主要包括特征点、确定特征点之间的关联、确定图像之间的配准变换三个处理过程，而点特征中主要应用的是图像中的角点。特征点检测的方法大致可以分为二类：一类是首先进行边缘的提取，然后再进行角点提取；另一类是直接在灰度图像中提取角点特征，主要通过计算达到检测角点的目的，如Harris角点检测算法和SIFT角点检测算法等。

本课题主要采取的研究方案为基于特征的SIFT匹配方法。其配准步骤大致分为四步：（1）构建尺度空间（2）提取特征点（3）描述特征点（4）特征点配对

通过SIFT方法从图像中提取的特征点可用于一个物体或场景不同的可靠匹配，提取的特征点对图像尺度和旋转保持不变，对光线变化、噪声和仿射变化都鲁棒性。SIFT角点检测过程是：首先在尺度空间进行特征检测，并确定特征点的位置和特征点的尺度，然后以特征点邻域梯度的主方向为该点的方向特征，实现对尺度和方向的无关性，最后得到两幅图像的所有特征点描述符。通过SIFT角点检测算法得到两幅图像的所有特征点描述符后，使其中一幅图像为样本图像，与之相匹配的图像为特征图像。因为正确的匹配应该比错误的匹配有明显的最短最近邻距离、可以利用最近邻特征点的性质实现两幅图的匹配。最近邻特征点是指用不变的特征点描述符进行运算的、与样本点具有最短欧几里得距离的特征点。欧几里得距离定义：欧几里德距离（Euclidean distance）称欧氏距离，在n维空间内，最短的线的长度即为其欧氏距离。它是一个通常采用的距离定义，它是在m维空间中两个点之间的真实距离。通过该方法可以获得稳定的匹配结果。得到匹配的特征点后，可以进行图像拼接。

最后，在一般情况下，由于图像亮度差异等因素，配准后图像可能存在明显接缝，需要使用图像融合技术来消除拼接缝隙，在图像的重叠区域实现平滑衔接以及融合。综上，该方案不仅可以实现图像拼接，而且可以解决传统方法遗留的问题，实现平滑的图像拼接，提高了图像质量。

3. 研究计划与安排

2020.3.20前查阅相关文献资料，明确研究内容，了解研究所需硬件和软件，确定方案，上传开题报告及外文文献翻译

2020.4.10前了解现有图像拼接算法，上传第一篇阶段性报告

2020.5.6前选择一种加以实现，上传第二篇阶段性报告

4. 参考文献（12篇以上）

[1] 裴红星,刘金达,张斌. 拼接技术综述 [j]. 河南：郑州大学.2019.

[2] 邵向新.数字图像拼接核心算法的研究 [d].长春:吉林大学，2010.

[3] toyama f, soji k. image mosaic from a set of imageswithout configuration information [c]. the 17th international conference onpattern recognition, 2004:899-902.