古籍文档图像拼接算法研究开题报告

1. 研究目的与意义（文献综述）

图像拼接是计算机视觉中一个有趣的领域，它把来自多个不同视角相机的图像变换到同一视角下，无缝拼接成一张宽视野图像（比如360度全景图，甚至360度*180度的球面全景）。对于较大篇幅的文档图片，无法通过一次拍摄完成整幅文档内容的采集，需要进行多次多方位的拍摄获得局部图像，然后使用图像拼接技术使之形成完整的文档图像。

图像拼接的输出是输入图像的并集。通常用到五个步骤：

2. 研究的基本内容与方案

基本内容：设计基于古籍文档的图像拼接算法

目标：对采集的局部古籍文档图片进行拼接，形成完整的文档图片，便于后续版面分析和文字识别过程。

基于cnn的算法几乎在以图像作为输入的所有领域表现出相比于人类特征工程更加优秀的表达能力。特征点与描述子分开进行训练导致运算资源的浪费，网络不够精简，实时性不足；或者仅仅训练特征点或者描述子的一种，不能用同一个网络进行联合训练。因此，本设计在特征提取和图像配准阶段拟采用自监督的方式去训练网络来提取特征点以及计算描述符(superpoint)。在图像变形处理阶段，拟采用[10]中所提方案，可能也会采取多算法进行对比择优。图像融合是在重叠区域融合像素颜色，以避免接缝。最简单的可用形式是使用羽化（feathering），它使用加权平均颜色值融合重叠的像素。但考虑到拼接对象问古籍文档，若采用羽化处理接缝可能造成信息丢失，因此，拟采用farse[9]方法。

3. 研究计划与安排

2020年3月1日-2020年4月15日 继续研究相关算法，尝试实现已阅读文献中的方法; 设计基于古籍文档拼接算法

2020年4月15日-2020年4月30日根据疫情实际情况，在返校后通过指定设备收集文档图片，构建数据集。并将拼接算法在数据集上进行训练测试。

4. 参考文献（12篇以上）

[1] simo-serra e, trulls e, ferraz l, etal. discriminative learning of deep convolutional feature point descriptors[c].proceedings of the ieee international conference on computer vision. 2015:118-126.

[2] liu z, li z, zhang j, et al. euclideanand hamming embedding for image patch description with convolutionalnetworks[c]. proceedings of the ieee conference on computer vision and patternrecognition workshops. 2016: 72-78.

[3] lin k, lu j, chen c s, et al. learningcompact binary descriptors with unsupervised deep neural networks[c].proceedings of the ieee conference on computer vision and pattern recognition.2016: 1183-1192.