基于深度学习的图像着色方法研究开题报告

全文总字数：5422字

1. 研究目的与意义（文献综述）

1.1 研究目的及意义

在日常生活中，信息在不断的传递和交换，在这一过程中，图像是最重要的传播媒介。对于图像来说，颜色和亮度是决定其表现力的决定性因素。有医学实验结果表明，人眼对于彩图的分辨要远远强于灰度图。我们的肉眼可以分辨出大量的组合色彩，但对于黑白图，却只能分辨出十多种灰度级。此外，灰度图由于没法全面的表达真实物体的颜色特征，所以对于特征提取造成了一定的困难。因此，将灰度图转化成彩图，将有利于对图像的特征提取。

比如，空天领域的工作者不能从卫星遥感成像的灰度图片中获取足够准确的资料；医学领域中的 x光，核磁共振等技术的生成图本身是灰度图，应用图像着色技术后，能够将病理特征更明显的展示出来^[1]；物理领域实验中电子显微镜下的灰度图像提供的信息非常有限，含有研究价值的图像中很多都是灰度图片，但彩色图片能提供比灰度图片更多的信息，而且人类对彩色图片的分辨力更是高于灰度图片。因此，灰度图像彩色化这一课题是非常具有研究价值的。

2. 研究的基本内容与方案

本文研究的主要内容为数字图像处理、深度学习和神经网络模型，重点研究利用深度学习方法对灰度图像进行自动上色，在python环境下实现研究内容，并对结果进行比较分析。

卷积网络（convolutionalnetwork）是由 lecun 在1989 年提出的一种神经网络，它十分擅长处理张量数据比如图像数据，它的别名是卷积神经网络。之所以取名卷积神经网络，是因为它使用到了一种类似于“卷积”的数学运算。cnn在网络结构中至少含有一个卷积层的前馈神经网络。和生物神经网络相似，它的网络结构具有权值共享的特征，减少了权值的数量，降低了网络模型的复杂度。当网络的输入是多维图像时，将大大降低处理难度。和传统算法中需要进行复杂的特征提取和数据重建过程不同，卷积神经网络可以将图像直接输入到网络中，自主学习图像的各个特征并形成输入和输出的映射关系。卷积神经网络能够有效训练多层网络结构。它利用空间关系减少需要学习的参数数目，从而可以提高反向传播算法训练性能。在 cnn 中，将图像的一部分作为网络结构最底层的输入，信息从底层一直传输到高层，每层通过类似于数字滤波器的卷积 核去获得输入数据的最显著特征。由于cnn已经在图像处理领域取得了巨大的成功，所以将其用于灰度图像着色的研究中会起到很好的效果。

2014 年，goodfellow 等人^[15]提出了一种新的生成模型：生成对抗网络（gans）。 一个gan网络由两个更小的网络组成：生成器（generator）和判别器（discriminator）。 其中生成器的主要作用是学习真实数据分布，生成与真实数据无法区分的结果，以骗过判别器；而判别器的主要作用是区分输入样本是来自生成器模型分布还是来自原始数据分布。同时对这两个子网络进行交替训练，直到生成器能够一致的产生判别器无法分类的结果。gan是一个十分灵活的网络框架，可以整合不同类型的损失函数，因此可以尝试将 gan 网络用于灰度图像彩色化问题上，此方法已被证明能够得到很好的效果。向网络中输入灰度图像，其中生成器用于生成彩色图像，而判别器用于区分输入到判别器中的图像是真实彩色图像还是生成器生成的彩色图像从而给生成器反馈。通过不断的训练，最终可以使得生成器能够生成和真实彩色图像相似的彩色图像。

3. 研究计划与安排

第1－4周：查阅相关文献资料，明确研究内容，了解研究所需理论基础，确定方案，完成开题报告。

第5－6周：熟悉掌握基本理论，完成英文资料的翻译，构思总体设计，熟悉开发环境。

第7－13周：分步实施，实现各算法，并进行训练测试，实验分析，撰写论文初稿。

4. 参考文献（12篇以上）

[1] li h, chen c,fang s, et al. brain mr image segmentation using nams in pseudo-color[j].computer assisted surgery. 2017, 22(sup1): 170-174.

[2] welsh t,ashikhmin m, mueller k. transferring color to greyscale images[j]. acmtransactions on graphics, 2002, 21(3):277-280.

[3] qu y, wong tt, heng p a. manga colorization[j]. acm transactions on graphics, 2006,25(3):1214-1220.