基于卷积神经网络的图像风格迁移开题报告

1. 研究目的与意义（文献综述）

目的意义：最近在社交网络平台上，照片艺术风格的处理成为热点，通常将艺术家的作品风格迁移到普通照片上，使迁移后的照片具有艺术感。图像风格迁移是指利用机器学习算法学习艺术画作的风格，并将这种风格应用到另一幅图片上的技术。人工智能与艺术的结合使这一技术在相关技术领域和艺术领域受到高度关注，并已应用于社会许多不同领域^【3】。基于此，本文将讨论迁移学习和风格迁移的学原理和实现思路，借助深度学习tensorflow框架，以实现艺术风格的迁移，同时展示了风格迁移的效果图，并对此领域的研究进行展望。

国内外研究现状分析：图像风格迁移主要包括基于图像迭代和基于，模型迭代两个方面^【9】。传统的图像风格迁移都是基于图像局部特征的统计模型手动建模，然而手工数学建模方法耗时耗力，需要专业的数学公式，并且该模型常常与具体的风格化的场景有关。如果场景发生变化，那么该模型需要重新设置参数。2015 年，gatys 等^【1】开创性地提出基于神经网络的图像迁移算法后，发现可以使用卷积神经网络将图像的内容特征表示和风格特征表示进行分离，并通过独立处理这些高层抽象表示来有效的实现图像风格迁移，获得非常可观的艺术效果，而这些图像有扭曲、细节丢失的现象。随后，gatys等人^【7】又对自己的工作进行了改进，加强了风格迁移中对细节的控制，而对图像内容没有控制。luan 等人^【10】在 gatys 的工作基础上加强改进，控制了风格迁移的内容细节。li c等人^【17】的 cnnmrf是马尔 可夫随机场（mrf）模型和训练过的深度卷积神经网络 （dcnn）的组合算法，用风格图像中最相似的区域匹配 每个输入神经区域，减少了不准确的特征转移，保留了内容图像的具体特征。图像的风格迁移已不再局限于只基于笔触、物理模型的绘制和纹理合成的非参数图像迁移。由于卷积神经网络在图像特征提取方面的优势，以及vgg-19网络在图像风格和图像内容提取等方面的契合，成为图像风格迁移技术的主流技术。

2. 研究的基本内容与方案

基本内容：本文根据一种艺术风格的神经算法，基于卷积神经网络和深度学习 tensorflow 框架，利用 vgg-19 网络提取特征，采用gram 矩阵提取风格图像中的纹理和颜色信息，从而和包含内容的原始图像融合，形成一幅既有原始内容又有风格图像的艺术风格的新图像。

目标：艺术化图像风格的迁移，主要包括 3 个部分：

3. 研究计划与安排

(1) 第1－3周：查阅相关文献资料，明确研究内容，学习毕业设计研究内容所需理论的基础。确定毕业设计方案，完成开题报告。

(2) 第4－7周：掌握卷积神经网络的实现原理，完成英文资料的翻译，熟悉开发环境。

(3) 第8－10周：完成基于vggnet-19的图像风格迁移算法的设计。

4. 参考文献（12篇以上）

[1] Gatys Leon A,ECKER Alexander S,BETHGE Matthias. Image style transfer using convolutional neural networks[C]. IEEE conference on computer vision and pattern recognition,2016:2414-2423.

[2] YANG, Fu Wen, et al. A study on the convolutional neural algorithm of image style transfer[J]. International Journal of Pattern Recognition and Artificial Intelligence, 2019, 33(05): 1954020.

[3]Long Liu ,Zhixuan Xi,RuiRui Ji,Weigang Ma. Advanced deep learning techniques for image style transfer: A survey[J]. Signal Processing: Image Communication, 2019, 78: 465-470.

[4] GRON, Aurélien. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems[M]. O'Reilly Media, 2019.

[5] KETKAR, Nikhil, et al. Deep Learning with Python[M]. Apress, 2017.

[6]高扬,卫峥.白话深度学习与TensorFlow [M].机械工业出版社,2017.

[7]GATYSLeonA,ECKERAlexander S,BETHGEMatthias,et al.Controlling perceptual factors in neural style transfer[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2017:3985-3993.

[8]王婷,李航,胡智.一种VGGNet的图像风格迁移算法设计与实现[J].计算机应用与软件,2019,36(11):224-248.

[9]陈淑環,韦玉科,徐乐,等.基于深度学习的图像风格迁移研究综述[J].计算机应用研究,2019,36(8):2250-2255.

[10]Luan F,Paris S,Shechtman E,et al.Deep photo style transfer[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2017:4990-4998

[11]周飞燕,金林鹏,董军.卷积神经网络研究综述[J].计算机学报,2017,40(6):1229-1251.

[12]焦李成,杨媛淑,刘芳,王士刚,冯志玺.神经网络七十年:回顾与展望[J].计算机学报,2016,(08):1697-1716.

[13]庄福振,罗平,何清,史忠植.迁移学习研究进展[J].软件学报,2015,26(1):26-39.

[14]俞颂华.卷积神经网络的发展与应用综述[J].信息通信,2019,(2):39-43.

[15]窦亚玲,周武彬,季人煌.基于卷积神经网络的图像风格迁移技术[J].现代计算机(专业版),2018,(30):47-51,60.

[16]丁晓龙.基于深度学习的图像风格迁移技术的前沿进展[J].电子制作,2018,(18):86-87,93.

[17]Li C,Wand M.Combining markov random fields and convolutional neural networ[C].IEEE Conference on Computer Vision and Pattern Recognition,2016.