深度卷积神经网络模型参数压缩方法及其应用开题报告

1. 研究目的与意义（文献综述）

人工神经网络（artificial neural network，ann）是上个世纪80 年代以来人工智能领域兴起的研究热点。

人工神经网络从信息处理的角度对大脑内部的神经元网络进行抽象，其中的节点是神经元的抽象，每个节点可以有多个输入和一个输出，神经元之间的连接、连接强度、对下一个神经元的兴奋或抑制作用则通过两个神经元之间的权值大小来反映。

按照节点之间不同的连接方式可以组成不同的人工神经网络。

2. 研究的基本内容与方案

设计的基本内容：研究各种深度网络参数压缩方法，并在此基础上尝试对现有压缩算法做出一点改进，并编程实现压缩算法。

设计的目标：能够将深度卷积神经网络的参数量压缩4 - 16倍，准确率损失控制在1%以内，并编写一个工具能够对深度学习平台caffe所训练出来的模型进行参数压缩。

拟采用的技术方案及措施：1. 熟悉深度学习平台caffe的使用及其原理，尤其是要弄清楚其训练出来的模型参数是如何存放的，如何从模型文件中解析出这些参数，这是关键的第一步，即将模型参数提取出来；2. 通过查阅文献，研究各种压缩算法的原理，比较各个算法的特点；3. 在弄清楚第一、二两点的基础上，编程进行实验，对参数矩阵进行操作，实现具体的压缩算法，如svd，vq，连接学习等；4. 在实验的基础上，尝试对现有压缩算法提出改进，并编程进行试验，测试模型压缩率和准确率损失两个指标；5. 将前面参数提取，参数压缩两部分的程序模块整合起来，做成一个工具，可以对caffe平台训练出来的网络模型进行自动压缩；6. 编程实现一个前向卷积神经网络的框架，可以利用压缩之后的模型参数初始化网络参数，并利用测试集进行前向测试。

3. 研究计划与安排

第1－3周：查阅相关文献资料，明确研究内容，了解研究所需技术语言和开发工具，初步搭建并熟悉开发环境。确定方案，完成开题报告。第4－5周：阅读参考文献，掌握参数压缩算法的原理和步骤。第6－8周：编程实现压缩算法、压缩工具，测试各个程序模块。第9－10周：编程实现前向卷积神经网络，测试各个程序模块。第11－13周：将程序模块进行整合，完成调试和测试。第14－16周：完成并修改毕业论文。第17周：准备论文答辩。

4. 参考文献（12篇以上）

[1] Jegou H, Douze M, Schmid C. Product quantization for nearest neighbor search[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2011, 33(1): 117-128.[2] Gong Y, Liu L, Yang M, et al. Compressing deep convolutional networks using vector quantization[J]. arXiv preprint arXiv:1412.6115, 2014.[3] Han S, Pool J, Tran J, et al. Learning both Weights and Connections for Efficient Neural Network[C]. Advances in Neural Information Processing Systems. 2015: 1135-1143.[4] Hinton G, Vinyals O, Dean J. Distilling the knowledge in a neural network[J]. arXiv preprint arXiv:1503.02531, 2015.[5] Romero A, Ballas N, Kahou S E, et al. Fitnets: Hints for thin deep nets[J]. arXiv preprint arXiv:1412.6550, 2014.[6] Denil M, Shakibi B, Dinh L, et al. Predicting parameters in deep learning[C]. Advances in Neural Information Processing Systems. 2013: 2148-2156.[7] Denton E L, Zaremba W, Bruna J, et al. Exploiting linear structure within convolutional networks for efficient evaluation[C]. Advances in Neural Information Processing Systems. 2014: 1269-1277.[8] LeCun Y, Bottou L, Bengio Y, et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324.[9] Han S, Mao H, Dally W J. Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding[J]. arXiv preprint arXiv:1510.00149, 2015.[10] Chen W, Wilson J, Tyree S, et al. Compressing Neural Networks with the Hashing Trick[C]. Proceedings of The 32nd International Conference on Machine Learning. 2015: 2285-2294.[11] Gupta S, Agrawal A, Gopalakrishnan K, et al. Deep Learning with Limited Numerical Precision[C]. Proceedings of the 32nd International Conference on Machine Learning (ICML-15). 2015: 1737-1746.[12] Wu J, Leng C, Wang Y, et al. Quantized Convolutional Neural Networks for Mobile Devices[J]. arXiv preprint arXiv:1512.06473, 2015.[13] Jia Y, Shelhamer E, Donahue J, et al. Caffe: Convolutional architecture for fast feature embedding[C]. Proceedings of the ACM International Conference on Multimedia. ACM, 2014: 675-678.[14] Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]. Advances in neural information processing systems. 2012: 1097-1105.[15] Norouzi M, Fleet D. Cartesian k-means[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2013: 3017-3024.[16] Iandola F N, Moskewicz M W, Ashraf K, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and 1MB model size[J]. arXiv preprint arXiv:1602.07360, 2016.