基于随机变分推断的贝叶斯神经网络算法的设计与实现开题报告

1. 研究目的与意义（文献综述）

从古至今，人类的梦想之一是了解智能的本质，以期用自身的智慧创造出全新的智能体，即所谓“人工智能”。

但由于我们身陷时代与科技水平的囹圄，始终未能如愿。

现今，伴随着基础理论与应用科学的一个又一个突破，人工智能领域的研究不再是纸上谈兵，而是在强大算力和海量数据的支撑下得到了长足发展。

2. 研究的基本内容与方案

本次研究的目标为设计并实现一种基于随机变分推断的贝叶斯神经网络算法。

该算法建立在前人提出的贝叶斯神经网络基础之上，即采用概率分布对神经网络权重进行统计建模，利用参数的不确定性来刻画网络的不确定性，并采用贝叶斯近似推断的方法，对网络中的参数分布进行高效优化。

基于该方案，研究将详细推导优化过程并设计算法流程，实现出一种不仅可描述输出不确定性，且可以利用不确定性来缓和传统神经网络的过拟合等问题的贝叶斯神经网络原型。

3. 研究计划与安排

（1） 2020/1/13—2020/2/28：确定选题，查阅文献，外文翻译和撰写开题报告；（2） 2020/3/1—2020/4/30：推导算法理论，设计算法流程，算法原型实现与评估；（3） 2020/5/1—2020/5/25：撰写及修改毕业论文；（4） 2020/5/26—2020/6/5：准备答辩。

4. 参考文献（12篇以上）

[1] Blundell C, Cornebise J, Kavukcuoglu K, et al. Weight uncertainty in neural networks[J]. arXiv preprint arXiv:1505.05424, 2015.[2] Pawlowski N, Brock A, Lee M C H, et al. Implicit weight uncertainty in neural networks[J]. arXiv preprint arXiv:1711.01297v2, 2018.[3] Ranganath R, Gerrish S, Blei D. Black box variational inference[C]//Artificial Intelligence and Statistics. 2014: 814-822.[4] Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]//Proceedings of the thirteenth international conference on artificial intelligence and statistics. 2010: 249-256.[5] Welling M, Teh Y W. Bayesian learning via stochastic gradient Langevin dynamics[C]//Proceedings of the 28th international conference on machine learning (ICML-11). 2011: 681-688.[6] Ma Y A, Chen T, Fox E. A complete recipe for stochastic gradient MCMC[C]//Advances in Neural Information Processing Systems. 2015: 2917-2925.[7] Graves A. Practical variational inference for neural networks[C]//Advances in neural information processing systems. 2011: 2348-2356.[8] Kingma D P, Welling M. Auto-encoding variational bayes[J]. arXiv preprint arXiv:1312.6114, 2013.[9] Hernández-Lobato J M, Adams R. Probabilistic backpropagation for scalable learning of bayesian neural networks[C]//International Conference on Machine Learning. 2015: 1861-1869.[10] Gal Y, Ghahramani Z. Bayesian convolutional neural networks with Bernoulli approximate variational inference[J]. arXiv preprint arXiv:1506.02158, 2015.[11] Shi J, Sun S, Zhu J. Kernel Implicit Variational Inference[J]. stat, 2018, 1050: 23.[12] Lample G, Conneau A, Denoyer L. Unsupervised Machine Translation Using Monolingual Corpora Only[J]. 2018.[13] Louizos C, Welling M. Structured and efficient variational deep learning with matrix gaussian posteriors[C]//International Conference on Machine Learning. 2016: 1708-1716.[14] Krueger D, Huang C W, Islam R, et al. Bayesian hypernetworks[J]. arXiv preprint arXiv:1710.04759, 2017.[15] Louizos C, Welling M. Multiplicative normalizing flows for variational bayesian neural networks[C]//Proceedings of the 34th International Conference on Machine Learning-Volume 70. JMLR. org, 2017: 2218-2227.