基于忆阻器的长短期记忆神经网络设计研究开题报告

全文总字数：5068字

1. 研究目的与意义（文献综述）

人类的大脑通过约1.4*10¹¹个神经元以及每个神经元数以千计的同其他神经元相互连接的突触构成的及其复杂的神经网络，对信息进行分布式存储与运算，这种存算一体的群体协同的工作方式使得人脑具有传统的基于冯·诺依曼结构的电子计算机无法比拟的智能，这一差距在学习认知、记忆联想、推理判断、综合决策等问题上体现地尤为明显。因此，通过模仿人脑而构建的人工神经网络（artificial neural network, ann）被认为是实现强人工智能的可行方法，另一方面，“仿脑”也为“认识脑”提供了一条崭新的研究途径。然而，人工神经网络的训练与推断过程需要频繁地进行向量矩阵乘法运算，并对存储器中的数据进行反复读写，这就对计算机的运算能力和数据读写速度提出了极高的要求，“冯·诺依曼瓶颈”成为了实现人工神经网络不可绕过的障碍。

忆阻器（memristor）是加州大学伯克利分校的蔡少棠教授于1971年预言的，并由惠普实验室的strukov于2008年发现的，继电阻、电感、电容之外的第四种电路基本元件，作为一种非易失性非线性电导器件，其电导值能够随着流经器件的电荷或磁通而变化，具有高速、低功耗、易集成，以及与cmos工艺兼容等特点。忆阻器的电学特性恰恰符合神经元的电压门控离子通道中基于电压的电导变化性质，不仅如此，忆阻器的电导可模拟式的连续调节，并且在断电后保持自身的电导状态，可以认为忆阻器是模拟神经突触的完美器件。同时，忆阻器因自身的非易失性从而可以实现存储与计算的融合，对于打破“冯·诺依曼瓶颈”具有至关重要的意义。综上所述，忆阻器被认为是从硬件上搭建人工神经网络的最理想的电子元件。

经典的图像识别问题已经可以由深度神经网络（deep neural network, dnn）和卷积神经网络（convolutional neural networks, cnn）较好的解决，但是这一类网络要求训练的输入和输出样本是比较确定的，但是当训练的样本是连续的时间序列且长短不一，比如需要提取连续的音频和视频中的信息时，dnn/cnn就显得无能为力。为了解决这类问题，我们便引入了递归神经网络（recurrent neural networks, rnn）。rnn的输出由网络的隐藏状态h（t）决定，而隐藏状态h（t）的值取决于网络本时刻的信号输入x（t）和网络在上一时刻的隐藏状态h（t-1），同时，网络的突触权重更新由bptt（back-propagation through time）算法完成。rnn虽然可以理论上解决时序数据的训练，但它也像dnn一样有梯度消失问题，当序列很长时尤其严重。为了解决这一问题，便引入了长短期记忆（long-short term memory, lstm）神经网络。lstm是rnn的一个特例，它在rnn的基础上引入了遗忘门、输入门、输出门等结构，同时引入一个新的细胞状态c（t），以此来解决rnn的梯度消失问题。

2. 研究的基本内容与方案

·对人工神经网络的基本原理、分类、发展及其在处理人工智能问题时的优势作介绍

·对忆阻器的发展历程、分类、数学模型、当前研究进展等作简要回顾，并论证忆阻器在搭建纯硬件神经网络时不可替代的优势

·利用matlab软件建立lstm网络模型，选择一个适合lstm网络解决的实际问题（如语音识别、手写字体识别、人体步态分析、线性回归预测等，具体方案待定），代入华中科技大学存储器材料与器件研究所现有的忆阻器件的数学模型，找出最适合lstm网络的忆阻器，验证基于忆阻器的lstm网络的实用性

3. 研究计划与安排

第1－2周：阅读相关教材和文献，基本掌握忆阻器的物理机制，掌握lstm网络的原理和训练、推断算法的原理。

第3－4周：学习利用matlab进行神经网络仿真的方法，掌握研究所现有的代码，学习将忆阻器突触特性代入仿真中的方法。

第5－6周：编写matlab仿真lstm网络的代码。

4. 参考文献（12篇以上）

[1] li c, wang z, rao m, et al. long short-term memory networks in memristor crossbars[j]. arxiv preprint arxiv:1805.11801, 2018.

[2] tsai h, ambrogio s, narayanan p, et al. recent progress in analog memory-based accelerators for deep learning[j]. journal of physics d: applied physics, 2018, 51(28): 283001.

[3] ambrogio s, balatti s, milo v, et al. novel rram-enabled 1t1r synapse capable of low-power stdp via burst-mode communication and real-time unsupervised machine learning[c]//2016 ieee symposium on vlsi technology. ieee, 2016: 1-2.