[原]循环神经网络(RNN, Recurrent Neural Networks)的入门必学文章
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
http://www.csdn.net/article/2015-11-25/2826323
循环神经网络(Recurrent Neural Networks，RNNs)已经在众多自然语言处理(Natural Language Processing, NLP)中取得了巨大成功以及广泛应用。但是，目前网上与RNNs有关的学习资料很少，因此该系列便是介绍RNNs的原理以及如何实现。主要分成以下几个部分对RNNs进行介绍：
1. RNNs的基本介绍以及一些常见的RNNs(本文内容)；
2. 详细介绍RNNs中一些经常使用的训练算法，如Back Propagation Through Time(BPTT)、Real-time Recurrent Learning(RTRL)、Extended Kalman Filter(EKF)等学习算法，以及梯度消失问题(vanishing gradient problem)
3. 详细介绍Long Short-Term Memory(LSTM，长短时记忆网络)；
4. 详细介绍Clockwork RNNs(CW-RNNs，时钟频率驱动循环神经网络)；
5. 基于Python和Theano对RNNs进行实现，包括一些常见的RNNs模型。
多层反馈RNN（Recurrent neural Network、循环神经网络）神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。
完全递归网络（Fully recurrent network）
Hopfield网络（Hopfield network）
Elman networks and Jordan networks
回声状态网络（Echo state network）
长短记忆网络（Long short term memery network）
双向网络（Bi-directional RNN）
持续型网络（Continuous-time RNN）
分层RNN（Hierarchical RNN）
复发性多层感知器（Recurrent multilayer perceptron）
二阶递归神经网络（Second Order Recurrent Neural Network）
波拉克的连续的级联网络（Pollack’s sequential cascaded networks）
