一、序列数据

1.概念：前后数据具有关联性

二、语言模型

1.概念

2.语言模型计算序列概率公式

三、循环神经网络

1.隐藏状态

2.文本生成例子

3.RNN通过时间反向传播

四、门控循环单元

1.引入门的循环网络

2.候选隐藏状态

3.隐藏状态

4.GRU--引入门控机制的循环网络

五、长短期记忆网络

1.候选记忆细胞

2.记忆细胞与隐藏状态