Keras实现RNN模型

博客作者：凌逆战

博客地址：https://www.cnblogs.com/LXP-Never/p/10940123.html

这篇文章主要介绍使用Keras框架来实现RNN家族模型，TensorFlow实现RNN的代码可以参考我的另外一篇博客：TensorFlow中实现RNN，彻底弄懂time_step

---

Keras实现RNN模型

SimpleRNN层

参数：

• units：输出维度
• activation：激活函数（参考激活函数）
• use_bias: 布尔值，是否使用偏置项
• kernel_initializer：kernel权重矩阵的初始化器，用于输入的线性转换（参见初始化器）
• recurrent_initializer：recurrent_kernel 权重矩阵的初始化程序，用于循环状态的线性转换（参见初始化程序）
• bias_initializer：偏置向量的初始化器（参见初始化器）
• kernel_regularizer：应用于kernel权重矩阵的正则化函数（参见正则化器）
• bias_regularizer：应用于偏置向量的正则化函数（参见正则化器）
• recurrent_regularizer：应用于recurrent_kernel权重矩阵的正则化函数（参见正则化器）
• activity_regularizer：应用于图层输出的正则化函数（其“激活”）。（见规范者）
• kernel_constraints：应用于kernel权重矩阵的约束函数（请参阅约束）
• recurrent_constraints：应用于recurrent_kernel权重矩阵的约束函数（请参阅约束）
• bias_constraints：应用于偏置向量的约束函数（请参阅约束）
• dropout：0~1之间的浮点数，控制输入线性变换的神经元断开比例
• recurrent_dropout：0~1之间的浮点数，控制循环状态的线性变换的神经元断开比例
• 其他参数参考Recurrent的说明

GRU层

门限循环单元

参数：

• units：正整数，输出空间的维数
• 激活：要使用的激活功能（请参阅激活）
• recurrent_activation：用于循环步骤的激活功能（参见激活）。
• use_bias：Boolean，该层是否使用偏向量
• kernel_initializer：kernel权重矩阵的初始化器，用于输入的线性转换（参见初始化器）
• recurrent_initializer：recurrent_kernel 权重矩阵的初始化程序，用于循环状态的线性转换（参见初始化程序）
• bias_initializer：偏置向量的初始化器（参见初始化器）
• kernel_regularizer：应用于kernel权重矩阵的正则化函数（参见正则化器）
• recurrent_regularizer：应用于recurrent_kernel权重矩阵的正则化函数（参见正则化器）
• bias_regularizer：应用于偏置向量的正则化函数（参见正则化器）
• activity_regularizer：应用于图层输出的正则化函数（其“激活”）。（见规范者）
• kernel_constraint：应用于kernel权重矩阵的约束函数（请参阅约束）
• recurrent_constraint：应用于recurrent_kernel权重矩阵的约束函数（请参阅约束）
• bias_constraint：应用于偏置向量的约束函数（请参阅约束）
• dropout：浮点数介于0和1之间。为输入的线性变换而下降的单位的分数
• recurrent_dropout：浮点数在0和1之间。对于循环状态的线性变换，单位的分数下降
• implementation：实现模式，1或2.模式1将其操作构造为更大数量的较小点产品和添加，而模式2将其分组为更少，更大的操作。这些模式将在不同硬件和不同应用程序上具有不同的性能配置文件。
• return_sequences：布尔值。是返回输出序列中的最后一个输出，还是返回完整序列。
• return_state：布尔值。是否返回除输出之外的最后一个状态。
• go_backwards：Boolean（默认为False）。如果为True，则向后处理输入序列并返回相反的序列。
• stateful：Boolean（默认为False）。如果为True，则批次中索引i处的每个样本的最后状态将用作后续批次中索引i的样本的初始状态。
• unroll：Boolean（默认为False）。如果为True，则将展开网络，否则将使用符号循环。展开可以加速RNN，尽管它往往会占用大量内存。展开仅适用于短序列。
• reset_after：GRU约定（是否在矩阵乘法之前或之前应用复位门）。False =“之前”（默认），True =“之后”（CuDNN兼容）。

LSTM

长短期记忆网络

参数：

• units：正整数，输出空间的维数
• 激活：要使用的激活功能（请参阅激活）
• recurrent_activation：用于循环步骤的激活功能（参见激活）
• use_bias：Boolean，该层是否使用偏向量
• kernel_initializer：kernel权重矩阵的初始化程序，用于输入的线性变换。（见初始化者）
• recurrent_initializer：recurrent_kernel 权重矩阵的初始化程序，用于循环状态的线性转换。（见初始化者）
• bias_initializer：偏置向量的初始化器（参见初始化器）
• unit_forget_bias：布尔值。如果为True，则在初始化时将忘记门的偏差加1。将其设置为true也会强制执行bias_initializer="zeros"
• kernel_regularizer：应用于kernel权重矩阵的正则化函数（参见正则化器）
• recurrent_regularizer：应用于recurrent_kernel权重矩阵的正则化函数（参见正则化器）
• bias_regularizer：应用于偏置向量的正则化函数（参见正则化器）
• activity_regularizer：应用于图层输出的正则化函数（其“激活”）。（见规范者）
• kernel_constraint：应用于kernel权重矩阵的约束函数（请参阅约束）
• recurrent_constraint：应用于recurrent_kernel权重矩阵的约束函数（请参阅约束）
• bias_constraint：应用于偏置向量的约束函数（请参阅约束）
• dropout：浮点数介于0和1之间。为输入的线性变换而下降的单位的分数
• recurrent_dropout：浮点数在0和1之间。对于循环状态的线性变换，单位的分数下降
• 实现：实现模式，1或2.模式1将其操作构造为更大数量的较小点产品和添加，而模式2将其分组为更少，更大的操作。这些模式将在不同硬件和不同应用程序上具有不同的性能配置文件
• return_sequences：布尔值。默认False。若为True，在输出序列中，返回全部 hidden state值；若为False，返回单个time step 的 hidden state值。
• return_state：布尔值。默认False，True:返回hidden state之外，还要返回最后一个cell state状态
• go_backwards：Boolean（默认为False）。如果为True，则向后处理输入序列并返回相反的序列
• stateful：Boolean（默认为False）。如果为True，则批次中索引i处的每个样本的最后状态将用作后续批次中索引i的样本的初始状态
• unroll：Boolean（默认为False）。如果为True，则将展开网络，否则将使用符号循环。展开可以加速RNN，尽管它往往会占用大量内存。展开仅适用于短序列

还有许多ConvLSTM2D：卷积LSTM。它类似于LSTM层，但输入转换和循环转换都是卷积的。

在这里我们细讲一下return_sequences和return_state，这部分主要参考EastWR的CSDN博客。

首先我们需要先了解一下cell state和hidden state。在LSTM网络中，直接根据当前input数据，得到的输出称为hidden state。还有一种数据是不仅仅依赖于当前输入数据，而是一种伴随整个网络过程中用来记忆，遗忘，选择并最终影响 hidden state 结果的东西，称为 cell state。cell state 就是实现 long short memory 的关键。cell state 是不输出的，它仅对输出 hidden state 产生影响。通常情况，我们不需要访问 cell state，除非想设计复杂的网络结构。

return_sequences和return_state默认就是false。此时只会返回一个hidden state 值。如果input 数据包含多个时间步，则这个hidden state 是最后一个时间步的结果

return_sequences=True，return_state=False。输出的hidden state 包含全部时间步的结果。

return_sequences=False，return_state=True。lstm1 和 state_h 结果都是 hidden state。在这种参数设定下，它们俩的值相同。都是最后一个时间步的 hidden state。 state_c 是最后一个时间步 cell state结果。

此时，我们既要输出全部时间步的 hidden state ，又要输出 cell state。lstm1 存放的就是全部时间步的 hidden state。state_h 存放的是最后一个时间步的 hidden state，state_c 存放的是最后一个时间步的 cell state。

有状态RNN和无状态RNN

而stateless指的只是样本内的信息传递。

timestep时间步长，也可以理解为展开的rnn或者lstm的block的个数,(batch_size, time_steps, input_size)

举个例子来讲解一下timestep、batch、batchsize、input_size在LSTM中的关系，假如我们有一篇文章X，其中每个句子X[i]作为一个训练对象(sequence)。一句话里面每个字代表一个timestep时间步，一个epoch里面分batch的训练数据，每一个batch的一个样本里面，分timestep的训练句子中的依赖关系。

stateless LSTM

和DNN、CNN神经网络一样训练

stateful LSTM

有状态的RNN能够在训练中维护跨批次的有状态信息，即当前批次的训练数据计算的状态值，可以用作下一批次训练数据的初始隐藏状态。stateful代表除了每个样本内的时间步内传递，而且每个样本之间会有信息(c,h)传递，

优点：更小的网络，或者更少的训练时间

缺点：需要数据batchsize来训练网络，并在每个训练epoch后重置状态，

实现步骤：

1. 必须将batch_size参数显式的传递给模型的第一层
2. 在RNN层中设置stateful=True
3. 在调用fit()时指定shuffle=False，打乱样本之后，sequence之间就没有依懒性了。
4. 训练完一个epoch后，要重置状态
   • 使用 model.reset_states()来重置模型中所有层的状态。
   • 使用layer.reset_states()来重置指定有状态 RNN 层的状态

顺序模型，方式一：LSTM(hidden_size, stateful=True, batch_input_shape=(batch_size, timestep, input_dim))

函数式模型，方式一：如果是带有 1 个或多个 Input 层的函数式模型，为你的模型的所有第一层传递一个 batch_shape=(...)。 这是你的输入的预期尺寸，包括批量维度。 它应该是整数的元组，例如 (32, 10, 100)。

方式二：LSTM(hidden_size, stateful=True, input_shape=(data[1], data[2]), batch_size)

如果下一层还是LSTM层的话，需要把隐藏层状态全部返回给下一层LSTM层，设置return_sequences=True：

LSTM(hidden_size, stateful=True, batch_input_shape=(batch_size, timestep, input_dim), return_sequences=True)

训练阶段：

for i in range(epochs):

model.fit(x_train, y_train, batch_size, epochs=1, validation_data=(x_test, y_test), shuffle=False)

model.reset_states()

Concatenate

张量串联，它将一个张量的列表作为输入，除了要连接的轴shape值之外其他轴的shape值都要相同，并返回单个张量，即所有输入张量的串联。

嵌入层Embedding

嵌入层将正整数（下标）转换为具有固定大小的向量，如[[4],[20]]-->[[0.25,0.1],[0.6,-0.2]]

该层支持对具有可变时间步长的输入数据进行masking。如果想将输入数据的一部分屏蔽掉，请使用Embedding层并将参数mask_zero设为True。

Embedding层只能作为模型的第一层

参数：

• input_dim：int> 0.词汇表的大小，即最大整数索引+ 1。
• output_dim：int> = 0.Dense嵌入的维度。
• embeddings_initializer：embeddings矩阵的初始化器（参见初始化器）
• embeddings_regularizer：应用于embeddings矩阵的正则化函数（参见正则化器）
• activity_regularizer：应用于图层输出的正则化函数（其“激活”）（见规范者）
• embeddings_constraint：应用于embeddings矩阵的约束函数（请参阅约束）
• mask_zero：输入值0是否是应屏蔽的特殊“padding”值。这在使用可能需要可变长度输入的循环层时很有用。如果mask_zero设置为True，则结果是索引0不能在词汇表
• input_length：输入序列的长度，当其为常量时。如果要在上游连接“Flatten”和“Dense”，则需要此参数。

输入形状：2D张量形状：(batch_size, sequence_length)

输出形状：3D张量与形状：(batch_size, sequence_length, output_dim)

Embedding层还不是很熟悉，要学会和LSTM相结合。

Masking层

使用给定的mask_value值对输入的序列信号进行“屏蔽”，用以定位需要跳过的时间步

对于输入张量的时间步，即输入张量的第1维度（维度从0开始算，见例子），如果输入张量在该时间步上都等于mask_value，则该时间步将在模型接下来的所有层（只要支持masking）被跳过（屏蔽）。

如果模型接下来的一些层不支持masking，却接受到masking过的数据，则抛出异常。

例子

考虑输入数据x是一个形如(batch_size,timesteps,features)的张量，现将其送入LSTM层。因为你缺少时间步为3和5的信号，所以你希望将其掩盖。这时候应该：

• 赋值x[:,3,:] = 0.，x[:,5,:] = 0.
• 在LSTM层之前插入mask_value=0.的Masking层

参数：

msak_value：None或要跳过的掩码值

model.summary()       # 在模型编译之后，打印网络结构

print(model.output_shape)# 打印模型输出

使用LSTM序列分类

用于序列分类的栈式LSTM

在该模型中，我们将三个LSTM堆叠在一起，使该模型能够学习更深层次的时域特征表示。

开始的两层LSTM返回其全部时间步的hidden state，而第三层LSTM只返回最后一个时间步的hidden state，从而其时域维度降低（即将输入序列转换为单个向量）

采用stateful LSTM的相同模型

一个RNN是状态RNN，意味着训练时每个batch的状态都会被用于初始化下一个batch的初始状态。

当使用状态RNN时，有如下假设

• 所有的batch都具有相同数目的样本
• 如果X1和X2是两个相邻的batch，那么对于任何i，X2[i]都是X1[i]的后续序列

要使用状态RNN，我们需要在实例化层对象时指定参数stateful=True

• 显式的指定每个batch的大小。可以通过模型的首层参数。batch_input_shape是一个整数tuple。例如(32,10,16)代表一个具有10个时间步，每步向量长为16，每32个样本构成一个batch的输入数据格式。
• 在函数式模型中，对所有的输入都要指定相同的batch_size。

要重置循环网络的状态，使用：

• model.reset_states()来重置网络中所有层的状态
• layer.reset_states()来重置指定层的状态

注意，predict，fit，train_on_batch ，predict_classes等方法都会更新模型中状态层的状态。这使得你不但可以进行状态网络的训练，也可以进行状态网络的预测。

stateful LSTM的特点是，在处理过一个batch的训练数据后，其内部状态（记忆）会被作为下一个batch的训练数据的初始状态。状态LSTM使得我们可以在合理的计算复杂度内处理较长序列

将两个LSTM合并作为编码端来处理两路序列的分类

在本模型中，两路输入序列通过两个LSTM被编码为特征向量

两路特征向量被串连在一起，然后通过一个全连接网络得到结果，示意图如下：

也就是用Concatenate，把上面两个输出串联起来了。

参考文献

Keras_LSTM中的return_sequence和return_state参数

Keras 之 LSTM 有状态模型（stateful LSTM）和无状态模型（stateless LSTM）