需要全部代码请点赞关注收藏后评论区留言私信~~~

循环神经网络

循环神经网络（Recurrent Neural Network，RNN）是用于对序列的非线性特征进行学习的深度神经网络。循环神经网络的输入是有前后关联关系的序列。

循环神经网络可以用来解决与序列有关的问题，如序列回归、序列分类和序列标注等任务。序列的回归问题，如气温、股票价格的预测问题，它的输入是前几个气温、股票价格的值，输出的是连续的预测值。序列的分类问题，如影评的正负面分类、垃圾邮件的检测，它的输入是影评和邮件的文本，输出的是预定的有限的离散的标签值。序列的标注问题，如自然语言处理中的中文分词和词性标注，循环神经网络可处理传统机器学习中的隐马尔可夫模型、条件随机场等模型胜任的标注任务。

类似隐马尔可夫链，把循环神经网络基本结构的中间部分称为隐层，向量s标记了隐层的状态。隐层的输出有两个，一个是y，另一个反馈到自身。到自身的反馈将与下一步的输入共同改变隐层的状态s。因此，隐层的输入也有两个，分别是当前输入x和来自自身的反馈（首步没有来自自身的反馈）。

 输入样本的观测序列有两个分量x^(1),x^(2)，即每次输入的步长数为2。观测序列的分量是3维的向量。隐状态是一个2维的向量s。输出是1维的标量，分别是y^(1),y^(2)。

TensorFlow2中Keras的SimpleRNN的类原型

tf.keras.layers.SimpleRNNCell(
    units, activation='tanh', use_bias=True,
    kernel_initializer='glorot_uniform',
    recurrent_initializer='orthogonal',
    bias_initializer='zeros', kernel_regularizer=None,
    recurrent_regularizer=None, bias_regularizer=None, kernel_constraint=None,
    recurrent_constraint=None, bias_constraint=None, dropout=0.0,
    recurrent_dropout=0.0, **kwargs
)

参数units设定该单元的状态向量s的维数。参数use_bias设定是否使用阈值参数θ。

用SimpleRnnCell来模拟循环神经网络前向传播

import tensorflow as tf
 
# (批大小, 步长数, 序列分量维数)
batch_size = 1
time_step = 2
step_dim = 3
hidden_dim = 2  # 隐状态维度
 
s0 = tf.constant([[0.0, 0.0]]) # 第1步输入的隐状态
x1 = tf.constant([[0.1, 0.2, 0.3]]) # 第1步输入的序列分量
simpleRnnCell = tf.keras.layers.SimpleRNNCell(hidden_dim , use_bias=False)
out1,s1 = simpleRnnCell(x1, [s0]) # 将当前步的x和上一步的隐状态输入到单元中，产生第1步的输出和隐状态
print("out1:", out1)
print("s1:", s1)
>>> out1: tf.Tensor([[-0.05700448  0.2253606 ]], shape=(1, 2), dtype=float32)
     s1: [<tf.Tensor: id=53, shape=(1, 2), dtype=float32, numpy=array([[-0.05700448,  0.2253606 ]], dtype=float32)>]
x2 = tf.constant([[0.2, 0.3, 0.4]]) # 第2步输入的序列分量
out2,s2 = simpleRnnCell(x2, [s1[0]]) # 将当前步的x和上一步的隐状态输入到单元中，产生第2步的输出和隐状态
print("out2:", out2)
print("s2:", s2)
>>> out2: tf.Tensor([[-0.198356    0.54249984]], shape=(1, 2), dtype=float32)
     s2: [<tf.Tensor: id=62, shape=(1, 2), dtype=float32, numpy=array([[-0.198356  ,  0.54249984]], dtype=float32)>]

网络结构

 one to many结构是单输入多输出的结构，可用于输入图片给出文字说明。many to one结构是多输入单输出的结构，可用于文本分类任务，如影评情感分类、垃圾邮件分类等。many to many delay结构也是多输入多输出的结构，但它是有延迟的输出，该结构常用于机器翻译，机器问答等。

序列回归问题实战

该示例是对三角函数的值进行预测，先对sin三角函数值顺序采点，然后用一段值序列来预测紧接的第1个值。

基本结构采用了TensorFlow中Keras的SimpleRNN，它实现了RNN基本单元。它的输入有两个重要的参数：units和input_shape。units是设定该单元的状态向量s的维数，它的大小决定了W矩阵的维度。input_shape设定了输入的序列的长度和每个序列元素的特征数，每个序列元素的特征数和units共同决定了U矩阵的维度。

输入序列的长度决定了SimpleRNN的循环步数，在最后一步，将状态向量s输出到一个全连接层，该连接层输出为1维的预测值，因此V矩阵的维度是units×1。

预测结果如下

 

 部分代码如下

import numpy as np
np.random.seed(0)

def myfun(x):
    '''目标函float):自变量
    output:函数值'''
    return np.sin(x)

x = np.linspace(0,15, 150)
y = myfun(x) + 1 + np.random.random(size=len(x)) * 0.3 - 0.15

input_len = 10

train_x = []
train_y = []
for i in range(len(y)-input_len):
    train_data = []
    for j in range(input_len):
        train_data.append([y[i+j]])
    train_x.append(train_data)
    train_y.append((y[i+input_len]))
import tensorflow as tf

model = tf.keras.Sequential()
model.add(tf.keras.layers.SimpleRNN(100, return_sequences=False, 
                    activation='relu',
                    input_shape=(input_len, 1)))
model.add(tf.keras.layers.Dense(1))
model.add(tf.keras.layers.Activation("relu"))
model.compile(lopochs=10, batch_size=10, verbose=1)

import matplotlib.pyplot as plt
plt.rcParams['axes.unicode_minus']=False
plt.rc('font', family='SimHei', size=13)
#plt.scatter(x, y, color="black", linewidth=1)
y0 = myfun(x) + 1
plt.plot(x, y0, color="red", linewidth=1)
y1 = model.predict(train_x)
plt.plot(x[input_len:], y1, "b--", linewidth=1)
plt.show()

创作不易 觉得有帮助请点赞关注收藏~~~