一个图(Graph)代表一个计算任务,且在模型运行时,需要把图放入会话(session)里被启动。一旦模型开始运行,图就无法修改了。TensorFlow把这种图一般称为静态图。
动态图是指在Python中代码被调用后,其操作立即被执行的计算。
它与静态图最大的区别是不需要使用session来建立会话。即在静态图中,需要在会话中调用run方法才可以获得某个张量、常量或变量的具体值,而在动态图里,在创建动态图的过程中,默认已经建立了一个session。所有的代码都在该session中进行,而且该session具有进程相同的生命周期。
使用动态图时,直接运行就可以计算得到 它们的具体值,甚至还可以和numpy数组混合计算。它使得TensorFlow的学习变得更简单,也使研发更直观。
Eager Execution是一种命令式编程环境,运行后返回具体的值。一般更多用于研究和实验。它的优点有:
①直观的界面,可以自然地组织代码结构并使用Python数据结构。快速迭代小模型和小型数据集
②更轻松的调试功能,直接调用操作以检查正在运行的模型并测试更改。使用标准Python调试工具可以进行即时错误报告
③自然控制流程。使用Python控制流程而不是图控制流程,简化了动态模型的规范
④适用于几乎所有可用的TensorFlow运算
⑤它还可以在GPU上运行,提高神经网络的训练速度
激活Eager模式
激活Eager模式的代码如下:
import tensorflow as tf
tf.enable_eager_execution()如果程序的后面需要优化器,也可以在这里先定义:
tfe = tf.contrib.eager注意:Eager模式在程序开始就要激活,并且不能与普通模式混用。一旦开启Eager模式便不能撤销,不能实现静态图中关闭session的功能,且只执行一次,无法实现多session操作。这也是动态图的不足之处。如果当前代码只需要一个session来完成的话,可以优先选择动态图Eager来实现。
使用Eager模式
示例代码如下:
import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()
tf.enable_eager_execution()
import numpy as np
a = tf.constant([[1,2],[3,4]])
print("a = ",a)
b = tf.Variable(np.zeros((2,2)))
print("\n b = ",b)
c = [[2.]]
m = tf.matmul(c,c)
print("hello,{}".format(m))
可以看到在Eager执行下,a和b操作后的返回值是tf.Tensor,其包含了具体值。不再像Graph模式下那样只是一个计算图节点的符号句柄。由于Eager模式可以立即看到结果,非常有助于程序debug。
Eager模式下的基本运算
TensorFlow提供了丰富的操作库,如tf.add,tf.matmul,tf.square等,使用它们生成的结果都是张量Tensor。在Eager模式下,可以直接使用这些操作输出运算结果。
示例代码如下:
import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()
tf.enable_eager_execution()
print(tf.add(1,2))
print(tf.square(8))
print(tf.reduce_sum([1,2,3]))
print(tf.square(2) + tf.square(3))
动态控制流
在Eager模式下,TensorFlow也可以像Python定义函数一样,自定义函数,实现动态控制流。
示例代码如下:
import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()
tf.enable_eager_execution()
def function(num):
counter = tf.constant(0)
num = tf.convert_to_tensor(num)
for num in range(1,num.numpy() + 2):
num = tf.constant(num)
if int(num % 2) == 0 and int(num % 4) == 0:
print("good")
elif int(num % 2) == 0:
print("hi")
elif int(num % 4) == 0:
print("hello")
else:
print(num.numpy())
counter += 1
function(16)
在实际的编程过程中,为了提高效率,也可以在Eager模式下训练模型。
示例代码如下:
import tensorflow as tf
tf.compat.v1.enable_eager_execution()
#创建训练数据
Num_Test = 1000
train_X = tf.compat.v1.random_normal([Num_Test])
train_Y = train_X * 5 +2
#搭建正向模型
#定义运算结构
def prediction(input,weight,bias):
return input * weight + bias
#搭建反向模型
def loss(weights,biases):
error = prediction(train_X,weights,biases) - train_Y
return tf.reduce_mean(tf.square(error))
def grad(weights,biases):
#前向计算,得到loss,同时将操作记录到tape上,用于计算梯度
with tf.GradientTape() as tape:
loss_value = loss(weights,biases)
#反向播放tape,得到梯度
return tape.gradient(loss_value,[weights,biases])
#定义迭代参数和学习率
train_steps = 200
learning_rate = 0.01
#定义学习参数的变量
W = tf.Variable(5.)
B = tf.Variable(10.)
print("Initial loss:{:.3f}".format(loss(W,B)))
#训练模型
for i in range(train_steps):
dW,dB = grad(W,B)
W.assign_sub(dW * learning_rate)
B.assign_sub(dB * learning_rate)
if i % 20 == 0:
print("Loss at step {:03d}:{:.3f}".format(i,loss(W,B)))
print("Final loss:{:.3f}".format(loss(W,B)))
print("W = {},B = {}".format(W.numpy(),B.numpy()))
