tensorflow变量作用域

TensorFlow中的两个作用域:

variable_scope name_scope
variable_name或者op_name加前缀 op_name加前缀

variable_scope

variable_scope变量作用机制在TensorFlow中主要由两部分组成:

1
2
v = tf.get_variable(name,shape,dtype,initializer)  #通过所给名字创建或者返回一个变量
tf.variable_scope(<scope_name>)#为变量指定命名空间

当tf.getvariable_scope().reuse==False时,variable_scope作用域只能用来创建新变量。

1
2
3
4
with tf.variable_scope("foo"):
v = tf.get_variable("v",[1])
v2 = tf.get_variable("v",[1])
assert v.name == "foo/v:0"

上述程序会抛出ValueError错误,因为v这个变量已经被定义过了,但是tf.get_variable_scope().reuse默认为False,所以不能重用。
当tf.get_variable_scope().reuse==True 时,作用域可以共享变量:

1
2
3
4
5
6
7
with tf.get_variable_scope("foo") as scope:
v = tf.get_variable(v,[1])
with tf.get_variable_scope("foo",reuse==True)
#也可以写成
#scope.reuse_variables()
v1=tf.get_variable("v",[1])
assert v1 == v

获取变量作用域

可以直接通过tf.variable_scope()来获取变量作用域:

1
2
3
4
with tf.variable_scope("foo") as foo_scope:
v = tf.get_variable("v",[1])
with tf.variable_scope("foo_scope")
w = tf.get_variable("w",[1])

注意,如果在开启的一个变量作用域里使用之前预先定义的一个作用域,则会跳过当前变量的作用域,保持预先存在的作用域不变。

变量作用域的初始化

变量作用域可以默认携带一个初始化器,在这个作用域中的子作用域或变量都可以继承或者重写父作用域初始化的值。

1
2
3
4
5
6
7
with tf.variable_scope("foo",initializer=tf.constant_initializer(0.4)):
v = tf.get_variable("v",[1])
with tf.variable_scope("bar")
with tf.variable_scope("baz") as other_scope:
assert other_scope.name == "bar/baz"
with tf.variable_scope(foo_scope) as foo_scope2:
assert foo_scope2.name == "foo" #保持不变

同样的在variable_scope作用域下的op.name也会被加上加上前缀。
variable_scope主要用在循环神经网络(RNN)的操作中,其中需要大量的共享变量。

name_scope

TensorFlow中的节点用name_scope来为变量划分范围,在可视化中,这表示在计算图中的一个层级。
name_scope会影响op.name,不会影响用get_variable创建的变量,而会影响通过Variable()创建的变量。