张量

张量是 paddlepaddle， torch， tensorflow 等 python 主流机器学习包中唯一通货变量，因此应当了解其基本的功能。

张量 paddle.Tensor 与 numpy.array 的转化

import paddle as paddle
import matplotlib.pyplot as plt 
a=paddle.to_tensor(list(paddle.arange(-3.14,3.15,0.01))) # 生成张量a包含从-3.14到3.14间隔0.01的一维张量
b=paddle.sin(a) 
x=paddle.Tensor.numpy(a)  # 将张量a转化为numpy 数组
y=paddle.Tensor.numpy(b)  # 将张量b转化为numpy 数组
plt.plot(x,y)
plt.grid(True)

张量 Tensor

stop_gradient 查看一个 Tensor 是否计算并传播梯度，如果 stop_gradient 为 True，则该 Tensor 不会计算梯度，并会阻绝 Autograd 的梯度传播。 反之，则会计算梯度并传播梯度。用户自行创建的 Tensor，默认是 True，模型参数的 stop_gradient 都为 False。

place 查看一个 Tensor 的设备位置，Tensor 可能的设备位置有三种：CPU/GPU/固定内存，其中固定内存也称为不可分页内存或锁页内存， 其与 GPU 之间具有更高的读写效率，并且支持异步传输，这对网络整体性能会有进一步提升，但其缺点是分配空间过多时可能会降低主机系统的性能， 因为其减少了用于存储虚拟内存数据的可分页内存。

1. CPU: place=paddle.CPUPlace() 或 place=Place(cpu)
2. GPU: place=paddle.CUDAPlace(0) 或 place=Place(gpu:0)

name 名字

persistable 不会被删除的持久性变量

一维张量

shape 维数
| 0 | 1 |…|n-1|
| - | -| -|- |
|a[0] | a[1] |… |a[n-1]|

a=paddle.to_tensor([0,1,2])
print(a)
print(a.shape)
print(a.place)
print(a.stop_gradient)
a.stop_gradient=False
print(a.stop_gradient)
a.name='Var_a'
print(a.name)

Tensor(shape=[3], dtype=int64, place=Place(cpu), stop_gradient=True,
       [0, 1, 2])
[3]
Place(cpu)
True
False
Var_a

b=paddle.to_tensor([[0,1,2],[4,5,6]])
print(b)
print(b.shape)
print(b[0])
print(b[0,0:2])
print(b[:,1])

Tensor(shape=[2, 3], dtype=int64, place=Place(cpu), stop_gradient=True,
       [[0, 1, 2],
        [4, 5, 6]])
[2, 3]
Tensor(shape=[3], dtype=int64, place=Place(cpu), stop_gradient=True,
       [0, 1, 2])
Tensor(shape=[2], dtype=int64, place=Place(cpu), stop_gradient=True,
       [0, 1])
Tensor(shape=[2], dtype=int64, place=Place(cpu), stop_gradient=True,
       [1, 5])

Tensor 其他属性

dtype 数据类型， ‘bool’，‘float16’，‘float32’，‘float64’，‘uint8’，‘int8’，‘int16’，‘int32’，‘int64’

type 类型

is_leaf 梯度链式法则网上的叶子 (stop_gradient=True)

ndim 张量维数

shape 张量形状

import paddle

x = paddle.to_tensor([1, 2, 3])
y = x[1]
print(y.is_contiguous())

True

渐进步长梯度下降法

考虑函数 $f(x)=x_0^2+x_1^2$, 梯度为 $\nabla f(x)=2(x_0,x_1{)}^{\top }$

则其梯度下降格式为

$$x_{k+1}=x_k-{\alpha }_k\nabla f(x_k)$$

import paddle
root = paddle.to_tensor([[1], [2]], dtype='float32', stop_gradient=False)
y = root[0]**2+root[1]**2
paddle.autograd.backward(y,root,True)
print(root.grad)
for i in range(300):
    root= root - root.grad/(i+3)
    root = paddle.to_tensor(root, dtype='float32', stop_gradient=False) # 不得已而为之, 不然报错 因为 root.grad 输出为 None
    y = root[0]**2+root[1]**2   # 更新目标函数值
    paddle.autograd.backward(y,root,True)  # 更新梯度
print(root)

Tensor(shape=[2, 1], dtype=float32, place=Place(cpu), stop_gradient=False,
       [[2.],
        [4.]])
Tensor(shape=[2, 1], dtype=float32, place=Place(cpu), stop_gradient=False,
       [[0.08197821],
        [0.16395642]])