一、考虑背景：

一般在python中不会考虑像C++中的内存问题，但是在一些高级应用中会考虑，例如有一个特别特别大的矩阵，最好不要不断的赋值，导致内存问题产生。

二、python中的id：

在python中有个id（）函数， 它给我们提供了内存中引用对象的确切地址，这个id就像C++中的指针，id在python中表示object的唯一标识号。

三、代码演示：

1.有如下代码：Y的 id 存在变量before中，把Y+X在赋值为Y（相当于又创建了一次Y），这个Y的 id 和之前Y的 id 是不相同的。

#创建 X、Y
X = torch.arange(12,dtype = torch.float32).reshape(3,4)
Y = torch.tensor([[2.0,1,4,3],[1,2,3,4],[4,3,2,1]])

before = id(Y)
print('id(Y):',id(Y))
Y = Y + X
print('id(Y):',id(Y))
id(Y) == before

运行结果：

这可能是不可取的，原因有两个：
（1）首先，我们不想总是不必要地分配内存。在机器学习中，我们可能有数百兆的参数，并且在一秒内多次更新所有参数。通常情况下，我们希望原地执行这些更新；
（2）如果我们不原地更新，其他引用仍然会指向旧的内存位置，这样我们的某些代码可能会无意中引用旧的参数。

2.执行原地操作，使用切片表示法将操作的结果分配给先前分配的数组。首先创建一个新的矩阵Z，其形状与另一个Y相同，使用pytorch中的zeros_like来分配一个全0的块，见如下代码。

Z = torch.zeros_like(Y)
print('id(Z):',id(Z))
Z[:] = X + Y
print('id(Z):',id(Z))

运行结果：

3.如果在后续计算中没有重复使用X， 可以使用X[:] = X+ Y或者X += Y来减少操作的内存开销即两次的id是一样的，见如下代码。

#创建 X、Y
X = torch.arange(12,dtype = torch.float32).reshape(3,4)
Y = torch.tensor([[2.0,1,4,3],[1,2,3,4],[4,3,2,1]])

before = id(Y)
print('id(Y):',id(Y))
Y +=  X
print('id(Y):',id(Y))
id(Y) == before

运行结果：

☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺☺
我是韩一，用知识认识更多的人，欢迎大家指正！