（实践）p5：线性回归问题中损失函数为什么要使用均方误差？
均方误差：即误差的平方和的平均数。
p8：1.pytorch不是一个完备的语言库，而是一个对于数据的gpu加速库，所以其没有对string的内键支持，即pytorch的基本类型中不包含string。
2.pytorch表示string的方法：
（1）one hot encoding
问题：1）两个单词之间的相关性并没有在one hot编码中得到体现；
2）当编码结果为上百维时，是一个稀疏矩阵。
（2）nlp中的embedding layer：为解决1）两个单词之间的相关性并没有在one hot编码中得到体现
有：word2vec，glove。
综上，pytorch中string是没有内键支持的，要支持的话我们必须使用编码的方式。
3.数据类型：
cpu上：torch.FloatTensor torch.IntTensor torch.ByteTnesor
gpu上：torch.cuda.FloatTensor torch.cuda.IntTensor torch.cuda.ByteTnesor
所以，数据一样，放置的位置不一样，类型也不一样。
torch.randn(2,3):随机创建一个两行三列的tensor。
tensor.type():返回tensor的类型。
isinstance(tensor,tensor的类型a):用来检验tensor类型的合法化，即tensor是否是a类型的。
data=data.cuda():把cpu上的数据data搬运到gpu上。
torch.tensor(1.):生成标量，维度为0。该类型（即标量）常用于loss的结果（即：均方误差的结果）。
torch.shape:是实例的一个成员，所以没有括号。
torch.size():是实例的一个成员函数，所以有括号。
len(tensor.shape):返回tensor的维度，是一个数字。
tensor.dim:同上。
torch.tensor([1,2,...,n]):生成一个n维的张量。
pytorch中，0维的叫标量，1维，2维，。。。，都叫张量。
（实践）torch.FloatTensor(2):随机初始化一个2维的张量。也可以用numpy实现。
4.1维的张量多用于bias，即神经单元中的参数b，偏值。
5.注意区分dim,size/shape,tensor：
dim（2）是size/shape（[2,2]）的长度，size/shape是tensor（[1,2][3,4]，两行两列的一个矩阵）的形状。
p9：1.torch.FloatTensor(2,3):生成一个两行三列的矩阵。
二维的tensor常用于批量线性输入（Linear input batch）
2.torch.randn():使用随机的正态分布；torch.rand():使用随机的均匀分布。
3.三维的适用于RNN
4.四维的适合表达图片，因此适用于CNN。
5.tensor.nume():返回tensor所占内存大小。若tensor是2*3*28*28的，则返回2*3*28*28=4704。
p10：1.torch.tensor():括号里放的是具体的数据（列表形式）或是np;torch.Tensor()与torch.FloatTensor()类似，括号里放的是数据的维度（shape），不过也可以放现有数据，即列表。建议：少用Tensor()括号里放列表的情况。
2.未初始化的tensor并不是没有数据，而是有数据的，只不过数据都是随机的，可能会特别大或者特别小。所以以后如果出现nan或者inf报错的话，可能是把未初始化的tensor喂给了神经网络。
3.Tensor()生成的类型是默认的类型，即把默认的类型设置成什么类型，Tensor()生成的就是什么类型的tensor，通常会把默认的类型由float改为double，因为double类型的精度是64位，会更精确一些。
4.随机初始化函数：
（1）rand(2,3):随机均匀生成[0,1]区间内的数组成的两行三列的矩阵。
（2）rand_like(tensor)：随机生成类似于tensor的tensor，会先读出tensor的shape，然后再把shape喂给rand，生成相似的tensor。
（3）randint(min,max,shape):生成[min,max)区间内的数组成的tensor，shape是列表形式。
（4）randn(3,3):正态分布
（5）normal(mean,std):指定均值和方差的正态分布。使用起来有些别扭。
（6）full(shape:list,element):全部赋值为一个元素。
（7）arange(start,end,step=1):生成一个从start到end（不包含end）的等差(step)数列。range()函数在pytorch中不建议使用。
（8）linspace(start,end,steps):等分切割从start到end（包含end），共且分出steps个数。
（9）logspace(start,end,steps):等分切割从start到end（包含end），共且分出steps个数。并将这steps个数作为10的指数，将求得的指数结果返回。
（10）ones(shape:list):生成形状为shape的全1矩阵。
（11）zeros(shape:list):生成形状为shape的全0矩阵。
（12）eye(shape:list):生成形状为shape的对角线元素全为1，其余元素全为0的矩阵。若shape的行和列不相等，则取行列中的较小值为方阵的维数。当行列相等时，shape可以只是一个数。该函数的参数只能是1个或者是2个，不接受更高维的参数。
（13）ones_like(a):生成形状与a相同的全1矩阵。
（14）randperm(num):生成[0,num)的索引，并随机打散。
p14：1.view/reshape:保持tensor整个大小（size）不变的情况下可以将一个shape转变成另一个任意的shape。这个两个操作几乎一样，完全可以通用。
view进行维度的合并必须有真实的物理意义。但是根据变换后的矩阵无法恢复成原来的存储方式，会造成数据的污染。
2.squeeze/unsqueeze:挤压与增加维度的操作。删减维度/增加维度。
（1）unsqueeze(num):num的范围是[-a.dim()-1,a.dim()+1)，超出建议使用[0,a.dim()]，这个区间足以覆盖我们的需求。当num=0时，表示在原来的第0个维度的前面插入一个维度；当num=a.dim()时，表示在原来的最后一个维度的后面插入一个维度。当num是非负数时，是在以num为索引的数之前插入一个维度，而当num为负数时，是在以num为索引的数之后插入一个维度。该函数实现了新插入一个自定义的维度，这个维度不会改变数据本身，不会增加数据也不会减少数据，只是给数据新增加了一个自定义的组别，它改变的其实是理解方式。在后面插入一个维度，就是在当前维度内增加一个维度；在前面插入一个维度，就是在当前维度外面再包一个维度。
（2）squeeze(idx):idx为要删减的那个维度的参数，如果不给idx的话，会把所有能删减的（即：dim.size为1的维度）都删减掉。idx可以是正索引，也可以是负索引。如果当前索引上的shape不是1的话，它就不会变，如果是1的话，就会把这个维度减少掉。
3.transpose/t/permute:矩阵的转置。有多维的单次操作/多次操作。
（1）.t():矩阵的转置。注意：该方法只适用于2维的，即只适用于矩阵。否则会报错。
（理解）（2）transpose(num1,num2)：交换num1维度和num2维度。会使得内存顺序变得不连续，所以需要使用.contiguous来使得内存顺序变得连续。
要把维度的变换信息跟踪住。
（3）permute():括号里放的是多次变换后最终的维度顺序，标识维度的索引还是最一开始的索引。会使得内存顺序变得不连续，所以需要使用.contiguous来使得内存顺序变得连续。
4.expand/repeat:维度的扩展，可以将维度很小的转换成一个高维度的变量。扩展/重复。
（1）expand：扩展，只是改变了我们的理解方式，并没有增加数据。（推荐）
（2）repeat：重复，确实增加了数据。
（3）这两种操作在最终的效果上是一致的。只不过expand不会主动复制数据，只有在必要时才会复制数据。而且expand执行速度快，节约内存。
（4）expand()：括号里的参数表示新的shape。扩展前后维度数目必须相等，而且它只能实现从1到n的扩展，而从2（或者其他大于1的数）到m的扩展是不能实现的。如果在括号里出现了-1，则表示该维度保持不变。有一个bug：就是如果括号里写了-4，那扩展之后的相应位置的维度也会变成-4.
（5）repeat()：括号里的数字表示的是每一个dim需要拷贝的次数。
5.使用eq(a,b)来比较a和b的内容是否一致。
p18：broadcasting：自动扩展。它的操作和expand一样，但是它是自动的，也不需要复制数据。
实现的关键步骤：（1）从右边开始比较当前tensor和目标tensor的维度信息，若当前tensor最左边的维度确实，则在前面增加一个维度，为1；（2）自动调用expand函数将1扩展为n（需要扩展的（就是当前tensor和目标tensor不一样的维度）都扩展），使得当前tensor和目标tensor的维度信息一致。
在一个列表表示的维度里，最右边的认为是最小的维度，最左边的认为是最大的维度。
broadcasting=unsqueeze+expand
p19：
（问题：怎么手动完成？）
对于没有给到维度，我们认为给了的维度在没有给的维度都是适用的。
默认从最小维度开始匹配。
p20：1.拼接：
（1）cat(list:包含所有需要的tensor，如[a,b],dim=0:表示在第0个维度上进行拼接):
进行cat的两个tensor的除需要拼接的维度以外的其他维度必须都相同，要拼接的维度可相同也可不相同。
（2）stack(list:如[a,b],dim=0:表示在第0个维度前添加一个新的维度):与cat不同的是，stack会创建一个新的维度。
进行stack的tensor的相应位置的维度必须相同。
2.拆分：
（1）split(len,dim=0:表示对第0个维度进行拆分):按长度进行拆分。
len：如果采用固定长度（固定长度必须小于该维度上的数字，否则会报错）进行拆分，那么令len=固定长度即可；若不是采用固定长度拆分，则令len=[a,b,...]，a/b/...表示拆分后的第一块的长度，第二块的长度，...。要求使得列表中的所有元素相加的和等于拆分前该维度上的数字。
（2）chunk(num,dim=0:表示要进行拆分的维度):按数量进行拆分。
（未完，待续~）
