万字详解pytorch基础语法(二)
发布网友
发布时间：6小时前
共1个回答
热心网友
时间：5小时前
4.1 拼接
torch.cat()
功能：将张量按维度dim进行拼接，不会扩充张量的维度。
● tensors：张量序列
● dim：要拼接的维度
torch.stack()
功能：在新创建的维度dim上进行拼接，会扩充张量的维度。
● tensors：张量序列
● dim：要拼接的维度
4.2 切分
torch.chunk()
功能：将张量按维度dim进行平均切分。
返回值：张量列表。
注意事项：若不能整除，最后一份张量小于其他张量。
● input：要切分的张量
● chunks：要切分的份数
● dim：要切分的维度
torch.split()
功能：将张量按维度dim进行切分。
返回值：张量列表。
● tensor：要切分的张量
● split_size_or_sections：为int时，表示每一份的长度；为list时，按list元素切分
● dim：要切分的维度
4.3 比较
torch.ge()，torch.gt()，torch.le()，torch.lt()
功能：input中逐元素与other进行比较，满足：ge >=; gt >; le <=; lt
返回值：与input同形状的布尔类型张量。
● input：被比较的张量
● other：可以是张量，数值，布尔，input中逐元素与其进行比较
4.4 索引
torch.index_select()
功能：在维度dim上，按index索引数据。
返回值：索引得到的数据拼接的张量。
● input：要索引的张量
● dim：要索引的维度
● index：要索引数据的序号组成的张量，dtype须为torch.long
torch.masked_select()
功能：按mask中的True进行索引，常用来筛选数据。
返回值：一维张量，符合要求的所有数值。
● input：要索引的张量
● mask：与input同形状的布尔类型张量
4.5 变换
torch.reshape()
功能：变换张量形状。
注意事项：当张量在内存中是连续的时，新张量与input共享数据内存。这种共享与out不同，out是整个tensor都共享内存，相当于别名；reshape是仅data共享内存。改变一个张量的数据，另一个张量会跟着改变。
● input：要变换的张量
● shape：新张量的形状，新张量与原张量乘积相等
-1表示不需要关心该维度，根据其他维度计算。
torch.transpose()
功能：交换张量的两个维度。在图像的预处理中常用，有时读取的图像数据是 (c, h, w)，但是我们常用的是 (h, w, c)，就需要用此方法把channel和width变换，再把width和height变换。
● input：要变换的张量
● dim0：要交换的维度
● dim1：要交换的维度
torch.t()
功能：2维张量转置，对矩阵而言，等价于torch.transpose(input, 0, 1)。
torch.squeeze()
功能：压缩长度为1的维度（轴）。
● dim：若为None，移除所有长度为1的轴；若指定维度，当且仅当该轴长度为1时，可以被移除。
torch.unsqueeze()
功能：依据dim扩展维度。
● dim：扩展的维度
4.6 数学运算
加减乘除
对数，指数，幂函数
三角函数
绝对值
torch.add()
功能：逐元素计算[公式]，因为深度学习中经常用到先乘后加的操作，所以增加了此功能，可以使代码更加整洁。
● input：第一个张量
● alpha：乘项因子
● other：第二个张量
torch.addcdiv()
功能：逐元素计算[公式]，优化过程中常用。
torch.addcmul()
功能：逐元素计算[公式]，优化过程中常用。
5 线性回归
概念：线性回归是分析一个变量与另外一或多个变量之间关系的方法。
求解步骤：
LR为步长，学习率
6 计算图与动态图机制
6.1 计算图
计算图是用来描述运算的有向无环图。计算图的好处是运算更加简洁，求导更加方便。
计算图有两个主要元素：结点（Node） 和边（Edge）。
● 结点表示数据，如向量，矩阵，张量；
● 边表示运算，如加减乘除卷积等。
用计算图表示：[公式]，拆分成 [公式]
[公式]
代码验证：
叶子结点：用户创建的结点，如上图中的X与W，梯度反向传播之后，非叶子节点的梯度会被释放掉，可以节省内存。若想使用非叶子节点的梯度，可以用 retain_grad()。
● torch.Tensor中的属性，is_leaf：指示张量是否为叶子结点
● grad_fn：记录创建该张量时所用的方法（函数），在梯度反向传播是用到
● y.grad_fn =[公式]MulBackward0[公式]，乘法得到
● a.grad_fn =[公式]AddBackward0[公式]，加法得到
● b.grad_fn =[公式]AddBackward0[公式]
6.2 动态图机制
动态图 vs 静态图
根据计算图搭建方式，可将计算图分为动态图和静态图
PyTorch采用的是动态图机制，每一次训练，都会销毁计算图并重新创建，这样做花销很大，但是更加灵活。
TensorFlow采用的是静态图机制，一旦定义，训练时就不能修改。一开始就要搭建好计算图，然后才能进行数据的传输和计算，这意味着写代码过程中，错误将更加难以发现，因为搭建图的过程中不会报错，所以不知道错在哪里，只有在传入数据的过程中才能发现哪里出错，灵活性低，而且出现bug也不易调试。
7 autograd - 自动求导系统
深度学习模型的训练，就是不断更新权值，权值的更新需要求解梯度，求解梯度十分繁琐，PyTorch提供自动求导系统，我们只要搭建好前向传播的计算图，就能获得所有张量的梯度。
7.1 torch.autograd.backward()
功能：自动求取梯度。
● tensors：用于求导的张量，如 loss
● retain_graph：保存计算图，由于PyTorch采用动态图机制，在每次反向传播之后计算图都会释放掉，如果还想继续使用，就要设置此参数为True
● create_graph：创建导数计算图，用于高阶求导
● grad_tensors：多梯度权重，当有多个loss需要计算梯度时，需要设置每个loss的权值
示例1：y.backward()与torch.autograd.backward()的关系
调试：
在 y.backward() 处设置断点，step into进入函数
可以看到张量中的类方法只有一行，说明 y.backward() 直接调用了torch.autograd.backward()方法。
点击单步调试 step over 返回 y.backward()，停止调试。
示例2：retain_graph，保存计算图
多次执行y.backward()会报错，因为计算图被释放，解决方法是第一次反向传播时，设置y.backward(retain_graph=True)
示例3：grad_tensors，多梯度权重
[公式]
7.2 torch.autograd.grad()
功能：求取梯度。
● outputs：用于求导的张量，如上例中的 loss
● inputs：需要梯度的张量，如上例中的w
● create_graph：创建导数计算图，用于高阶求导
● retain_graph：保存计算图
● grad_outputs：多梯度权重
示例：计算[公式] 的二阶导数
7.3 小贴士
1、梯度不自动清零，在每次反向传播中会叠加
这导致我们得不到正确的结果，所以需要手动清零
这里zero后接下划线_，表示原位（in-place）操作。
2、依赖于叶子结点的结点（如上例中的a和b），requires_grad默认为True，因为叶子结点梯度的计算与该节点有关
可以看出虽然只针对x和w设置了requires_grad，但a，b，y也均为True
3、叶子结点不可执行in-place，因为前向传播记录了叶子节点的地址，反向传播需要用到叶子节点的数据时，要根据地址寻找数据，执行in-place操作改变了地址中的数据，梯度求解也会发生错误。
in-place操作，即原位操作，在原始内存中改变这个数据，方法后接_代表in-place操作
8 逻辑回归
逻辑回归是线性的二分类模型。
模型表达式：[公式]
[公式] 称为Sigmoid函数，也称为 Logistic 函数，作用是将输入数据映射到[0, 1]之间。
二分类方法
[公式]
假如没有激活函数[公式]，单纯用 [公式]，其实也可以进行二分类，对应图像可以看出，[公式] 时判别为类别1，[公式] 0时判别为类别0。为了更好的描述分类置信度，所以采用Sigmoid函数将输出映射到 [公式]，符合概率取值。
逻辑回归也叫对数几率回归，几率就是[公式]，其中[公式]为概率，表示样本x为正样本的可能性。对几率取对数，就得到了对数几率 [公式]。线性回归 [公式] 是用 [公式] 去拟合 [公式]，[公式] 为逻辑回归模型表达式的恒等变形，是用[公式]去拟合对数几率， 因此叫做对数几率回归。
9 机器学习的训练步骤
9.1 数据
● 数据收集：收集原始样本和标签，如Img和Label。
● 数据划分：划分成训练集train，用来训练模型；验证集valid，验证模型是否过拟合，挑选还没有过拟合的时候的模型；测试集test，测试挑选出来的模型的性能。
● 数据读取：PyTorch中数据读取的核心是Dataloader。Dataloader分为Sampler和DataSet两个子模块。Sampler的功能是生成索引，即样本序号；DataSet的功能是根据索引读取样本和标签。
● 数据预处理：数据的中心和，标准化，旋转，翻转等，在PyTorch中是通过transforms实现的。
9.2 选择模型
根据任务的难易程度选择简单的线性模型或者复杂的神经网络模型。
9.3 损失函数
根据不同的任务选择不同的损失函数，比如线性回归中选择均方差损失函数，分类选择交叉熵。
9.4 优化器
有了loss就可以求取梯度，得到梯度，用优化器更新权值。
9.5 迭代训练
反复训练的过程
