深度学习之线性代数预备知识点

news2024/9/20 20:37:06

概念	定义	公式/案例
标量(Scalar)	一个单独的数值，表示单一的量。	例如：5, 3.14, -2
向量 (Vector)	一维数组，表示具有方向和大小的量。	$eq?v%20%3D%20%5Cbegin%7Bbmatrix%7D%201%20%5C%5C%202%20%5C%5C%203%20%5Cend%7Bbmatrix%7D$ ，表示三维空间中的向量
模(Magnitude)	向量的长度，也称为范数（通常为L2范数）。	向量 $eq?v%20%3D%20%5Cbegin%7Bbmatrix%7D%203%20%5C%5C%204%20%5C%5C%20%5Cend%7Bbmatrix%7D$ ，其模： $eq?%5Cleft%20%7C%20%5Cleft%20%7C%20v%20%5Cright%20%7C%20%5Cright%20%7C%20%3D%5Csqrt%5B%5D%7B3%5E%7B2%7D%20+%204%5E%7B2%7D%7D%3D5$
范数 (Norm)	向量的大小，常见范数有L1范数（绝对值之和）和L2范数（欧几里得范数，平方和的开方）。	L1范数
单位向量 (Unit Vector)	模为1的向量，表示纯粹的方向。	$eq?u%3D%20%5Cfrac%7B1%7D%7B%5Cleft%20%5C%7C%20v%20%5Cright%20%5C%7C%7D%20v$ $eq?$
内积（点乘）	两个向量相乘得到的标量，反映两个向量的相似度。	$eq?a%20%20b%3D%20a_%7B1%7Db_%7B1%7D%20+%20a_%7B2%7Db_%7B2%7D+...a_%7Bn%7Db_%7Bn%7D$ ,例如 $eq?%5Cbegin%7Bbmatrix%7D%201%20%5C%5C%202%5C%5C%20%5Cend%7Bbmatrix%7D%20%20%5Cbegin%7Bbmatrix%7D%203%20%5C%5C%204%5C%5C%20%5Cend%7Bbmatrix%7D%20%3D1%20%203+24%3D11$
外积（叉乘）	两个向量相乘得到的矩阵，表示向量之间的关系。	$eq?a%20%20b%3D%20%5Cbegin%7Bbmatrix%7D%20a_%7B1%7D%20b_%7B1%7D%5C%20a_%7B1%7D%20b_%7B2%7D%5C%5C%20a_%7B2%7D%20b_%7B1%7D%20%5C%20a_%7B2%7D%20b_%7B2%7D%5C%5C%20%5Cend%7Bbmatrix%7D$ ,例如， $eq?%5Cbegin%7Bbmatrix%7D%201%20%5C%5C%202%5C%5C%20%5Cend%7Bbmatrix%7D%20%20%5Cbegin%7Bbmatrix%7D%203%20%5C%5C%204%5C%5C%20%5Cend%7Bbmatrix%7D%20%3D%20%5Cbegin%7Bbmatrix%7D%203%20%5C%204%20%5C%5C%206%20%5C%208%5C%5C%20%5Cend%7Bbmatrix%7D$
矩阵 (Matrix)	二维数组，表示数据的多维结构，行和列的排列组合。	$eq?A%20%3D%20%5Cbegin%7Bbmatrix%7D%201%20%5C%202%5C%5C%203%20%5C%204%5C%5C%20%5Cend%7Bbmatrix%7D$ ,表示是一个2*2的矩阵
矩阵转置(Transpose)	矩阵的行列互换。	$eq?A%5E%7BT%7D%20%3D%20%5Cbegin%7Bbmatrix%7D%201%20%5C%203%5C%5C%202%20%5C%204%5C%5C%20%5Cend%7Bbmatrix%7D$
矩阵乘法(Multiplication)	矩阵按特定规则进行乘法运算，行向量与列向量的点积。	$eq?A%20%20B%20%3D%20%5Cbegin%7Bbmatrix%7D%201%20%5C%202%5C%5C%203%20%5C%204%5C%5C%20%5Cend%7Bbmatrix%7D%20%20%5Cbegin%7Bbmatrix%7D%205%20%5C%206%5C%5C%207%20%5C%208%5C%5C%20%5Cend%7Bbmatrix%7D%20%3D%20%5Cbegin%7Bbmatrix%7D%2019%20%5C%2022%5C%5C%2043%20%5C%2050%5C%5C%20%5Cend%7Bbmatrix%7D$
乘法的性质	矩阵乘法满足结合律、但不满足交换律。	例如 $eq?%28A%D7B%29%D7C%3D%20A%D7%28B%D7C%29$ ,但 $eq?A%D7B%5Cneq%20B%D7A$
张量 (Tensor)	高维数组，表示多维数据的结构，扩展了标量、向量和矩阵的概念。	例如，一个三阶张量可以表示为 $eq?T%20%3D%20%5Cbegin%7Bbmatrix%7D%20A_%7B1%7D%20%5C%20A_%7B2%7D%5C%5C%20A_%7B3%7D%20%5C%20A_%7B4%7D%5C%5C%20%5Cend%7Bbmatrix%7D$ ,每个A矩阵

向量的内积：在深度学习中，内积用于衡量输入向量与权重向量的相似性。例如，在一个简单的神经元中，输入 $eq?x%20%3D%20%5Cleft%20%5B%20x_%7B1%7D%2Cx_%7B2%7D%2Cx_%7B3%7D%20%5Cright%20%5D$ 权重 $eq?w%20%3D%20%5Cleft%20%5B%20w_%7B1%7D%2Cw_%7B2%7D%2Cw_%7B3%7D%20%5Cright%20%5D$ ，其输出为 $eq?x%20*%20w%20%3D%20x_%7B1%7Dw_%7B1%7D%20+%20x_%7B2%7Dw_%7B2%7D%20+x_%7B3%7Dw_%7B3%7D$ ，即输入与权重的内积结果。
矩阵乘法：在神经网络的全连接层中，输入向量通过权重矩阵进行矩阵乘法，从而生成输出。假设输入向量 $eq?x%20%3D%20%5Cleft%20%5B%20x_%7B1%7D%2Cx_%7B2%7D%20%5Cright%20%5D$ ，权重矩阵 $eq?W%20%3D%20%5Cbegin%7Bbmatrix%7D%20w_%7B11%7D%20%5C%20w_%7B12%7D%5C%5C%20w_%7B21%7D%20%5C%20w_%7B22%7D%5C%5C%20%5Cend%7Bbmatrix%7D$ ，输出为y=W×x。