线性代数：向量、张量、矩阵和标量

背景

在线性代数中，向量、张量、矩阵和标量都属于基础概念，特别是最近AI的爆火，向量和张量的概念也越来越普及，本文将介绍下这些基本概念。

1. 标量（Scalar）

1.1 定义和表示

标量是数学中的一个基本概念，它表示一个单独的实数，没有方向或位置。在数学表示中，我们通常用小写字母表示标量，例如 a 或 x。

1.2 例子

• 温度（32℃）
• 质量（62kg）
• 速度（102km/h）

标量是我们日常生活中常见的量，它们具有大小但没有方向。

在python代码中表示

	x = 1
	# 或者可以表示为0阶张量
    x = np.array(1)
    print(x.ndim)

2. 向量（Vector）

2.1 定义和表示

向量是有序的一维数组，其中包含多个标量元素。每个元素都有一个索引，表示其在向量中的位置。在数学表示中，我们通常用小写粗体字母表示向量，如 v。

2.2 例子

• 位移（向东200米）
• 力（向左10牛米）

向量不仅有大小，还有方向，因此它可以表示在空间中的运动或力的作用方向。

2.3 代码和图示

一个二维向量可以表示为
$$v=\left[\begin{array}{ccc}1& 2& 3\end{array}\right]$$
在python代码中表示

	v = np.array([1, 2, 3])
    print(v.ndim)  # = 1

3. 矩阵（Matrix）

3.1 定义和表示

矩阵是一个二维数组，其中包含多个标量元素，这些元素按行和列排列。在数学表示中，我们通常用大写字母表示矩阵，如 A。

3.2 例子

• 图像的像素值
• 线性变换

公式和图示

一个 m x n 的矩阵 A 可以表示为：
$$A=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \ddots & ⋮\\ a_{m1}& a_{m2}& \cdots & a_{mn}\end{array}\right]$$

在python代码中例子

	m = np.array([[1, 2], [3, 4]])
    print(m.ndim)  # = 2

4. 张量（Tensor）

4.1 定义和表示

在线性代数里面可以简单的将张量理解为一个多维数组，可以包含标量、向量和矩阵。在数学表示中，我们通常用大写粗体字母表示张量，如 T

4.2 例子

• 神经网络中的输入
• 多模态数据的表示，如图片语音视频等

公式和图示

在深度学习中，一个三维张量 T 可以表示为：

$$\mathbf{T}=\left[\begin{array}{ccc}\mathbf{A}& \mathbf{B}& \mathbf{C}\\ \mathbf{D}& \mathbf{E}& \mathbf{F}\\ \mathbf{G}& \mathbf{H}& \mathbf{I}\end{array}\right]$$

这里A、B、C、D等可以是标量、向量或矩阵。

之间的关系

• 标量是零阶张量，向量是一阶张量，矩阵是二阶张量。
• 张量的阶数表示它包含的维度数量，不止是3阶张量，张量可以是无数阶。
• 从这种角度来看，万物皆张量