欢迎关注我的CSDN：https://spike.blog.csdn.net/
本文地址：https://spike.blog.csdn.net/article/details/145185794

---

Scaling Laws (缩放法则) 是大模型领域中，用于描述 模型性能(Loss) 与 模型规模N、数据量D、计算资源C 之间关系的经验规律，揭示在大模型中，随着模型参数数量、数据集大小和计算资源的增加，模型性能的变化模式，指导更高效地分配资源，优化模型训练过程，实现更好的性能。这些规律不仅有助于预测不同规模模型的表现，还能为模型设计和训练提供理论依据，是推动大模型发展和应用的重要理论基础。

• Paper: Scaling Laws for Neural Language Models
• 其他参考：计算 大语言模型(多模态) 的参数量

系列文章：

1. 大模型 ScallingLaws 的 C=6ND 公式推导
2. 大模型 ScallingLaws 的 CLM 和 MLM 中不同系数
3. 大模型 ScallingLaws 的迁移学习与混合训练

对于 Decoder-Only 模型，计算量 $C$ (Flops)、模型参数量 N，数据大小 $D$ (Tokens)，三者近似满足 $C\approx 6ND$ 。

1. 模型参数量 (N)

假设 Decoder 堆叠层数是 $l$，Attention 隐藏层维度是 $d$，FeedForward 维度是 $4d$，其中，忽略 Embedding、Norm 和 Bias。

Transformer 的每 1 层包括 Self-Attention 和 MLP 等 2 个部分：

• Self-Attention 的 参数量，包括 $W_Q,W_K,W_V,W_O$ 等 4个部分，维度均是 ${\mathbb{R}}^{d\times d}$，整体参数量是 $4d^2$ (暂时忽略 MQA)
• MLP 的参数量，只包括 $W_{up},W_{down}$，维度均是 ${\mathbb{R}}^{d\times 4d}$，整体参数量 $2\ast 4\ast d^2=8d^2$，(暂时忽略 $W_{gate}$)
• 全部层数 $l$ 参数量，即 $12l{d}^2$

2. 模型计算量 (C)

模型的前向推理的计算量:

计算量的单位是 FLOPs (Floating Point Operations)，对于矩阵 $A\in {\mathbb{R}}^{m\times n},B\in {\mathbb{R}}^{n\times p}$，$AB$相乘的计算量为$2mnp$，计算每个元素 $c_{i,j}$ 包括 1 次加法 1 次乘法，即每个点积运算都有 $n$ 次 乘法和 $n-1$ 次加法，即 $2\times mnp$ 。

模型的反向推理的计算量是前向推理的 2 倍，即:

前向只需要结果往后传递，反向除了需要梯度往前传递，还需要计算当前参数 $W$ 的梯度，更新当前的参数 $W$，因此计算量是 2 倍。

Decoder 的输入是 $X\in {\mathbb{R}}^{b\times s\times d}$，其中 $b$ 是 batch size，$s$ 是序列长度，$d$ 是模型维度。

其中 Self-Attention 的 计算量：

• 输入层计算：$Q=X{W}_Q,K=X{W}_K,V=X{W}_V$，即 $3\times b\times (2\times s\times d\times d)=6bs{d}^2$
• Attention 计算 Score：$A=Q{K}^{\top }$ ，使用 bmm (批次矩阵乘法)，batch size 不变，计算过程是 $b\times {\mathbb{R}}^{s\times d}\times {\mathbb{R}}^{d\times s}=b\times {\mathbb{R}}^{s\times s}$，计算量即 $b\times (2\times s\times d\times s)=2b{s}^{2}d$
• Score 与 V 计算：$X^{{}^{\prime }}=AV$，计算过程是 $b\times {\mathbb{R}}^{s\times s}\times {\mathbb{R}}^{s\times d}=b\times {\mathbb{R}}^{s\times d}$，计算量即 $b\times (2\times s\times s\times d)=2b{s}^{2}d$
• 输出层计算：$X^{{}^{\prime }}{W}_O$，计算过程是 $b\times {\mathbb{R}}^{s\times d}\times {\mathbb{R}}^{d\times d}=b\times {\mathbb{R}}^{s\times d}$，计算量即 $b\times (2\times s\times d\times d)=2bs{d}^2$
• 合计：$C_{Attention}=8bs{d}^2+4b{s}^{2}d=bsd(8d+4s)$

其中 MLP 的 计算量，升维和降维的计算量相同：

• 升维 $X{W}_{up}$，计算过程是 $b\times {\mathbb{R}}^{s\times d}\times {\mathbb{R}}^{d\times 4d}=b\times {\mathbb{R}}^{s\times 4d}$，计算量 $b\times (2\times s\times d\times 4d)=8bs{d}^2$
• 同理，降维也是一样。
• 合计：$C_{MLP}=16bs{d}^2$

则每层的计算量：

$$\begin{gathered} C_{Layer}=C_{Attenion}+C_{MLP}=24bs{d}^2+4b{s}^{2}d=bsd(24d+4s) \\ {C}_{forward}=lbsd(24d+4s) \end{gathered}$$

反向传播是正向传播的 2 倍，合计是 3 倍，即：

$$C=3\times C_{forward}=72lbs{d}^2+12lb{s}^{2}d=12lbsd(6d+s)$$

1.3 合计

模型参数量是 $N=12l{d}^2$，计算量是 $C=lbsd(72d+12s)$，假设 $s\ll 6d$，那么：

$$C=12l{d}^2\times bs\times (6+\frac{s}{d})=6\times bs\times 12l{d}^2\times (1+\frac{s}{6d})=6\times bs\times N$$

那么每个 Token 的计算量，即 除以 $bs$，整体计算量再 乘以 全部数据集(Token) $D$，即：

$$C=6\times N\times D$$

参考：

• 知乎 - 为什么反向计算是前向耗时的两倍？
• GitHub - backprop_FLOPs.py
• 知乎 - 腾讯算出 MoE 模型的 Scaling Law
• 知乎 - 解析大模型中的 Scaling Law