一、苦涩的教训
首先，学习一段重要话语：
The biggest lesson that can be read from 70 years of AI research is that general methods that leverage computation are ultimately the most effective, and by a large margin.
从70年的人工智能研究中可以学到的最大教训是，利用计算的通用方法最终是最有效的，而且在很大程度上是有效的。
——Richard Sutton: “The Bitter Lesson”，2019
二、Scaling Law：KM扩展法则与Chinchilla扩展法则
在人工智能领域，特别是大语言模型（LLM）的研究中，理解和应用扩展法则（Scaling Law）是至关重要的。这些法则帮助研究者和工程师预测和优化模型性能，从而在给定的计算资源下实现最佳效果。目前，两种主要的扩展法则——KM扩展法则和Chinchilla扩展法则——在学术界和工业界得到了广泛应用。
KM扩展法则
KM扩展法则是由Kaplan等人于2020年首次提出，并由OpenAI团队进一步发展。该法则通过拟合神经语言模型的性能与不同模型规模、数据集大小和计算量之间的关系来建立一个定量的建模方法。具体来说，KM扩展法则认为，在给定的计算预算下，应将更多的预算分配给模型大小的增加。这意味着，当算力预算增加时，KM扩展法则倾向于让模型变得更加庞大
公式中的三个量𝑁𝑐,𝐷𝑐,𝐶𝑐 分别表示非嵌入参数数量、训练数据数量和总计算量。这一法则的核心在于通过调整这三个变量的比例，达到提升模型性能的目的。
Chinchilla扩展法则
Chinchilla扩展法则由Google的DeepMind团队提出，旨在解决预训练工作中可能忽视的数据规模扩展问题。与KM扩展法则不同的是，Chinchilla扩展法则主张模型大小和数据大小应该以相同的比例增加。
Chinchilla扩展法则的一个关键发现是，随着给定计算预算的增加，模型和数据规模应该以相近的比例增加。这不仅有助于提高模型的性能，还能在实际应用中减少计算成本。
备注：并不打算对这个法则有深入了解，先知道一个概念。
