LLaMA
1,llama
参数范围7B 13B 33B 65B
在万亿token上训练的模型,
2,研究重点
研究表明,最好的模型性能不是由最大的模型体积实现,而是在更多的数据上训练较小的模型实现
工作重点是通过使用比通常更多的token,训练一系列语言模型,
3,架构:
基于transforme架构,7B模型堆叠32个decoder模块,输入维度是4096,每个mutil head attention中头的个数32个,预训练模型是使用1T的token,
和transformer不同的是,为了提高训练的稳定性,作者对transformer子层的输入进行归一化,而不是输出部分,残差链结构在进行归一化,使用RMSNorm归一化函数,swiGLU激活函数,代替RELU
4,训练数据
练数据,全部来自公开数据集,不同领域混合数据,
英语commoncraw,fastText线性分隔器进行语言识别,并用ngram语言模型过滤低质量的内容,
c4,探索性实验中,实验者观察到使用不同的预处理数据集可以提高性能,去重和语言识别步骤,
ccnet的主要方法是质量过滤,去掉标点符号和网页中的单词和数字数量,去掉,
分 词 器,Sentence-Piece的 实 现
4,训练结果
当训练一个65b参数的模型时,我们的代码
在2048A100GPU上使用80GBRAM处理大约
380个令牌/秒/GPU。这意味着在我们包含1.4T
令牌的数据集上训练大约需要21天