1、大模型llama3技术点
参考：https://www.zhihu.com/question/662354435/answer/3572364267
Llama1-3，数据tokens从1-2T到15T;使用了MHA（GQA缓存）；上下文长度从2-4-8K；应用了强化学习对其。
-
1、pretraining（(1) 初始预训练，(2) 长上下文预训练，以及 (3)
退火（Annealing））+posttraing（SFT+DPO） -
2、合成数据应用
-
3、Norm函数:RMSNorm，Norm结构:Pre-Norm，Self Attention: Grouped Query Attention(GQA) ，Position编码:ROPE，FFN结构:SwiGLU
Norm函数:RMSNorm
Norm结构:Pre-Norm
Self Attention: Grouped Query Attention(GQA)Position编码:ROPE
FFN结构:SwiGLU
2、transformer模型常见知识点
大模型面经：
https://docs.qq.com/doc/DSGtaUUpydFBEd2FC
