背景

用最少的计算资源，解决了LLM大模型预测问题，训练了一些列的LLaMa模型，在参数量比较少的情况下，达到业界大模型效果。
主要贡献就是提升了LLM模型的训练速度和效率，在小容量的基础上，大大提升了模型的效果。
同时由于模型结构更小更简单，大大提升了推理速度。

数据

预训练的数据都是业界公开的数据结合，比较透明。

模型结构

主体模型结构还是transformer经典模型结构，但是进行了优化，比如说不是在每一层的output结果上进行norm正则化，而是在input层进行norm正则化。替换了激活函数等。

优化器

训练加速优化

使用了《SELF-ATTENTION DOES NOT NEED O(n2) MEMORY》思想，对self-attention进行了内存优化，将内存使用量从O(n2)简化到了O(log(n))，大大降低了模型内存占用量，有效提升了长序列处理的能力。