文章目录
- 大模型
- 语言大模型
- 视觉大模型
- 多模态大模型
大模型
所谓 大：模型结构大， 参数量大，训练数据量大
- 大模型包含数十亿个参数，模型大小可以达到数百GB甚至更大。这种巨大的模型规模为其提供了强大的表达能力和学习能力
- 多任务学习：大模型通常会一起学习多种不同的任务，如NLP中机器翻译、文本摘要、问答系统等，CV中，多模态中。这可以使模型学习到更广泛和泛化的理解能力。
- 丰富的数据：大模型需要大量的数据来进行训练，只有大量的数据才能发挥大模型的参数规模优势。
- 预训练模型，下游任务，数据集，参数量
- 市场上的应用
- 结合我们的业务场景可以做什么应用
语言大模型
语言大模型综述
视觉大模型
420B token的数据集让模型可以通过上下文学习来理解并执行下游任务，并且统一了图片/视频、有监督/无监督、合成/真实、2D/3D/4D等几乎所有的数据形式。
Sequential Modeling Enables Scalable Learning for Large Vision Models
多模态大模型
- 基础大模型训练
- 下游任务检验大模型的能力
