1 intro
- 时间序列领域预训练模型/foundation 模型的研究还不是很多
- 主要挑战是缺乏大量的数据来训练用于时间序列分析的基础模型
- ——>论文利用预训练的语言模型进行通用的时间序列分析
- 为各种时间序列任务提供了一个统一的框架
- 论文还调查了为什么从语言领域预训练的Transformer几乎不需要任何改动就可以适应时间序列分析
- —预训练Transformer中的自注意模块通过训练获得了执行某些非数据相关操作的能力
- 这些操作与输入模式上的主成分分析（PCA）密切相关
2 模型
2.1 模型架构
- 利用自然语言处理预训练的Transformer的参数进行时间序列分析
- 重点关注GPT-2模型
- 还尝试了其他模型，如BERT和BEiT，以进一步证明跨领域知识传递的通用性存在于广泛的预训练模型中
2.1.1 冻结的预训练块
- 由于自注意层和前馈神经网络（FFN）包含了来自预训练语言模型的大部分学习知识，因此我们选择在微调时冻结他们
2.1.2 位置嵌入和层归
- 为了以最小的努力增强下游任务，我们微调了位置嵌入和layer normalization层
- layer normalization 计算均值和方差也是用神经网络计算的，所以也需要微调
- 机器学习笔记：神经网络层的各种normalization_relu 和 batchnorm的神经元数目一样吗_UQI-LIUWJ的博客-CSDN博客
2.1.3 输入embedding
- 重新设计和训练输入嵌入层，以将NLP预训练模型应用于各种任务和新的模态
- 将时间序列数据投影到特定预训练模型所需的维度
- 使用linear probing
2.1.4 归一化
- 数据归一化对于各种模态的预训练模型至关重要
- 除了预训练LM中使用的Layer Normalization外，还加入了一个简单的数据归一化块，即反向实例归一化（reverse instance norm）
- 简单地使用均值和方差对输入时间序列进行归一化，然后将它们添加回输出中
2.1.5 patching
- 为了提取局部语义信息，论文利用分块（Patching）
- 通过聚合相邻的时间步骤来形成一个基于Patch的Token
- 在normalization 后进行patching
4 实验
4.1 主要结论
4.2 补全
4.3 分类
4.4 异常检测
4.5 长期预测
4.6 短期预测
4.7 few shot 预测
只使用很少的一部分训练数据（10%，5%)
4.8 zero-shot 预测
在A数据集上训练，在B数据集上测试
5 消融实验
5.1 模型的选择
- 分析了GPT2层数和微调参数的选择。
- 附录H中的结果表明，与完整或少量层数相比，具有6层的GPT2是一个合理的选择，并且部分冻结可以避免灾难性遗忘，使微调能够在不过拟合的情况下进行。
5.2 预训练的有效性
- GPT2（6）在时间序列任务中表现优于GPT2（0）和GPT2随机初始化
- ——>具有预训练参数的GPT2可以在时间序列任务上取得改进
- 此外，GPT2（6）的表现也优于GPT2非冻结，表明部分冻结也有所帮助。
- 附录H.2中的结果显示，随机初始化的GPT2（6）在冻结情况下表现不佳，预训练知识对于时间序列任务至关重要。
6 预训练模型在跨领域知识转移方面的普遍性
- 对BERT和图像预训练领域的BEiT进行了实验
- 知识转移的能力不仅限于基于GPT2的预训练语言模型
7 预训练模型中的Transformer和PCA 对应
证明略
