数据分析-Pandas序列时间移动窗口化操作

news2024/11/16 7:56:45

数据分析-Pandas序列时间移动窗口化操作

数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？

数据表，时间序列数据在数据分析建模中很常见，例如天气预报，空气状态监测，股票交易等金融场景。数据分析过程中重新调整，重塑数据表是很重要的技巧，此处选择Titanic数据，以及巴黎、伦敦欧洲城市空气质量监测 $NO_2$ 数据作为样例。

数据分析

数据分析-Pandas如何转换产生新列

数据分析-Pandas如何统计数据概况

数据分析-Pandas如何轻松处理时间序列数据

数据分析-Pandas如何选择数据子集

数据分析-Pandas如何重塑数据表-CSDN博客

本文用到的样例数据：

Titanic数据

空气质量监测 $NO_2$ 数据

样例代码：

源代码参考 Pandas如何重塑数据表

源代码参考 python数据分析-数据表读写到pandas

导入关键模块

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

plt.close("all")

时间序列，有时候需要观察一个窗口下的数据统计，比如，股市中的移动平均曲线，气象监测数据的移动平均。滑动窗口可以过滤掉不必要的高频信号。

移动滑窗函数

通用滑动窗口，支持将窗口指定为固定数值的观测值或变量，基于偏移量的观测值。也可以基于时间的偏移量 ‘2D’，则相应的基于时间的索引必须是单调的。

times = ['2020-01-01', '2020-01-02', '2020-01-03', '2020-01-04', '2020-01-05', '2020-01-06', '2020-01-07', '2020-01-08', '2020-01-09', '2020-01-10']

s = pd.Series(range(10), index=pd.DatetimeIndex(times))

print(s)


# Window with 2 observations
sum = s.rolling(window=2).sum()
ma = s.rolling(window=2).mean()
print (sum)

# Window with 2 days worth of observations
sum2d = s.rolling(window='2D').sum()
ma2d = s.rolling(window='2D').mean()
print (sum2d)

为了方便理解，采用连续整数数值作为序列。

2020-01-01    0
2020-01-02    1
2020-01-03    2
2020-01-04    3
2020-01-05    4
2020-01-06    5
2020-01-07    6
2020-01-08    7
2020-01-09    8
2020-01-10    9
dtype: int64

其中第一种移动操作的结果如下：

2020-01-01     NaN
2020-01-02     1.0
2020-01-03     3.0
2020-01-04     5.0
2020-01-05     7.0
2020-01-06     9.0
2020-01-07    11.0
2020-01-08    13.0
2020-01-09    15.0
2020-01-10    17.0
dtype: float64

以时间为移动窗口的操作结果如下，可以看出在边缘值的时候做适当调整：

2020-01-01     0.0
2020-01-02     1.0
2020-01-03     3.0
2020-01-04     5.0
2020-01-05     7.0
2020-01-06     9.0
2020-01-07    11.0
2020-01-08    13.0
2020-01-09    15.0
2020-01-10    17.0
dtype: float64

在这里插入图片描述