如何处理时间序列的缺失数据

news2024/10/5 23:28:29

您是否应该删除、插入或估算？

世界上没有完美的数据集。每个数据科学家在数据探索过程中都会有这样的感觉：

df.info()

看到类似这样的内容：

大多数 ML 模型无法处理 NaN 或空值，因此如果您的特征或目标包含这些值，则在尝试将模型拟合到数据之前对它们进行适当处理非常重要。

在本文中，我将探讨处理时间序列数据集中的空值/缺失数据的 3 种简单方法。

1. 删除空值

这可能是处理缺失数据最简单、最直接的方法：将其删除。

# 删除所有列中的所有空值
df.dropna(inplace=True)

默认情况下，pandas 的dropna 函数会全面搜索（所有列）空值，并删除任何列中存在空值的行**。**但是，可以使用各种参数进行修改。

在本数据集中，请注意 NMHC(GT) 列只有 914 个非空值。因此，如果我们删除所有空值，我们的模型最终最多只能得到 914 行（可能更少）。这与原来的 9,357 行相比大幅下降！

通过指定列的子集，pandas 将仅删除数据框中特定列为空的行。

df.dropna(subset=['CO(GT)','PT08.S1(CO)'], inplace=True)

这样，我们可以对方法进行混合和搭配，在某些列中删除空值，并以不同的方式处理其他列。

您还可以通过将参数how设置为“all”来指定是否仅删除所有列都为空的行。how 的默认值为“any”。

2. 插值空值

填充空值的另一种简单方法是通过插值。Pandas 的 interpolate 方法默认使用线性插值。

线性插值基本上取空值前后的两个值，并在两者之间创建一条线。然后使用这条线来估计缺失数据点的值。Pandas**的插值方法假设每个数据点的间距相等。**如果您没有针对每个可能的时间戳设置一行，只要您有日期时间索引，就可以将插值方法设置为“时间”。这样，如果您有两行相隔 >1 个间隔（例如 >1 天或 1 小时），插值将考虑这个距离。

如果这是第一个索引，由于空值前面没有值，因此不会进行插值。

在这种情况下，插值很简单，因为在两个已知值的中间正好有 1 个空值。所有值都以 1 小时为间隔。索引 10 处的空值将只是前后值的平均值 (0.65)。

如果存在 2 个或更多连续的 NaN，则将根据它们与已知值之间的距离对它们进行插值。

**您可以通过limit**关键字参数设置要插入的连续 NaN 数量限制。如果有大量连续 NaN，您可能希望在某个插值点之后删除它们，因为*每次插值都会给算法带来不确定性。*插值越多 = 不确定性越大，尤其是在时间序列的情况下。

3. 归纳空值

我要介绍的最后一种方法是归纳法。归纳法本质上意味着用数据的平均值或中位数填充空值。

最简单的方法是使用 pandas 的 fillna 并取整列的中值。

df.fillna(df['CO(GT)'].median())

但对于时间序列，整个数据集的中值通常并不准确。时间序列数据通常具有季节性模式，使用情况会根据一天中的小时、星期几、月份等而变化。

对于这个例子，我决定使用该小时的中位数来估算 CO(GT) 列**。**

为了能够用中位数进行估算，我想出了自己的解决方案，因为没有直接的方法或库可以做到这一点（据我所知）。我必须首先创建一个数据框，其中包含各个小时的所有中位数。

# 创建包含按小时分组的每列中位数的数据框
hour_df = pd.DataFrame(df.groupby([df.index.hour]).median())
hour_df.reset_index(inplace=True)

按小时对中位数进行分组的结果数据框。仅显示前 5 小时 + 3 列。

接下来，我创建了一个名为 get_hour_median 的函数。虽然我仅针对 CO(GT) 列展示了该函数，但我使该函数足够灵活，以便它可以处理任何列名。

def get_hour_median(hour,col_name):
    median = hour_df[hour_df['Datetime']==hour][col_name].values[0]
    return median

然后我使用 apply 和另一个自定义函数将此函数应用于 CO(GT) 列。

# 重置日期时间索引以便在下面的函数中更轻松地处理
df.reset_index(inplace=True)

# 获取数据框行并返回中值（如果行为空），否则返回原始值。
def fill_with_hourly_median(row,col_name):
    if pd.isnull(row[col_name]):
        return get_hour_median(row['Datetime'].hour,col_name)
    else:
        return row[col_name]

# 将 fill_with_hourly_median 应用于 CO(GT) 列
df['CO(GT)'] = df.apply(fill_with_hourly_median, axis=1, col_name='CO(GT)')