2024美赛备战1--数据处理（数据预处理，异常值处理，预测模型，插值拟合 *****必看****）

1.数据预处理

所谓数据预处理，就是指在正式做题之前对数据进行的一些处理。在有些情况下，出题方提供的数据或者网上查找的数据并不能直接使用，比如缺少数据甚至是异常数据，如果直接忽略缺失值，或者没发现异常数据，都会严重地影响结果的正确性。此外，带单位的数据也需要通过无量纲处理以减少单位对计算的影响。因此正确的数据预处理是前期值得关注的任务。

2.缺失数据

(1)均值填充法

如果缺失值是数值型的，就根据该属性在其他所有对象取值的平均值来填充该缺失的属性值，比如年龄、距离等属性。

如果缺失值是非数值型的，就根据统计学中的众数原理，用该属性在其他所有对象的取值次数最多的值(即出现频率最高的值)来补齐该缺失的属性值。比如

性别、类别等属性。

(2)就近补齐法

对于一个包含缺失值的对象，就近补齐法在完整数据中找到一个与它最相似 的对象， 然后用这个相似对象的值来进行填充。不同的问题可能会选用不同的标

准来对相似进行判定。该方法的难度在于如何定义相似标准，主观因素较多。

(3)聚类填充法

聚类是按照某个特定标准(如距离、密度等)把一个数据集分割成不同的类或簇，同一类的数据尽可能聚集到一起，不同类数据尽量分离，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。把数据分好类后可以在每个类别中处理缺失值，最经典的聚类算法是K- 近邻算法 (KNN) , 建议同学们在使用时根据数据属性合理选择距离和K(类别)

个数。

(4)回归方程法

用不含缺失值的数据集建立回归方程，把缺失值的点代入回归方程即可预测缺失值，在具体使用时应该注意要留出一部分数据验证你的回归方程的准确性

(建议测试数据比例20%)。

3.异常值处理

异常值是指样本中的个别值，其数值明显异于其他观测值，异常值也叫离群点。在比赛中，出题方可能会故意提供异常数据，考察参赛选手的数据分析和处理能力。

(1)检测方法

√ 基于实际问题

在一些实际问题中，一方面可以用物理模型剔除一些异常值，比如用圆周运动的临界条件筛选速度异常值；另一方面，可以根据生活常识剔除异常值，比如车速有上限。

√ 基于统计学原理

若数据服从正态分布，根据正态分布的定义可知，在默认情况下我们可以认定，距离超过平均值3δ的样本是不存在的。因此，当样本距离平均值大于3δ,

认为该样本为异常值。

√ 箱线图法

分位数：把数据分布划成4个相等的部分，每个部分表示数据分布的四分之一，称为四分位数，100-分位数通常称为百分位数，即划为100个大小相等的部

分。中位数、四分位数和百分位数是使用最广泛的分位数。

四分位极差：第1个和第3个四分位数之间的距离称为四分位数极差，定义

为：

IQR=Q₃-Q₁

五数概括由中位数(图片图片)、四分位数图片图片，最大值和最小值组成。

异常值识别的通常规则：挑选落在第3个四分位数之上或第1个四分位数之下至少1.5×IQR的值。箱线图的断点一般在四分位数上，盒的长度是四分位数极差IQR, 中位数用盒内的线标记，盒外的两条线(胡须)延申到最小和最大观测值。仅当最大和最小观测值超过四分位数不到1.5×IQR 时，胡须扩展，否则胡须再出现在四分位数的1.5×IQR之内的最极端观测值处终止，剩下的情况个

别列出。

该方法的优点在于既能对数据进行统计学描述，了解数据的整体特征，又能

可视化展示结果，简洁清晰。