针对航空安全风险分析和飞行技术评估问题的题解

最新进度在文章最下方卡片，加入获取思路数据代码论文：2023十三届MathorCup交流
(第一时间在CSDN分享，文章底部)

思路

问题一可以分为两小问，首先需要进行数据预处理，其中特别的要针对错误数据进行分析，剔除，这个过程也就是提到的可靠性研究。
常见的剔除数据的方法就是使用箱型图剔除异常值，如下是一个简单的箱形图：

将一组数据从大到小排列，分别计算出，
上四分位数 3： 75%分位点所对应的值
中位数 2： 50%分位点对应的值
下四分位数 1： 25%分位点所对应的值
上边缘（须）： Q3+1.5(Q3-Q1)
下边缘（须）： Q1-1.5(Q3-Q1)
数据 的合理范围为：

和使用3σ准则剔除异常值相比，箱形图不需要数据服从正态分布，能真实直观的表现数据形状；箱线图以四分位数和四分位距作为判断异常值的标准，四分位数具有一定的耐抗性，多达 25%的数据可以变得任意远而不会很大地扰动四分位数，使得异常值无法对数据形状造成巨大影响，因此箱形图识别异常值的结果比较客观。
通过此方法剔除附件1的异常数据，然后题目需要对数据质量进行可靠性研究，这里就分析哪几个指标的数据异常值多，更加分散即可。另外，对于一些离散型数据，比如二值数据等，如果想要检测异常值，只能以其他指标作为输入，当前指标为输出进行预测。查看预测值与真实值的差异来判断，不建议这么做。
针对第一问的第二小问，即提取与飞行安全相关的部分关键数据项，并对其重要程度进行分析，这部分可以使用相关性分析来提取重要程度，这一部分可以使用相关性的热力图进行可视化，即下图这种。根据目标指标的相关性系数排序，来确定重要程度。同样的，这里也可以使用一些其他的评价类算法，比如灰色综合评价法、模糊综合评价法等方式进行重要程度的排序与建模。

在第一问开始前，最好对数据集做一个初步的EDA（探索性数据分析），包括一些数据可视化。包含但不限于：
数据量、特征数量、数据类型
数据分布情况（标准差、分位数、最大最小值）
重复值处理（保留、删除）：假如你想发现某个用户的行为模式，该用户在不同的时间点进行相同的操作，那这个重复值是不是能帮助你获取该用户的行为偏好（你的问题），那可以保留
异常值处理（保留、删除）：假如你正在做异常检测的任务，那这个信息能帮助你进行有效的数据标注（你的需要）
缺失值处理（删除、填充）
这里推荐的数据可视化方法有：
单变量可视化：查看数据分布-直方图、箱线图
两个变量的可视化：相关性分析-线图、散点图、热力图，比如：

问题二（小部分）分析：量化描述可以通过变化率、阈值等进行描述，在判断时同样根据这些指标来分辨，可以在这里设置置信区间等方式。这里可能需要进行算法准确率的分析。有时间，可以使用时间序列分析（比如arima）
这里可以做置信度、置信区间分析。还可以划分训练集、测试集来直接计算精确率。这里还可以可视化ROC曲线等。
1.精确率（precision）
就precision而言有很多版本，各种说法不一，有精确率也有正确率更有甚者把准确率也搞出来了实在受不了，反正咱们看英文precision。
precision是表示预测为正样本中，被实际为正样本的比例。可以看出precision是考虑的正样本被预测正确的比例．根据图1-1可得其计算公式为：P = TP / (TP + FP)
2. 召回率（recall）
召回率是表示实际为正样本中，预测为正样本的比例。可以看出，召回率考虑的是正样本的召回的比例．根据图1-1可得其计算公式为：P = TP / (TP + FN)
３.准确率（accuracy）
准确率表示所有的预测样本中，预测正确的比例．其计算公式为：A = (TP + TN) / (TP + FN + FP + TN)
总结：精确率（accuracy）和召回率（recall）计算公式的分子都是TP也就是正样本被预测为正样本的数量，可知其为正样本的精确率和正样本的召回率．而准确率（accuracy）主要表征的是整体预测正确的比例．

以上仅为第一、二问部分思路（后续完善），剩余部分思路、数据集和其他具体配套代码、参考论文，以及其他题目思路，还在本页面获得。
问题四：
这一题可以通过统计建模来计算，可以通过卡方检验研究其整体的差异，再通过列比例研究变量下各分组之间具体的差异，再接着用TGI对差异程度进行形容。、

文章最下方