1. 数据清洗
-
用邻近均值的方法，去掉Non_Padding中的NaN数据
-
这里没用df.fillna(), 因为其只有前向(ffill )和 后向 (bfill) 插值，不适合大量连续的NaN
-
pd转换为np，写一个函数, 返回np数组的空值，lambda的匿名函数返回y轴空值的索引
-
代码和输出如下：
#数据清洗，去除NaN数据，用邻近均值做填充(padding)
df = pd.read_csv(full) # nrows=3
columns = df.columns
print(df.shape)
print(df.columns)
print(df.iloc[:5,:8])
def nan_helper(y):
return np.isnan(y), lambda z: z.nonzero()[0]
data = df.to_numpy()
for col in range(data.shape[1]):
nans, x = nan_helper(data[:,col])
data[nans,col] = np.interp(x(nans),x(~nans),data[~nans,col])
df = pd.DataFrame(data,columns = columns)
print(df[:5,:8]) # .round(4)
2.数据可视化
- 画出n个公司的走势，对比指数的走势
- 画出index, date, close, high, low, open, volume的走势，分析close与其他特征
单只股票AAL的3天走势图（2016-07-26-29），共七个特征:
-
特征1是连续时间，特征2是当天时间
-
后面四个是股价特征（收盘价、最高价、最低价、开盘价），其都是1分钟内的特征值，所以整体相似
-
最后一个是成交量
3.特征选择-相关性分析
3.0 前后特征选择
特征作为算法模型的输入，可以通过一种最原始的方法逐步筛选出有效特征
-
前向选择
从0开始，根据模型性能表现，逐步添加重要特征
-
后向选择
相反，从满特征开始，逐各剔除不重要特征
3.1 线性相关系数
- pearson : standard correlation coefficient
- spearman : Spearman rank correlation
- kendall : Kendall Tau correlation coefficient
3.1.1 Person (皮尔逊相关系数 )
皮尔逊相关系数（Pearson correlation coefficient）是衡量两个连续变量之间线性关系强度和方向的统计量。
它是一个介于 -1 和 1 之间的值，其中：
- 当两个变量完全正相关时，皮尔逊相关系数为 1。
- 当两个变量完全负相关时，皮尔逊相关系数为 -1。
- 当两个变量之间没有线性关系时，皮尔逊相关系数接近于 0。
代码：
correlations = df.corr(method=‘pearson’)[‘NDX’].iloc[:-1] # Pearson, NDX就是 Nasdaq-100指数
分析此相关系数，可以将正负相关性较小特征股票剔除，如 [-0.25, 0.25]以内的股票
3.1.2 Spearman (斯皮尔曼相关系数)
correlations = df.corr(method=‘spearman’)[‘NDX’].iloc[:-1] # Spearman
斯皮尔曼相关系数（Spearman correlation coefficient）是一种非参数统计量，用于衡量两个变量之间的相关性，不要求变量之间的是线性关键。
Spearman通过比较变量的等级顺序来衡量它们之间的相关性。
斯皮尔曼相关系数的取值范围为 -1 到 1，其中：
-
当两个变量完全正相关时，斯皮尔曼相关系数为 1。
-
当两个变量完全负相关时，斯皮尔曼相关系数为 -1。
-
当两个变量之间没有单调关系时，斯皮尔曼相关系数接近于 0。
与皮尔逊相关系数不同，斯皮尔曼相关系数可以发现变量之间的任何单调关系，不仅限于线性的递增或递减关系。
因此，相比Person, 此方法算出的“不相关”股票更多，如图：
3.1.3 Kendall (秩相关系数)
correlations = df.corr(method=‘kendall’)[‘NDX’].iloc[:-1] # Kendall
Kendall tau是一种用于衡量两个变量之间的非线性关系的统计量。它衡量了两个变量的等级之间的协调性，即它们的等级排名是否是一致的。
Kendall秩相关系数的计算方法是Spearman斯皮尔曼相关系数的改进，但不同之处在于它考虑了等级之间的对比对数（concordant pairs）和不一致对（discordant pairs）。
Kendall在处理有序分类数据或评级数据等情况时更有效，特别是当数据存在等级关系但不满足线性相关的假设时。
Kendall的计算量要大一些(慢)，整体结果和Spearman相同：
后续特征分析还有：
3.2 互信息
Entropy & 熵
3.3 梯度提升树 (Gradient Boosting Trees)
XGBoost (eXtreme Gradient Boosting)梯度下降分析
3.4 主成分分析PCA
协方差矩阵的特征值
对3.3和3.4感兴趣的可以订阅支持我的微信公众号:
股票数据集2-纳斯达克NASDAQ 100 分析
- https://mp.weixin.qq.com/s/8Xhe0ir7QEWIYmtThqo0ew
