数据分析-Pandas的Andrews曲线可视化解读

数据分析和处理中，难免会遇到各种数据，那么数据呈现怎样的规律呢？不管金融数据，风控数据，营销数据等等，莫不如此。如何通过图示展示数据的规律？

数据表，时间序列数据在数据分析建模中很常见，例如天气预报，空气状态监测，股票交易等金融场景。数据分析过程中重新调整，重塑数据表是很重要的技巧，此处选择Titanic数据，以及巴黎、伦敦欧洲城市空气质量监测 $NO_2$ 数据作为样例。

数据分析

数据分析-Pandas如何转换产生新列

数据分析-Pandas如何统计数据概况

数据分析-Pandas如何轻松处理时间序列数据

数据分析-Pandas如何选择数据子集

数据分析-Pandas如何重塑数据表-CSDN博客

本文用到的样例数据：

Titanic数据

空气质量监测 $NO_2$ 数据

样例代码：

源代码参考 Pandas如何重塑数据表

源代码参考 python数据分析-数据表读写到pandas

导入关键模块

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

plt.close("all")

在pandas数据分析中，了解观察多维数据的分布规律是非常重要的。各个维度数据的分布、度量通常用来直观描述数据集的分类位置，作为进一步探查分析的方向。

Andrews Curves 是一种用于可视化多元数据的图形表示方法，它通过将每个观测值转换为一个曲线来展示数据集中的模式。Andrews Curves 最初由 B.W. Andrews 在 1972 年提出，是一种基于函数型数据分析的方法。

Andrews 曲线，是基于余弦级数的傅里叶级数表示法，在这种表示法中，任意的函数都可以表示为一系列余弦函数的线性组合，就是余弦级数的展开，每个函数的振幅和波长都是不同的。常用于信号处理技术。

Andrews Curves 的详细技术解读：

原理

Andrews Curves 的基本原理是将多维数据降维到二维空间，通过绘制曲线来展示数据的特征。具体而言，它利用傅里叶级数（Fourier series）将多维数据转化为一系列正弦和余弦函数的组合，从而生成具有独特形状的曲线。这些曲线的形状反映了数据集的内在结构和类别信息。
数据

在使用 Andrews Curves 之前，需要准备一组多维数据集。这些数据集可以是不同的类别、组或条件下的观测值。每个数据集都应包含相同数量的观测值，并且每个观测值都应具有相同数量的特征。
曲线生成

对于每个数据集，Andrews Curves 算法会计算其傅里叶级数展开式。这个过程涉及到对数据的标准化、傅里叶变换和系数计算等步骤。最终，每个数据集都会被表示为一条曲线，曲线的形状由数据集的内在结构决定。

具体步骤，假设我们有N个样本，每个样本有d个特征，那么我们可以用如下的公式来表示每个样本的Andrews 曲线：

$F_i(t) = \frac{1}{\sqrt{2}} \sum_{k=1}^{d} w_{ik} \sin(k t) + b_i$

其中，i是样本的编号，从1到N，t是时间参数，$ w_{ik} $ 和 $ b_i $ 分别表示第 i 个样本的第k个特征的权重和偏移。将这个公式应用于每个样本，就可以得到N条Andrews曲线，每条曲线表示一个样本。

Andrews曲线图画法

pandas画平行坐标图方法最简单，只要一句语句搞定。相当于雷达图在一条直线上展开。

直接使用 Dataframe，parallel_coordinates函数即可。

from pandas.plotting import andrews_curves

data = pd.read_csv("data/iris.csv")
plt.figure();
andrews_curves(data, "Name");

plt.show()
plt.close("all")

在这里插入图片描述

通过观察整个曲线集合，可以发现相似样本和异常值。Andrews曲线的可视化效果非常好，不仅可以方便的观察多个特征之间的关系，还能够将多个样本之间的差异可视化出来。

Andrews曲线解读

Andrews Curves 是一种用于可视化和比较多个数据集或类别的统计图形工具。这些曲线通过将多维数据映射到二维空间中，使得我们可以直观地观察到不同数据集或类别之间的相似性和差异性。

Andrews Curves 的坐标轴通常不直接表示具体的数值，而是表示时间或序列位置。每个观测值（例如，一个样本或一个数据点）都被映射到一个曲线，这个曲线在横轴（通常是时间或序列位置）上展示了一系列纵坐标值。这些纵坐标值是通过某种函数转换原始数据得到的，通常是基于某种基函数（如傅里叶级数）的系数。

通过将不同数据集的曲线绘制在同一个坐标系中，我们可以直观地比较它们之间的相似性和差异性。如果两条曲线形状相似，意味着它们所代表的数据集在结构上具有较高的相似性；反之，如果曲线形状差异较大，则表明数据集之间存在明显的差异。

解读方法：

形状识别：观察不同曲线之间的形状差异。相似的形状可能意味着对应的观测值在原始特征空间中有相似的模式或结构。
聚类分析：通过识别形状相似的曲线，可以对观测值进行聚类。这有助于发现数据集中的潜在结构或类别。
异常值检测：与其他曲线显著不同的曲线可能表示异常值或离群点。这些观测值在原始特征空间中可能具有与其他观测值显著不同的特征。
趋势分析：通过观察曲线的变化趋势，可以分析数据集中的整体趋势或周期性模式。例如，如果曲线呈现出周期性变化，这可能意味着原始数据中存在某种周期性结构。

应用场景

Andrews Curves 适用于多种场景，如模式识别、分类和聚类等。在模式识别中，它可以帮助我们识别不同类别之间的差异；在分类任务中，我们可以使用 Andrews Curves 来展示不同类别的特征分布；在聚类分析中，我们可以通过比较聚类结果的 Andrews Curves 来评估聚类的质量。

优缺点

Andrews Curves 的优点在于它可以直观地展示多维数据的结构和类别信息，并且具有较好的可视化效果。然而，它也有一些缺点。

首先，Andrews Curves 对于数据的维度和数量有一定的限制，过高的维度或过多的数据可能导致计算量大增，影响曲线的生成速度。

其次，Andrews Curves 在某些情况下可能无法充分揭示数据的复杂性和差异性，需要结合其他统计方法进行分析。

总之，Andrews Curves 是一种有效的可视化工具，它可以帮助我们直观地比较和分析多维数据集之间的相似性和差异性。通过合理地应用这种方法，我们可以更好地理解和挖掘数据的内在结构，为模式识别、分类和聚类等任务提供有力支持。

注意事项：

Andrews Curves 的解释可能受到所选基函数的影响。不同的基函数可能会产生不同的曲线形状，从而影响对数据集的解读。
Andrews Curves 主要用于可视化高维数据。当数据维度非常高时，传统的散点图等方法可能无法有效地展示数据中的模式，而 Andrews Curves 通过将每个观测值映射为一个曲线来克服这个问题。
由于 Andrews Curves 是基于函数型数据分析的方法，因此在解释时需要考虑到函数的性质和特征。

总之，Andrews Curves 是一种强大的可视化工具，能够直观地展示高维数据中的模式和结构。通过识别曲线的形状、聚类和趋势等信息，可以更好地理解数据集并发现其中的潜在规律。

以上代码只是一个简单示例，示例代码中的表达式可以根据实际问题进行修改。

后面介绍下其他的展示形式。

觉得有用 收藏收藏收藏

点个赞点个赞点个赞

End

GPT专栏文章：

GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案

GPT实战系列-LangChain + ChatGLM3构建天气查询助手

大模型查询工具助手之股票免费查询接口

GPT实战系列-简单聊聊LangChain

GPT实战系列-大模型为我所用之借用ChatGLM3构建查询助手