数据分析

数据分析是指用适当的方法对收集的数据进行分析,提取有用信息并且形成结论.

广义的数据分析包括狭义的数据分析和数据挖掘.狭义的数据分析是指根据目的,采用对比分析,分组分析,交叉分析,回归分析等分析方法,对数据进行分析和处理,得到特征统计量的过程.数据挖掘是指从大量的,不完全的,有噪声的,模糊的噪声中,通过应用聚类模型 分类模型  回归和关联规则等技术,挖掘潜在价值的过程.

数据预处理是指对数据进行数据合并、数据清洗、数据标准化、和数据变换。

数据合并是指将多张互相关的表格合并为一张。数据清洗是指去掉重复、缺失、异常的数据。数据标准化可以去除特征间的量纲差异。数据变换可以通过离散化、哑变量处理技术满足后期分析和建模的需求。

分析与建模是指通过对比分析、分组分析、交叉分析、回归分析等分析方法，以及聚类模型、分类模型、关联规则、智能推荐等模型与算法，发现数据中的有价值信息，并得出结论的过程。

模型评价。聚类模型评价指标有兰德系数、互信息。常用分类模型的评价指标有准确率、精确率、召回率、ROC和AUC。常用回归模型的评价指标有平均绝对误差、均方误差。

模型优化。模型达到性能之后，在实际的应用过程中，发现模型的性能并不理想，然后继续对模型进行重构和优化的过程。

数据分析应用

• 客户分析。根据已有的数据来对客户进行特征分析，用以判断用户的忠诚度、喜好，使得运营策略达到最优，提升企业的整体效益
• 社交媒体分析。通过不同社交媒体渠道生成的内容，分析客户的兴趣爱好、行为。
• 网络安全。传统的网络安全依靠静态防御，在发现病毒威胁的时候做出反应。新型的病毒防御系统可使用数据分析技术，建立潜在攻击分析模型、检测网络活动数据和相应的访问行为。
• 设备管理。通过物联网技术收集分析数据，包括连续用电、零部件温度、环境湿度和污染物颗粒等多种潜在特征，建立设备管理模型。
• 交通物流分析。

Numpy数值计算基础

数组对象

数组属性

• ndim。数组的维数
• shape。数组的尺寸
• size。数组元素的总数
• dtype。数组元素类型
• itemsize。每一个元素的大小（以字节为单位）

import numpy as np

array=np.array([1,2,3,4])
print(array.shape)
print(array.dtype)
print(array.itemsize)
print(array.size)
print(array.ndim)

numpy数组中所有元素必须都是同一类型的，这样可以更好确定数组所需要的存储空间。

生成随机数

import numpy as np

# 生成随机数
# 这里的随机数是伪随机数，随机数相关的函数都在random模块中，包括了生成多种概率分布的随机数的函数

a=np.random.random(10)
print(a)

# 生成均匀分布的随机数
b=np.random.rand(10)
print(b)
#生成正太分布
c=np.random.randn(10)
print(c)
# randint 生成给定范围的是随机数  randint(low,high,size,dtype)
d=np.random.randint(1,10,1)
print(d)
# permutation 返回一个序列的随机排列
e=np.arange(1,10,1)
print(e)
np.random.shuffle(e)
print(np.random.permutation(e))
print(e)
# beta分布
f=np.random.beta(1,10,1)
print(f)

矩阵和通用函数

矩阵是ndarray的子类。numpy提供了两个基本的对象，一个是N维数组，一个是通用的函数对象。矩阵是建立在一维数组之上的二维数组。 

import numpy as np

# matrix创建矩阵
a=np.matrix([[1,2,3],[4,5,6]])
print(a)
print(a.ndim)

#矩阵数乘
b=a*3
print(b)
# 矩阵相加
c=a+b
print(c)
# 矩阵相乘
d=a*c.T
print(d)

#矩阵对应元素相乘
f=np.multiply(a,b)
print(f)

#转置矩阵
print(a.T)
#逆矩阵
print(a.I)
# 共轭转置
print(a.H)

ufnc函数

ufunc函数是一种可以对数组中所有元素都进行操作的函数。

import numpy as np

# 常用的数组运算
x=np.array([1,2,3])
y=np.array([4,5,6])
print('数组相乘',x*y)  #对应元素相乘
print('数组相除',x/y)
print('数组幂运算',x**y)
# 比较运算
print('数组比较结果',x>y)
# 逻辑运算
print('逻辑运算',np.all(x==y))

numpy进行数据分析

读写文件

NumPy的文件读/写主要有二进制的文件读/写和文件列表形式的数据读/写两种形式。学会读/写文件是利用NumPy进行数据处理的基础

import numpy as np

x=np.arange(1,10,1)
print(x)
y=np.array([1,2,3])
# 保存数组
np.save('./save_arr.npy',x)

# 导入数组
b=np.load('./save_arr.npy')
print(b)

#保存多个数组
np.savez('./hh.npz',x,y)

# 导入数组
c=np.load('./hh.npz')
print(c['arr_0'])
print(c['arr_1'])

import numpy as np

# savetxt保持到txt文件中
a=np.arange(1,10,1).reshape(3,3)
print(a)
np.savetxt('./hh.txt',a,fmt='%d')

b=np.loadtxt('./hh.txt')
print(b)

统计分析

排序

import numpy as np

a=np.arange(1,10,1)
np.random.shuffle(a)
print(a)
# 排序
# 直接排序，直接对数值进行排序
b=np.sort(a,axis=0)
print('直接排序',b)
# 间接排序，根据一个值对数据集进行排序
c=np.argsort(a)  #返回重新排序值的下标
print('间接排序',c)
d=a[c]
print('排序后的结果',d)

 去重和重复数据

import numpy as np

names=np.array(['小黄','小白','小明','小白'])

# 去重
a=np.unique(names)
print('去重后的数组',a)

#重复
b=np.tile(names,3)
print('重复三次',b)

c=np.repeat(names,3,axis=0)
print(c)

常用的统计函数

import numpy as np

a=np.arange(20).reshape(4,5)
print(a)

# 计算数组的和
print(np.sum(a))
print(np.sum(a,axis=0))
print(np.sum(a,axis=1))

# 计算均值
print(np.mean(a))

# 计算标准差
print(np.std(a,axis=0))

# 计算方差
print(np.var(a))

# 计算最小元素索引
print(np.argmin(a))

参考：

Python数据分析与应用