简述
今天我们来分析一个汽车数据。
数据集由以下列组成：
- 名称：每辆汽车的唯一标识符。
- MPG：燃油效率，以英里/加仑为单位。
- 气缸数：发动机中的气缸数。
- 排量：发动机排量，表示其大小或容量。
- 马力：发动机的功率输出。
- 重量：汽车的重量。
- 加速：提高速度的能力，以秒为单位。
- 车型年份：汽车模型的制造年份。
- 原产地：每辆汽车的原产地国家或地区。
总的来看数据内容不是很多，分析起来还是很容易的。
目标
这个项目的主要目标是了解汽车的不同特性之间的关系，以及它们如何影响燃油效率(MPG -每加仑英里数)。该项目还旨在发现数据中任何有趣的趋势或模式，从而为汽车行业提供见解。
数据清理和预处理
# 导入库
import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = 'SimHei' ## 设置中文显示
from scipy.stats import f_oneway
from scipy.stats import ttest_ind
# 导入数据
df = pd.read_csv('D:桌面\\Automobile.csv',encoding='gbk')
检查所有列的数据类型
检查缺失值
箱型图
df['马力'] = df['马力'].fillna(df['马力'].mean())
# 数字列列表
num_cols = ['mpg', '气缸数', '排量', '马力', '重量', '加速', '车型年份']
for col in num_cols:
plt.figure(figsize=(8, 4))
sns.boxplot(df[col])
plt.title(f'{col}箱线图 ')
plt.show()
处理 ‘马力’ 中的异常值
首先，计算“马力”（horsepower）的四分位距（IQR）
Q1_hp = df['马力'].quantile(0.25)
Q3_hp = df['马力'].quantile(0.75)
IQR_hp = Q3_hp - Q1_hp
定义异常值的上限和下限。
lower_bound_hp = Q1_hp - 1.5 * IQR_hp
upper_bound_hp = Q3_hp + 1.5 * IQR_hp
将异常值限制在一定范围内。
df['马力'] = df['马力'].clip(lower=lower_bound_hp, upper=upper_bound_hp)
重复这个过程，针对“重量”
Q1_weight = df['重量'].quantile(0.25)
Q3_weight = df['重量'].quantile(0.75)
IQR_weight = Q3_weight - Q1_weight
lower_bound_weight = Q1_weight - 1.5 * IQR_weight
upper_bound_weight = Q3_weight + 1.5 * IQR_weight
df['重量'] = df['重量'].clip(lower=lower_bound_weight, upper=upper_bound_weight)
特征工程
创建一个新的特征’hp_to_weight’，它是马力与重量的比率。
df['hp_to_weight'] = df['马力'] / df['重量']
检查前几行 DataFrame 以确认更改。
df.head()
生成数值变量的描述性统计数据。
df.describe()
数据可视化
生成数值变量的直方图。
num_cols = ['mpg', '气缸数', '排量', '马力', '重量', '加速', '车型年份', 'hp_to_weight']
for col in num_cols:
plt.figure(figsize=(8, 4))
sns.histplot(df[col], kde=True)
plt.title(f' {col}直方图')
plt.show()
生成分类变量的条形图
plt.figure(figsize=(8, 4))
sns.countplot(x='原产地', data=df)
plt.title('原产地条形图')
plt.show()
双变量分析
为成对的数值变量生成散点图
num_cols = ['mpg', '气缸数', '排量', '马力', '重量', '加速', '车型年份', 'hp_to_weight']
sns.pairplot(df[num_cols])
plt.show()
数值变化的相关矩阵
#计算数值变量之间的相关系数。
corr_matrix = df[num_cols].corr()
# 显示相关矩阵
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm')
plt.title('数值变化的相关矩阵')
plt.show()
group1 = df[df['原产地'] == 'usa']['mpg']
group2 = df[df['原产地'] == 'europe']['mpg']
group3 = df[df['原产地'] == 'japan']['mpg']
# 进行单因素方差分析。
f_stat, p_value = f_oneway(group1, group2, group3)
# 输出 F-statistic 和 p-value
print(f'F-statistic: {f_stat}')
print(f'p-value: {p_value}')
多变量分析
生成一组变量的配对图。
subset_cols = ['mpg', '马力', '重量', '原产地']
sns.pairplot(df[subset_cols], hue='原产地')
plt.show()
时间分析
# 计算每个型号年份的平均每加仑英里数。
avg_mpg_by_year = df.groupby('车型年份')['mpg'].mean()
# 绘制随着时间变化的平均每加仑英里数。
plt.figure(figsize=(10, 6))
sns.lineplot(data=avg_mpg_by_year)
plt.title('平均每加仑英里数按车型年份分类')
plt.xlabel('车型年份')
plt.ylabel(' MPG平均值')
plt.show()
假设检验
# 删除具有缺失“mpg”值的行。
df = df.dropna(subset=['mpg'])
# 将数据分成两组。
group1 = df[df['车型年份'] < 75]['mpg'] # 1975年之前制造的汽车
group2 = df[df['车型年份'] >= 75]['mpg'] # 1975年之后制造的汽车
# 进行双样本t检验。
from scipy.stats import ttest_ind
t_stat, p_value = ttest_ind(group1, group2)
# 输出 the t-statistic the p-value
print(f't-statistic: {t_stat}')
print(f'p-value: {p_value}')
结论
-
随着时间的推移，燃油效率:平均每加仑英里数(mpg)似乎随着时间的推移而增加，这表明汽车变得更加省油。这可能是由于技术的进步和汽车制造业对燃油效率的日益关注。
-
马力和重量:马力和重量之间似乎存在正相关关系，表明较重的汽车往往拥有更强劲的发动机。然而，马力和重量似乎都与mpg负相关，这表明较重的汽车和发动机功率更大的汽车往往更省油。
-
产地和燃油效率:我们的假设检验表明，不同产地的汽车平均每加仑汽油行驶里程有显著差异。这表明汽车的生产地区可能会对其燃油效率产生影响。
-
新功能-马力重量比:我们创造的新功能，马力重量比，可能会为这些变量和mpg之间的关系提供不同的结果
