机器学习项目实战-能源利用率 Part-2（探索性数据分析）

news2024/11/25 11:03:43

Part-1部分的博客可见下：
机器学习项目实战-能源利用率 Part-1（数据清洗）
这部分进行的是探索性数据分析。

探索性数据分析

Exploratory Data Analysis

简单的说，就是画图来分析数据。

分析标签数据

data = data.rename(columns = {'ENERGY STAR Score': 'score'})

plt.figure(figsize = (8, 6))
plt.style.use('ggplot')
plt.hist(data['score'].dropna(), bins = 100, edgecolor = 'k')
plt.xlabel('Score'); plt.ylabel('Number of Buildings')
plt.title('Energy Star Score Distribution')

这段代码首先将 data 数据集中名为 'ENERGY STAR Score' 的列重命名为 'score'，然后利用 Matplotlib 库绘制了 'score' 列的直方图。在绘制直方图时，使用了 plt.hist() 函数，其中参数 bins 指定了直方图的柱数，edgecolor 指定了柱边缘的颜色。函数 plt.xlabel() 和 plt.ylabel() 分别设置了 x 轴和 y 轴的标签，plt.title() 则设置了直方图的标题。最后，plt.style.use() 函数指定了绘图风格为 'ggplot'。

在这里插入图片描述

Site EUI 特征处理

“Site EUI Distribution” 意思是 “场地能源使用强度分布”，通常是指在一个特定的时间段内，一个建筑单位面积（如每平方英尺或每平方米）所消耗的能源的数量。因此，Site EUI Distribution 描述了一组建筑物的能源效率水平，以及这些建筑物的能源消耗分布情况。

plt.style.use('ggplot')
plt.figure(figsize(8, 6))
plt.hist(data['Site EUI (kBtu/ft²)'].dropna(), bins = 20, edgecolor = 'black')
plt.xlabel('Site EUI'); plt.ylabel('Count'); plt.title('Site EUI Distribution')

这段代码使用了matplotlib库绘制一个直方图，展示了数据集中’Site EUI (kBtu/ft²)'这一列的分布情况。具体解释如下：

  • plt.style.use('ggplot') 设置画图风格为’ggplot’风格，这是一种常用的美观风格。
  • plt.figure(figsize(8, 6)) 创建一个画布对象，大小为8x6英寸。
  • plt.hist(data['Site EUI (kBtu/ft²)'].dropna(), bins = 20, edgecolor = 'black') 绘制直方图，data['Site EUI (kBtu/ft²)'].dropna()选择’Site EUI (kBtu/ft²)'这一列的非空值作为数据，bins=20表示将数据分成20个区间，edgecolor='black'表示边界颜色为黑色。
  • plt.xlabel('Site EUI') 设置x轴标签为’Site EUI’。
  • plt.ylabel('Count') 设置y轴标签为’Count’。
  • plt.title('Site EUI Distribution') 设置图表标题为’Site EUI Distribution’。

在这里插入图片描述

这里面存在着一些特别大的值，这些可能是离群点或记录错误点，对我们结果会有一些影响的。

详细看这个特征

data['Site EUI (kBtu/ft²)'].describe()

在这里插入图片描述

看这个特征最大的10个数，的确可以看到分布不均的情况
存在着一些特别大的值，这些可能是离群点或记录错误点，对我们结果会有一些影响的。

data['Site EUI (kBtu/ft²)'].dropna().sort_values().tail(10)

在这里插入图片描述

删除离群点
离群点的选择可能需要再斟酌一些，这里选择的方法是extreme outlier。

  • First Quartile − 3 ∗ Interquartile Range
  • First Quartile + 3 ∗ Interquartile Range

类似于 3Sigma 原理
在这里插入图片描述

first_quartile = data['Site EUI (kBtu/ft²)'].describe()['25%']
third_quartile = data['Site EUI (kBtu/ft²)'].describe()['75%']
iqr = third_quartile - first_quartile

data = data[(data['Site EUI (kBtu/ft²)'] > (first_quartile - 3 * iqr)) &
           (data[['Site EUI (kBtu/ft²)'] < (third_quartile + 3 * iqr))]

plt.figure(figsize = (8, 6))
plt.hist(data['Site EUI (kBtu/ft²)'].dropna(), bins = 50, edgecolor = 'black')
plt.xlabel('Site EUI'); plt.ylabel('Count'); plt.title('Site EUI Distribution')

这段代码的作用是去除Site EUI（建筑能源使用强度）中的异常值，然后绘制Site EUI分布直方图。首先，通过使用.describe()方法，计算Site EUI列的第一四分位数、第三四分位数和四分位数间距（IQR），其中IQR是上四分位数与下四分位数之间的距离。然后使用这些统计量和3倍的IQR来确定Site EUI的上下界，并筛选掉超出这些边界的行。最后，使用绘图函数.hist()绘制Site EUI的分布直方图，其中直方图的bin数设置为50，边缘颜色为黑色。

在这里插入图片描述

分析哪些变量会对结果产生影响

Lput = data.dropna(subset = ['score'])['Largest Property Use Type'].value_counts()
Lput = list(Lput[Lput.values > 80].index)

plt.figure(figsize = (12, 10))
for lput in Lput:
    subset = data[data['Largest Property Use Type'] == lput]
    sns.kdeplot(subset['score'].dropna(), label = lput, fill = False, alpha = 0.8)
plt.xlabel('Energy Star Score', fontsize = 18)
plt.ylabel('Density', fontsize = 18)
plt.title('Density Plot of Energy Star Scores by Building Type', size = 24)
plt.legend()

这段代码的目的是绘制不同建筑类型的能源之星分数（Energy Star Score）的密度图（Density Plot）。首先，代码使用 value_counts() 方法计算每个最大物业使用类型（Largest Property Use Type）的计数。然后，使用 list() 和条件语句将计数大于80的最大物业使用类型列表存储在变量 Lput 中。接下来，代码使用 Seaborn 库中的 kdeplot() 方法，为 Lput 中的每个最大物业使用类型绘制密度图。最后，代码使用 xlabel()、ylabel() 和 title() 方法为图表添加轴标签和标题。

在这里插入图片描述

上图分析（横坐标是Energy Star Score的分布，纵坐标是密度的分布），不同类型的建筑看起来对结果的影响是不一样的。这个变量对我们后续的分析很有帮助

boroughs = data.dropna(subset = ['score'])['Borough'].value_counts()
boroughs = list(boroughs[boroughs.values > 150].index)

plt.figure(figsize = (12, 10))
for borough in boroughs:
    subset = data[data['Borough'] == borough]
    sns.kdeplot(subset['score'].dropna(), label = borough)
plt.xlabel('Energy Star Score', fontsize = 18)
plt.ylabel('Density', fontsize = 18)
plt.title('Density Plot of Energy Star Scores by Borough', fontsize = 24)
plt.legend()

这段代码的主要目的是为了可视化不同区域（Borough）建筑物的能源星级得分（Energy Star Score）的分布情况。首先，代码通过dropna()方法删除得分为空的数据行，然后使用value_counts()方法统计每个区域的建筑物数量，并且只保留建筑物数量超过150个的区域，这些区域将被视为绘制分布图的目标区域。接下来，代码循环遍历目标区域列表boroughs，并从数据中选择相应区域的子集，使用kdeplot()方法绘制能源星级得分的密度曲线，并在曲线旁边标注区域名称。最后，通过设置横纵坐标标签和标题，以及添加图例来完善可视化效果。

在这里插入图片描述

对于镇区这个特征来说看起来影响就不大，因为这几条线都差不多

分析特征之间的相关性

可以根据相关系数，帮助我们来筛选特征
下面这个图，就非常经典

在这里插入图片描述

corr_data = data.corr()['score'].sort_values()
print(corr_data.head(15), '\n')
print(corr_data.tail(15))

分别去看相关性最高的15个参数，以及相干性最小的15个参数
在这里插入图片描述

在这里插入图片描述

Site EUI (kBtu/ft²)和 Weather Normalized Site EUI (kBtu/ft²) 呈现出明显的负相关，单位用电量越多，能源利用得分越低。
Site EUI (kBtu/ft²) 表示建筑物的能源使用效率，即每平方英尺建筑面积每年消耗的能源量。这个指标以能源使用强度 (energy intensity) 的形式表示，以单位面积每年消耗的热量 (kBtu/ft²/yr) 表示。这个指标可以用于比较不同建筑之间的能源使用情况，以及评估建筑的能源效率。
Weather Normalized Site EUI (Energy Use Intensity)是指建筑物的能源消耗强度，以每平方英尺的建筑面积为单位，并考虑了当地气象条件对能耗的影响。 Weather Normalized Site EUI使用美国能源管理局的Weather Normalized Energy Consumption Index（NECI）来对建筑物进行标准化，以便比较不同地点和时间段的能耗数据，同时消除天气对能耗的影响。

还需要在考虑下非线性变换的特征，比如平方，log等等，都可以来试试，对于类别变量还可以用one-hot encode来转换下。

特征变换与 one-hot encode

numeric_subset = data.select_dtypes('number') # 选择数值型列
for col in numeric_subset.columns: # 对数值型列开平方根和对数, 创建新的列
    if col == 'score':
        next
    else:
        numeric_subset['sqrt_' + col] = np.sqrt(abs(numeric_subset[col])+0.01)
        numeric_subset['log_' + col] = np.log(abs(numeric_subset[col])+0.01)

categorical_subset = data[['Borough', 'Largest Property Use Type']] # 选择类别型列
categorical_subset = pd.get_dummies(categorical_subset) # One hot encode

features = pd.concat([numeric_subset, categorical_subset], axis = 1) # concat两个类型数据
features = features.dropna(subset = ['score']) # 删除标签列中的缺失值行

correlations = features.corr()['score'].dropna().sort_values() # 标签的相关系数

print(correlations.head(15))
print(correlations.tail(15))

这段代码实现了以下几个功能，代码解释见下：

  1. 从数据中选择数值型列，并对每一列进行开平方根和对数的操作，创建新的列。
  2. 从数据中选择类别型列，并进行 One hot encode 操作，将每个类别转化为一个新的二元列。
  3. 将上述两个处理后的数据合并为一个数据集。
  4. 删除标签列中的缺失值行。
  5. 计算特征和标签之间的相关系数，并按照相关系数从小到大排序。

其中，最后两行代码分别输出了相关系数最小的前15个和相关系数最大的后15个特征。

在这里插入图片描述

在这里插入图片描述

双变量绘图

plt.figure(figsize = (12, 10))
features['Largest Property Use Type'] = data.dropna(subset =['score'])['Largest Property Use Type']
# 提取建筑类型特征

features = features[features['Largest Property Use Type'].isin(Lput)]
# Limit to building types with more than 80 observations

sns.lmplot('Site EUI (kBtu/ft²)', 'score', hue = 'Largest Property Use Type',
          data = features, scatter_kws = {'alpha':0.7, 's':50}, fit_reg = False,
          height = 12, aspect = 1.2)
plt.xlabel('Site EUI', fontsize = 24)
plt.ylabel('Energy Star Score', fontsize = 24)
plt.title('Energy Star Score vs Site EUI', fontsize = 30)

这段代码生成一个散点图，用于观察不同建筑类型的能源利用强度（Site EUI）与能源星级评分（Energy Star Score）之间的关系。其中，features['Largest Property Use Type'] = data.dropna(subset =['score'])['Largest Property Use Type'] 提取了建筑类型这一特征列，features = features[features['Largest Property Use Type'].isin(Lput)] 则用 isin() 方法过滤了建筑类型样本数量大于 80 的建筑类型。最后，sns.lmplot() 方法用于绘制散点图，并指定了 Site EUI 与 Energy Star Score 分别在 x、y 轴上，并用不同颜色的点表示不同建筑类型的数据。scatter_kws 参数用于指定散点图点的透明度（alpha）和大小（s）。fit_reg 参数设为 False，表示不进行线性回归。最后，plt.xlabel(), plt.ylabel(), plt.title() 分别用于指定 x 轴标签、y 轴标签和标题。

在这里插入图片描述

PASS：这个案例有点问题，估计 seaborn 后面改版了
但不影响总的分析

Pairs Plot

plot_data = features[['score', 'Weather Normalized Source EUI (kBtu/ft²)',
                      'Site EUI (kBtu/ft²)', 'sqrt_Source EUI (kBtu/ft²)']]
plot_data = plot_data.replace({np.inf: np.nan, -np.inf: np.nan}) # 无穷大和负无穷大替换为nan
plot_data = plot_data.rename(columns = {'Site EUI (kBtu/ft²)': 'Site EUI',
                       'sqrt_Source EUI (kBtu/ft²)': 'sqrt Source EUI',
                       'Weather Normalized Source EUI (kBtu/ft²)': 'Weather Norm EUI'})
plot_data = plot_data.dropna()

def corr_func(x, y, **kwargs):
    r = np.corrcoef(x, y)[0][1] # x和y的皮尔逊相关系数
    ax = plt.gca()
    ax.annotate('r = {:.2f}'.format(r), xy = (.2, .8), xycoords=ax.transAxes, size=30)
    
grid = sns.PairGrid(data = plot_data, height = 4)
grid.map_upper(plt.scatter, alpha = 0.6)
grid.map_diag(plt.hist, edgecolor = 'black')
grid.map_lower(corr_func)
grid.map_lower(sns.kdeplot, cmap = plt.cm.Reds)

plt.suptitle('Pairs Plot of Energe Data', fontsize = 28, y = 1.05)

这段代码主要进行了以下操作：

  1. 从数据集中选取了包含四个特征列的子集，并给它们重命名。
  2. 用replace函数将无穷大和负无穷大替换为NaN。
  3. 使用dropna函数删除包含NaN值的行。
  4. 定义了一个名为corr_func的函数，它计算并注释了x和y的Pearson相关系数。
  5. 使用PairGrid函数创建一个网格，对角线上是直方图，上三角是散点图，下三角是相关系数和核密度估计图。
  6. 最后，使用suptitle函数添加一个大标题。

该代码的目的是探索能源数据之间的相关性，使用可视化的方式查看四个特征之间的关系。其中PairGrid函数可视化了每个特征对之间的关系，并注释了它们之间的Pearson相关系数，帮助我们快速了解每个特征之间的关系。

在这里插入图片描述

Reference

机器学习项目实战-能源利用率 Part-1（数据清洗）

机器学习项目实战-能源利用率1-数据预处理

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/539238.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

c++ 11标准模板（STL） std::set(六）

c++ 11标准模板（STL） std::set(六）

定义于头文件 <set> template< class Key, class Compare std::less<Key>, class Allocator std::allocator<Key> > class set;(1)namespace pmr { template <class Key, class Compare std::less<Key>> using se…
阅读更多...
STL配接器（容器适配器）—— queue 的介绍使用以及模拟实现。

STL配接器（容器适配器）—— queue 的介绍使用以及模拟实现。

注意 &#xff1a; 以下所有文档都来源此网站 &#xff1a; http://cplusplus.com/ 一、queue 的介绍 queue 文档的介绍&#xff1a;https://cplusplus.com/reference/queue/queue/ 1. 队列是一种容器适配器&#xff0c;专门用于在FIFO上下文(先进先出)中操作&#xff0c;其…
阅读更多...
将本机安装的chrome插件移至其他电脑

将本机安装的chrome插件移至其他电脑

国内chrome应用商店默认是打不开的&#xff0c;属于绕过应用商店安装的一种办法 假设已安装插件的电脑为A电脑 待安装插件电脑为B电脑 首先在A电脑打开chrome浏览器&#xff0c;然后输入chrome://version/ 找到"个人资料路径"对应位置 个人资料路径下的Extensions目…
阅读更多...
LabVIEWCompactRIO 开发指南22 CVT客户端通信（CCC）

LabVIEWCompactRIO 开发指南22 CVT客户端通信（CCC）

LabVIEWCompactRIO 开发指南22 CVT客户端通信&#xff08;CCC&#xff09; 如果使用第3章中讨论的CVT进行进程间通信&#xff0c;请考虑使用CCC。如果已经创建了CVT标签&#xff0c;并且想在网络上发布此数据&#xff0c;CCC不失为一个简单而优雅的解决方案。它基于TCP/IP&am…
阅读更多...
java接口与实现

java接口与实现

文章目录 一、Java接口二、Java实现接口三、Java接口回调四、Java接口与多态五、Java接口参数六、Java接口与抽象类的比较七、Java接口的UML图总结 一、Java接口 接口是Java语言中一种重要的数据类型&#xff0c;通常使用关键字interface来定义一个接口。 接口的定义和类的定…
阅读更多...
【22-23 春学期】人工智能基础--AI作业10-经典卷积网络

【22-23 春学期】人工智能基础--AI作业10-经典卷积网络

LeNet & MNIST LeNet是由Yann LeCun及其合作者于1998年开发的一种具有开创性的卷积神经网络架构。它的设计目的是识别手写数字并执行图像分类任务。MNIST是一个用于手写数字识别的大型数据库&#xff0c;常被用于训练图像处理系统。LeNet与MNIST的关系在于&#xff0c;LeNe…
阅读更多...
二十六、搜索与图论——SPFA算法（单源最短路 + 负权边 + Bellman-Ford 时间复杂度优化）

二十六、搜索与图论——SPFA算法（单源最短路 + 负权边 + Bellman-Ford 时间复杂度优化）

SPFA算法主要内容 一、基本思路1、算法概念2、SPFA 算法步骤算法步骤注意事项 3、SPFA算法进行负环判断 二、Java、C语言模板实现SPFA 算法SPFA求负环 三、例题题解 一、基本思路 1、算法概念 概念&#xff1a; SPFA 算法是 Bellman-Ford算法 的队列优化算法的别称&#xff0…
阅读更多...
〖大学生·技术人必学的职业规划白宝书 - 职业规划篇⑤〗- 利用职业能力模型拆解目标岗位

〖大学生·技术人必学的职业规划白宝书 - 职业规划篇⑤〗- 利用职业能力模型拆解目标岗位

历时18个月&#xff0c;采访 850 得到的需求。 不管你是在校大学生、研究生、还是在职的小伙伴&#xff0c;该专栏有你想要的职业规划、简历、面试的答案。说明&#xff1a;该文属于 大学生技术人职业规划白宝书 专栏&#xff0c;购买任意白宝书体系化专栏可加入TFS-CLUB 私域社…
阅读更多...
redis高级篇(2)---主从同步

redis高级篇(2)---主从同步

一)搭建主从架构: 单节点Redis的并发能力是有限的&#xff0c;所以说要想进一步提高Redis的并发能力&#xff0c;就需要搭建主从集群&#xff0c;实现读写分离&#xff0c;因为对于Redis来说大部分都是读多写少的场景&#xff0c;更多的要进行读的压力&#xff0c;最基本都要是…
阅读更多...
7.Redis管道/流水线

7.Redis管道/流水线

这里写目录标题 是什么&#xff1f;Redis pipelining 案例演示&#xff1a;小总结Pipeline与原生批量命令对比Pipeline与事务对比使用Pipeline注意事项 &#xff08;Redis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。一个请求会遵循以下步骤&#xff1a; 1 .客户…
阅读更多...
[云原生] 破局微服务通信：探索MegaEase服务网格的创新之路

[云原生] 破局微服务通信：探索MegaEase服务网格的创新之路

文章目录 [云原生]破局微服务通信&#xff1a;探索MegaEase服务网格的创新之路解析MegaEase&#xff1a;服务网格领域的领先者 1. MegaEase的背景和使命拓展: 2. MegaEase的核心产品&#xff1a;EaseMesha. 动态服务发现与负载均衡b. 弹性和容错机制c. 安全性与身份认证d. 可观…
阅读更多...
M^2BEV: 统一的鸟瞰图表示的多相机联合3D检测和分割

M^2BEV: 统一的鸟瞰图表示的多相机联合3D检测和分割

文章&#xff1a;M^2BEV: Multi-Camera Joint 3D Detection and Segmentation with Unified Bird’s-Eye View Representation 作者&#xff1a;Enze Xie, Zhiding Yu, Daquan Zhou, Jonah Philion, Anima Anandkumar, Sanja Fidler, Ping Luo, Jose M. Alvarez 编辑&#xff1…
阅读更多...
SpringBoot内置Tomcat 配置和切换

SpringBoot内置Tomcat 配置和切换

目录 SpringBoot内置Tomcat 配置和切换 基本介绍 内置Tomcat 的配置 application.yml配置 对上面代码解释一下方便理解 通过类来配置Tomcat 注销application.yml 对tomcat 配置&#xff0c;完成测试 切换WebServer, 演示如何切换成Undertow 修改pom.xml , 排除tomcat…
阅读更多...
sqli_labs17 ——更新注入

sqli_labs17 ——更新注入

输入用户名admin密码随便输入&#xff0c;发现回显提示是成功修改密码&#xff0c;更新就是指的更新密码 想要在用户栏测试闭合&#xff0c;但是都回显的是hacker 利用自己的字典查了一下也全部回显的一样的数据&#xff0c;那说明这个用户栏是设定了严格的过滤的&#xff0c;结…
阅读更多...
前端3D技术概述

前端3D技术概述

操作系统、编译原理、计算机图形学被传为程序员的三大浪漫&#xff0c;每个方向都易懂难深&#xff0c;但作为程序员对每个方向还是要有基本的认识和判断&#xff0c;毕竟贯穿虚拟和现实生活的桥梁是搭建在抽象之上的&#xff0c;这三大浪漫是抽象化的课代表。本次我们认识下计…
阅读更多...
Spring 五大类注解、方法注解、对象注入简化 Bean 操作

Spring 五大类注解、方法注解、对象注入简化 Bean 操作

目录 为什么要使用注解 配置扫描文件&#xff1a; 1.配置扫描路径 1. 五大类注解&#xff1a; 五大类注解有哪些&#xff1f; 1.1 Controller&#xff1a; 1.1.1 存储 Bean 1.1.2 读取 Bean 1.2 Service&#xff1a; 1.2.1 存储 Bean 1.2.2 读取 Bean 1.3 Repository&a…
阅读更多...
Hadoop的基本概念和架构

Hadoop的基本概念和架构

Hadoop的基本概念和架构 学习路线 hadoop的基本概念和架构hadoop的安装和配置hadoop的HDFS文件系统hadoop的MapReduce计算框架hadoop的YARN资源管理器hadoop的高级特效&#xff0c;如HBase&#xff0c;Hive&#xff0c;Pig等hadoop的优化和调优hadoop的应用场景&#xff0c;如…
阅读更多...
23种设计模式之组合模式（Composite Pattern）

23种设计模式之组合模式（Composite Pattern）

前言&#xff1a;大家好&#xff0c;我是小威&#xff0c;24届毕业生&#xff0c;在一家满意的公司实习。本篇文章将23种设计模式中的组合模式&#xff0c;此篇文章为一天学习一个设计模式系列文章&#xff0c;后面会分享其他模式知识。 如果文章有什么需要改进的地方还请大佬不…
阅读更多...
跨平台应用开发进阶(六十三)：微信小程序开发

跨平台应用开发进阶(六十三)：微信小程序开发

文章目录 一、前言二、开发物料准备2.1 个性化小程序2.2 开发时如何调用API2.3 微信小程序开发常用组件库2.3.1 WeUI2.3.2 Vant Weapp2.3.3 iView Weapp2.3.4 ColorUI2.3.5 Wux Weapp2.3.6 TaroUI2.3.7 MinUI 三、创建一个UNI-APP项目四、进行调试4.1 启动微信开发者工具4.2 调…
阅读更多...
网络基础进阶

网络基础进阶

1、交换机接口类型 Console口&#xff1a;也称为&#xff1a;串口接口&#xff0c;一般用于与PC连接&#xff0c;用于配置和监控交换机。百兆以太网接口&#xff1a;用于连接计算机和交换机之间的通信。Console到的网络接口&#xff1a;俗称交叉串口&#xff0c;是用于连接交换…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023