使用飞桨实现的第一个AI项目——波士顿的房价预测

news2024/11/16 18:12:11

part1.首先引入相应的函数库:

值得说明的地方:

(1)首先,numpy是一个python库,主要用于提供线性代数中的矩阵或者多维数组的运算函数,利用import numpy as np引入numpy,并将np作为它的别名

part2.(一步步慢慢来,从0到1,只要突破了,就会有1到100的发生,所以,慢慢来)下面我们一点点分析“数据处理”部分的代码:

(1)

这里,就是python中用得最多的函数模块定义,反正下面就是定义了一个load_data()函数

 (2)

 

 

首先,定义一个路径变量(可能是string类型,反正python中变量没有类型),这个路径从这个平台页面的左上角可以查看到./work/house.data里面就是我们需要用到的空气中各个指标的数据

 

关于这个numpy.fromfile函数的用法和参数说明:

 

我觉得,这里sep用' '一个空格作为参数,就是用作分隔符的作用

 (3)

首先,创建一个names名称字符串数组feature_names,这个数组一共有14个值,前13个值是空气中的各个指标成分,最后一个是房屋价格的中位数

然后,调用len(数组)这个函数取出这个数组的长度14给到变量feature_num

(4)  

 

 差点就以为“//”是注释的意思了,

这样的话就好理解了,就是总共有data.shape[0]个数据,除以feature_num得到行,feature_num作为列数,

所以,这一条语句之后,data就变成了一个[N,14]的二维数组了

(5)

 这一部分很容易理解:就是比如说data这个二维数组一共有N行,我们取出前0.8N行构建一个新的二维数组training_data最为训练集数据

(6)

 首先,需要了解numpy.max函数中axis参数的含义,axis=0代表取每一列中的最大值,这里的含义就是,总共14个指标,每个指标代表1列,所以就按列分别取出14个列的最大值作为一个大小为14的一维数组,然后给到那个一维数组变量maximums,

同理,minimums也得到一个这样的一维数组,

avgs也是同样,只不过是每一列求和除以行数的平均值

(7)

 关于python中的global变量的说明:

 (8)

 关于“归一化处理”我的理解就是,相对于“某个值”的占比,反正就是为了消除单位的影响

 上面这个代码:就是将data这个数组,for循环是依次按列从列1到列14进行处理,

每个循环就是将1-N所有的行的第i列数据进行归一化处理

(9)

 这样看的话,整个def load_data()函数就非常清楚了,

最后就是将“规格化(规格化做的工作就是[N,14]这样)”和“归一化”处理后的二维数组data[N,14]再次分割为前80%作为training_data这个二维数组,后20%最为test_data这个二维数组

(之前有一个代码我觉得是多余的就是这个,因为最后由定义了一次)

part3:模型设计部分

(1)

 

 用法示例:

 这里是定义模型的初始化函数,利用super函数继承了父类的的初始化方法,然后定义了一个fc全连接层,里面没有使用激活函数

 注意,这里的父类就是那个fluid.dygraph.Layer这个类

 关于这个forward函数,就我目前看来,主要是用来组合_init_中定义的全连接层,最终返回一个结果,比如这里就是调用了_init定义的fc全连接层,输入inputs参数,返回一个x结果

part4:训练的配置阶段

 

其实这里主要做的,就是:

(1)声明之前定义的Regreesor类的实例model,然后开启model的训练模式

(2)调用之前定义好的load_data()函数,将所有的数据加载到train_data和test_data中

(3)最后设置fluid库中的optimizer模块中的SGD模板函数的参数0.01,model中的各个参数,

设置好参数的模板函数得到实例函数opt留到之后使用

part5:模型训练过程

 (1)

这里就是说明了使用的资源是CPU,然后设置epoch的次数和batch的大小

(2) 

外层循环干的事:首先将这一轮所有的训练数据shuffle打乱,然后,将training_data中的每10条数据作为一个batch,所有的batch放到min_batches这个数组中,这个数组的元素就是单个batch,而单个batch其实是10*14的二维数组

(3)

这里面的就是内层循环的主要训练代码了, 

 首先是house_features里面就是10*13的变量,prices就是10*1的值

然后,调用model函数,传参house_features得到10*1的predicts

之后,计算predicts和prices之间的loss,并且计算这10个数据的mean平均avg_loss

最后,也是比较迷惑的:

 这里有关于backward()函数的说明,就我看来就是根据loss数据对模型的那些还不确定的参数进行更新

 我真的很想将backward()函数和minimize函数当作同一个作用的东西,反正,就是李宏毅在线性模型的的w' = w - η*(dL/dw)这个东西, 

 至于为什么需要清楚梯度,不是很理解。。。

 (4)

 每一个epoch最后,都要进行模型的保存,虽然也不是很理解

part6:将模型保存到文件中

part7:模型测试

(1)定义一个加载需要test的那一条数据的函数 load_one_example(data_dir),data_dir就是文件的路径,实现功能就是从data的所有数据中选出倒数第10条,13个变量给到data变量,真实结果作为label给到label变量,它们都是“归一化”之后的结果,可以直接用

 (2)

首先,是获取保存在文件中的模型,并且启动eval模式

然后,加载需要测试的test_data,并且传递给model模型,并得到预测的结果results

最后,输出results(“反归一化之后”) 和 真实label 

part8:通过参数的调整,得到不同的结果:

1.学习率的调整;

(1)学习率0.05

 (2)学习率0.01

(3)学习率0.10

 2.还可以调整batch大小,训练集的比例等等,自己去尝试一下吧! 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/935007.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

这可能是你看过最详细的 [八大排序算法]

排序算法 前置知识 [排序稳定性]一、直接插入排序二、希尔排序三、直接选择排序四、堆排序五、冒泡排序六、快速排序七、归并排序八、计数排序(非比较排序)排序复杂度和稳定性总结 前置知识 [排序稳定性] 假定在待排序的记录序列中,存在多个…

Docker 将容器打包成镜像推送镜像到仓库

Docker 将容器打包成镜像&推送镜像到仓库 一、将容器打包成镜像 $ docker commit <容器ID> <镜像名称:标签>示例&#xff1a; $ sudo docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS …

FreeSWITCH 1.10.10 简单图形化界面5 - 使用百度TTS

FreeSWITCH 1.10.10 简单图形化界面5 - 使用百度TTS 0、 界面预览1、注册百度AI开放平台&#xff0c;开通语音识别服务2、获取AppID/API Key/Secret Key3、 安装百度语音合成sdk4、合成代码5、在PBX中使用百度TTS6、音乐文件-TTS7、拨号规则-tts_command 0、 界面预览 http://…

JVM第一篇 认识java虚拟机

目录 1. 什么是java虚拟机 2. java虚拟机分类 2.1. 商用虚拟机 2.2. 嵌入式虚拟机 3.java虚拟机架构 4.java虚拟机运行过程 1. 什么是java虚拟机 传统意义上的虚拟机是一种抽象化的计算机&#xff0c;通过在实际的计算机上仿真模拟各种计算机功能来实现的&#xff0c;是操…

Python在电路课程中的应用

1 需求 课程中有大量的计算&#xff0c;电路方程、复数计算&#xff0c;之前都是用的MATLAB online&#xff0c;可现在要过期了&#xff0c;只能更换平台。 2 工具 https://www.online-python.com/ Python3 在线工具 | 菜鸟工具 (runoob.com) 3 Sinusoid 章节 涉及到复数计…

AI绘图(11)stable diffusion 如何写好prompt四

在最开始我写了三篇关于prompt的&#xff0c;具体的大家可以跳转来去看&#xff0c;以下给出来链接&#xff1a; AI绘图&#xff08;3&#xff09;stable diffusion如何写好prompt 一_牧子川的博客-CSDN博客 AI绘图&#xff08;4&#xff09;stable diffusion如何写好prompt …

无涯教程-聚类算法 - Mean-Shift

如前所述&#xff0c;它是在无监督学习中使用的另一种强大的聚类算法&#xff0c;与K均值聚类不同&#xff0c;它不做任何假设&#xff0c;因此&#xff0c;它是一种非参数算法。 均值平移算法基本上是通过将数据点移向最高密度的数据点(即群集质心)来迭代地将数据点分配给群集…

Modbus协议详解1:Modbus的简介

Modbus协议是应用非常广泛的一种通信协议规约&#xff0c;也是最早应用在工业现场的协议。 早在1979年出现工业串行链路以来&#xff0c;Modbus的应用就开始普遍起来&#xff0c;它使得各种自动化设备之间的互相通信得到实现&#xff0c;做嵌入式产品开发的朋友应该不会陌生&am…

RT1050的ADC

文章目录 1 ADC介绍2 ADC框图2.1 外部输入通道2.2 输入电压范围2.3 触发源2.4 时钟源2.5 偏移矫正功能2.5.1 校准 1 ADC介绍 RT1052 有 2 个 ADC&#xff0c;每个 ADC 有 12 位、10 位、8 位可选&#xff0c;每个 ADC 有 16 个外部通道。 ADC具有最高 1MS/s 采样率支持单次或…

ubuntu安装goland

下载并解压goland sudo tar -C /opt/ -xzvf goland-2023.1.3.tar.gz配置应用图标 新建文件&#xff1a; vim /usr/share/applications/goland.desktop文件中写入如下内容&#xff1a; [Desktop Entry] TypeApplication NameGoLand Icon/opt/GoLand/bin/goland.png Exec/op…

uni-app 分不清的全局变量this, uni, $u, vm, uni.$u, this.$u

项目引入了uview,并将uview所有模块指给uniapp全局变量uni uni.$u$u 在登录页面&#xff0c;或者APP.vue打印以下变量&#xff1a; this, uni, $u, vm, uni.$u, this.$u

软件测试之可靠性测试

CNAS标识 软件可靠性测试主要目的是通过在有使用代表性的环境中执行软件&#xff0c;以证实软件需求是否正确实现&#xff0c;为进行软件可靠性估计采集准确的数据&#xff0c;并找出所有对软件可靠性影响较大的错误。可靠性测试的特点是不同于硬件可靠性测试&#xff0c;主要…

TCP协议的重点知识点

TCP协议的重点知识点 TCP(传输控制协议)是一种面向连接、可靠的数据传输协议,工作在传输层,提供可靠的字节流服务。它是互联网协议栈中最重要、最复杂的协议之一,也是面试中常被问到的知识点。本文将详细介绍TCP协议的各个重要概念。 TCP基本特性 TCP主要具有以下基本特性: …

香橙派OrangePi zero H2+ 驱动移远EC200A

1 系统内核&#xff1a; Linux orangepizero 5.4.65-sunxi #2.2.2 SMP Tue Aug 15 17:45:28 CST 2023 armv7l armv7l armv7l GNU/Linux 1.1 下载内核头安装 下载&#xff1a;orangepi800 内核头rk3399链接https://download.csdn.net/download/weixin_37613240/87635781 1.1.1…

去除wps段落柄,删除空白页

如图&#xff0c;有一个段落柄在左端&#xff0c;无法删除&#xff0c;只能编辑。 导致本来是8页内容&#xff0c;现在是9页&#xff0c;多了一空白页 后面新建一个空白页&#xff0c;发现默认会自带一个段落柄&#xff0c;所以有可能这个段落柄是不能消除的&#xff0c;那么如…

SSH报错-Terminal shell path: C:\WINDOWS\System32\cmd.exe 此时不应有

最近接盘了实验室的工作&#xff0c;需要重新配置连接自己的VScode的SSH远程连接服务器&#xff0c;结果配置了一个下午都没搞好&#xff0c;决定记录一下&#xff0c;希望大家避免踩坑。在vscode上遇到的是这个报错&#xff1a; 错误日志 [11:40:12.097] Checking ssh with …

自考《00538 中国古代文学史(一)》2023年4月历年真题答案

自考科目列表,自考本科,题库,自学考试,历年真题 1.“弹歌、断竹、续竹、飞土、逐尖”属于() A.寓言 B.神话 C.传说故事 D.原始歌谣 2.出自《山海经》的神话是() A.女娲补天 B.盘古开天地 C.后羿射日 D.鲧禹治水 3.汉代伏生所传今文《尚书》共计() A.25篇 B.29篇 C.33篇 D.58篇 …

Go的基础运行方式和打包

目录 基础运行方式导入路径 打包技巧相关知识点 基础运行方式 // 文件名可以不是main&#xff0c;但包名和入口函数比如是main // main.go package main // 导入包的时候可以直接导入&#xff0c;也可以导入后指定包名&#xff0c; import ("fmt"godemo "githu…

最新外卖霸王餐小程序、H5、微信公众号版外卖系统源码|霸王餐美团/饿了么系统/外卖红包cps粉丝裂变玩法源码下载

最新外卖霸王餐小程序、H5、微信公众号版外卖系统源码、霸王餐美团、饿了么系统&#xff0c;粉丝裂变玩源码下载&#xff0c;外卖cps小程序项目&#xff0c;外卖红包cps带好友返利佣金分销系统程序、饿了么美团联盟源码&#xff0c;外卖cps带分销返利后端源码&#xff0c;基于L…

【Linux操作系统】线程的基本知识和创建--循环创建多个子线程

本篇文章主要介绍了线程的概念和作用&#xff0c;线程三级映射的实现&#xff0c;创建线程的方法&#xff08;讲解pthread_self和pthread_create函数&#xff09;&#xff0c;循环创建多个子线程为例子&#xff0c;同时分析线程之间的全局变量的共享问题&#xff0c;希望可以帮…