吴恩达老师《机器学习》课后习题1之线性回归

news2024/11/28 3:41:36

在学习这些内容之前，需要学习python数据分析相关内容：
numpy：科学计算库，处理多维数组，进行数据分析
pandas：基于numpy的一种工具，该工具是为了解决数据分析任务而创建的
matplotlib：python的2D绘图库
matplotlib.plot：提供一个类似matlab的绘图框架
见上一篇：python数据分析学习笔记之matplotlib、numpy、pandas，鄙人较菜，望多多指教，共同进步
以下代码有的加注释，主要是学习过程中为了查看数据，需要的可以去掉注释，怎样都行，自己DIY

1.单变量线性回归

案例：假设你是一家餐厅的CEO，正在考虑开一家分店，根据该城市的人口数据预测其利润。拥有不同城市对应的人口数据以及利润：exercise1.py和ex1data1.txt

梯度下降实现线性回归，以最小化成本函数。
创建一个以参数θ为特征函数的代价函数
在这里插入图片描述
在这里插入图片描述
以下代码为了清晰，分步骤展示的，对应名称exercise1.py为完整顺序代码，数据为ex1data1.txt

导入所需库

# 导入需要使用的包
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

代价函数（损失函数） 误差

# 代价函数（损失函数） 误差
def computerCost(X, y, theta):
    # inner 每个元素都作了平方的列矩阵
    inner = np.power(((X * theta.T) - y), 2)
    return np.sum(inner) / (2 * len(X))

批量梯度下降函数

'''
X:输入
y:输出
alpha:学习率
iters:迭代次数
'''
def gradientDescent(X, y, theta, alpha, iters):
    # 构建等值矩阵 大小和theta一样(1,2) 存放参数theta[0],theta[1]
    temp = np.matrix(np.zeros(theta.shape))
    # 参数的个数 此处为2
    # ravel()计算需要求解的参数个数，功能将多维数组降至一维
    parameters = int(theta.ravel().shape[1])
    # 矩阵 保存每一次迭代后的cost
    cost = np.zeros(iters)
    for i in range(iters):  # 迭代次数
        error = (X * theta.T) - y
        for j in range(parameters):
            # multiply 逐点相乘 每个元素对应乘起来
            term = np.multiply(error, X[:, j])
            temp[0, j] = theta[0, j] - ((alpha / len(X)) * np.sum(term))
        theta = temp  # 更新的参数放到theta
        cost[i] = computerCost(X, y, theta)
    return theta, cost

读取数据并展示

# data.txt与本文件放在同一个文件夹下
data = pd.read_csv("ex1data1.txt", header=None, names=['Population', 'Profit'])
# 数据可视化，绘制散点图kind，取值为line或scatter figsize设置大小
data.plot(kind='scatter', x='Population', y='Profit', figsize=(12, 8))
# plt.show()#展示时去掉注释

原始数据所展示的散点图
在这里插入图片描述

在训练集中添加一列

# 在训练集中添加一列，以便可以使用向量化的解决方案计算代价和梯度
# 在训练集的左侧插入一列全为1的列
# 以便计算即x0=1 loc为0，name为ones，value为1
data.insert(0, 'ones', 1)
print(data)#查看数据

输出结果：
在这里插入图片描述

分割行与列，得到需要的矩阵

# shape[1]代表列
cols = data.shape[1]
# print(cols)#3
# iloc是左闭右开
X = data.iloc[:, 0:cols - 1]  # X是所有行，去掉最后一列
y = data.iloc[:, cols - 1:cols]  # y是所有行，只要最后一列
# print(X) #查看X
# print(y)#查看y
# plt.show()
# 代价函数是numpy矩阵，需要转换X和y为矩阵，然后才能使用它们。
# 还需要初始化theta，即把theta的所有元素都设置为0
X = np.matrix(X.values)
y = np.matrix(y.values)
# theta是一个(1,2)矩阵 theta初始值为0
theta = np.matrix(np.array([0, 0]))
# 分别查看X、y，theta的维度
# print(X.shape,y.shape,theta.shape)#(97, 2) (97, 1) (1, 2)
# 计算代价函数 theta初始值为0
costs = computerCost(X, y, theta)
print('计算代价函数 theta初始值为0：', costs)

计算代价函数 theta初始值为0： 32.072733877455676

初始化一些变量

# 初始化一些附加变量，学习率和要执行的迭代次数
alpha = 0.01#学习率
iters = 1000#迭代次数

运用梯度下降函数将参数theta应用于训练集

g, cost = gradientDescent(X, y, theta, alpha, iters)
print(g)

使用拟合的参数计算训练模型的代价函数（误差）

costs = computerCost(X, y, g)
print('使用拟合的参数计算训练模型的代价函数（误差）:', costs)

绘图之拟合函数

# 绘制线性模型以及数据，直观看出它的拟合，fig代表整个图像，ax代表实例
x = np.linspace(data.Population.min(), data.Population.max(), 100)  # 抽100个样本
f = g[0, 0] + (g[0, 1] * x)  # g[0,0]代表theta0,g[0,1]代表theta1

fig, ax = plt.subplots(figsize=(12, 8))
# 绘制折线图
ax.plot(x, f, 'r', label="Prediction")
# 绘制散点图
ax.scatter(data.Population, data.Profit, label='Training data')
ax.legend(loc=4)#显示标签位置
ax.set_xlabel('Population')
ax.set_ylabel('Profit')
ax.set_title('Predicted Profit vs. Population Size')
plt.show()

结果展示：
在这里插入图片描述

绘图之梯度下降图展示

#由于梯度方程式函数在每个训练迭代中输出一个代价的向量，也可以绘制
fig, ax1 = plt.subplots(figsize=(12, 8))
ax1.plot(np.arange(iters),cost,'r')
ax1.set_xlabel('Iterations')
ax1.set_ylabel('Cost')
ax1.set_title('Error  vs. Training Epoch')
plt.show()

在这里插入图片描述

多变量线性回归

案例：假设你现在打算卖房子，想知道房子多少钱
我们拥有房子面积和卧室数量以及房子价格之间的对应数据：exercise1_plus.py和ex1data2.txt

导入所需库

# 导入需要使用的包
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

代价函数（损失函数） 误差

# 代价函数（损失函数） 误差
def computerCost(X, y, theta):
    # inner 每个元素都作了平方的列矩阵
    inner = np.power(((X * theta.T) - y), 2)
    return np.sum(inner) / (2 * len(X))

批量梯度下降函数

'''
X:输入
y:输出
alpha:学习率
iters:迭代次数
'''
def gradientDescent(X, y, theta, alpha, iters):
    # 构建等值矩阵 大小和theta一样(1,2) 存放参数theta[0],theta[1]
    temp = np.matrix(np.zeros(theta.shape))
    # 参数的个数 此处为2
    # ravel()计算需要求解的参数个数，功能将多维数组降至一维
    parameters = int(theta.ravel().shape[1])
    # 矩阵 保存每一次迭代后的cost
    cost = np.zeros(iters)
    for i in range(iters):  # 迭代次数
        error = (X * theta.T) - y
        for j in range(parameters):
            # multiply 逐点相乘 每个元素对应乘起来
            term = np.multiply(error, X[:, j])
            temp[0, j] = theta[0, j] - ((alpha / len(X)) * np.sum(term))
        theta = temp  # 更新的参数放到theta
        cost[i] = computerCost(X, y, theta)
    return theta, cost

读取数据并展示

#读取数据
data2 = pd.read_csv('ex1data2.txt', header=None, names=['Size', 'Bedrooms', 'Price'])
# print(data2)#查看数据

数据预处理：特征归一化

消除特征值之间的量纲影响，个特征值处于同一数量级
提升模型的收敛速度与精度

'''
预处理步骤：特征归一化 
对于此任务，添加一个预处理步骤，特征归一化
若房子价格不归一化，它的数量级和输入值归一化数量级差别太大
几十万的数量级和个位小数做回归
就不能保证收敛了预测的y和实际y几十万差的太多了
'''
# 每个数据 = (每个数据 - 均值)➗方差
data2 = (data2 - data2.mean()) / data2.std()

在训练集中添加一列

# 添加全为1的一列
data2.insert(0, 'ones', 1)

分割行与列，得到需要的矩阵

# shape[1]代表列
cols = data2.shape[1]
X2 = data2.iloc[:, 0:cols - 1]  # X2是所有行，去掉最后一列，即保留前三列
y2 = data2.iloc[:, cols - 1:cols]  # y2是所有行，只要最后一列 列矩阵
# 代价函数是numpy矩阵，需要转换X2和y2为矩阵，然后才能使用它们。
X2 = np.matrix(X2.values)
y2 = np.matrix(y2.values)
#  还需要初始化theta，即把theta的所有元素都设置为0
theta2 = np.matrix(np.array([0, 0, 0]))

初始化一些变量

#不同alpha(学习率)下的效果
alphas = [0.0003,0.003,0.03,0.0001,0.001,0.01]
# 要执行的迭代次数
iters = 2000

绘图

# 开始绘图
fig, ax = plt.subplots()
for alpha in alphas:
    _, cost2 = gradientDescent(X2, y2, theta2, alpha, iters)
    ax.plot(np.arange(iters), cost2, label=alpha)
    ax.legend()
    ax.set(xlabel='iters', ylabel='cost', title='cost vs iters')
# 由于梯度方程式函数在每个训练迭代中输出一个代价的向量，也可以绘制
fig, ax1 = plt.subplots(figsize=(12, 8))
ax1.plot(np.arange(iters), cost2, 'r')
ax1.set_xlabel('Iterations')
ax1.set_ylabel('Cost')
ax1.set_title('Error  vs. Training Epoch')
plt.show()

迭代过程中代价的变化
在这里插入图片描述
不同alpha(学习率)下的效果

在这里插入图片描述

正规方程

对应于Zhenggui.py
在这里插入图片描述
若不可逆了，一般要考虑以下两者情况

  • 移除冗余特征。一些特征存在线性依赖
  • 特征太多，要删除一些特征。比如（m<n），对于小样本数据使用正则化

numpy.linalg模块包含线性代数的函数。使用这个模块，可以计算逆矩阵、求特征值、解方程组及求解行列式等
inv函数计算逆矩阵

这里是引用

# 导入需要使用的包
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd

# data.txt与本文件放在同一个文件夹下
data = pd.read_csv("ex1data1.txt", header=None, names=['Population', 'Profit'])
# 数据可视化，绘制散点图kind，取值为line或scatter figsize设置大小
data.plot(kind='scatter', x='Population', y='Profit', figsize=(12, 8))
# plt.show()

# 在训练集中添加一列，以便可以使用向量化的解决方案计算代价和梯度
# 在训练集的左侧插入一列全为1的列
# 以便计算即x0=1 loc为0，name为ones，value为1
data.insert(0, 'ones', 1)
# print(data)#查看数据
# shape[1]代表列
cols = data.shape[1]
# print(cols)#3
# iloc是左闭右开
X = data.iloc[:, 0:cols - 1]  # X是所有行，去掉最后一列
y = data.iloc[:, cols - 1:cols]  # y是所有行，只要最后一列
# print(X) #查看X
# print(y)#查看y
# plt.show()
# 代价函数是numpy矩阵，需要转换X和y为矩阵，然后才能使用它们。
# 还需要初始化theta，即把theta的所有元素都设置为0
X = np.matrix(X.values)
y = np.matrix(y.values)


# 正规方程
def normalEquation(X, y):
    theta = np.linalg.inv(X.T @ X) @ X.T @ y
    return theta


theta = normalEquation(X, y)
print(theta)

绘图

# 绘制线性模型以及数据，直观看出它的拟合，fig代表整个图像，ax代表实例
x = np.linspace(data.Population.min(), data.Population.max(), 100)  # 抽100个样本
f = theta[0, 0] + (theta[1, 0] * x)  # theta[0,0]代表theta0,theta[0,1]代表theta1
# print(x)
# print(theta[0, 0])
# print(f)
# print(x.shape)
# print(f.shape)

fig, ax = plt.subplots(figsize=(12, 8))
# 绘制折线图
ax.plot(x, f, 'r', label="Prediction")
# 绘制散点图
ax.scatter(data.Population, data.Profit, label='Training data')
ax.legend(loc=4)#显示标签位置
ax.set_xlabel('Population')
ax.set_ylabel('Profit')
ax.set_title('Predicted Profit vs. Population Size')
plt.show()

感谢B站上的up主

https://www.bilibili.com/video/BV1Xt411s7KY?p=1&vd_source=b3d1b016bccb61f5e11858b0407cc54e

https://www.bilibili.com/video/BV124411A75S/?spm_id_from=333.1007.top_right_bar_window_history.content.click&vd_source=b3d1b016bccb61f5e11858b0407cc54e

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/620571.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Atcoder Beginner Contest 297

Atcoder Beginner Contest 297

A - Double Click AC代码&#xff1a; #include<iostream> #include<algorithm> #include<cstring> using namespace std; const int N110; int t[N]; int main() {int n,d;cin>>n>>d;for(int i1;i<n;i) cin>>t[i];bool flagfalse;i…
阅读更多...
数据结构05：树的定义与双亲表示法[持续更新中]

数据结构05：树的定义与双亲表示法[持续更新中]

参考用书&#xff1a;王道考研《2024年 数据结构考研复习指导》 参考用书配套视频&#xff1a;5.1.1 树的定义和基本术语_哔哩哔哩_bilibili 特别感谢&#xff1a; Chat GPT老师[部分名词解释、修改BUG]、BING老师[封面图]~ 备注&#xff1a;博文目前是未完成的状态&#xff…
阅读更多...
【数据结构】哈希表（Map和Set）

【数据结构】哈希表（Map和Set）

文章目录 Map和Set模型MapTreeMap和HashMap对比Entry<K,V>常用方法 SetTreeSet和HashSet对比常用方法 OJ练习只出现一次数字复制带随机指针的链表宝石与石头坏键盘打字前K个高频单词 哈希表哈希表所用数据结构解决哈希冲突闭散列开散列 避免哈希冲突哈希函数设计负载因子…
阅读更多...
springboot bean的生命周期

springboot bean的生命周期

Spring Boot是一个非常流行的Java框架&#xff0c;它提供了许多功能&#xff0c;使开发人员可以快速构建和部署应用程序。其中一个非常重要的功能是Spring Boot Bean的生命周期。在本文中&#xff0c;我们将深入探讨Spring Boot Bean的生命周期&#xff0c;以及如何最大化利用它…
阅读更多...
光伏发电系统最大功率跟踪控制MATLAB仿真模型（电导增量法+扰动观察法）

光伏发电系统最大功率跟踪控制MATLAB仿真模型（电导增量法+扰动观察法）

光伏发电系统最大功率跟踪控制MATLAB仿真模型&#xff08;电导增量法扰动观察法参考文献&#xff09;资源-CSDN文库https://download.csdn.net/download/weixin_56691527/87878528 模型介绍&#xff1a; 模型主要包含光伏电池模块、直流升压模块、以及最大功率跟踪控制模块。…
阅读更多...
深度学习--神经网络全面知识点总结（持续更新中）

深度学习--神经网络全面知识点总结（持续更新中）

文章目录 神经网络基础1.1 什么是神经网络&#xff1f;1.2 神经元和激活函数1.3 前向传播和反向传播1.4 损失函数和优化算法 深度神经网络2.1 卷积神经网络&#xff08;CNN&#xff09;2.2 循环神经网络&#xff08;RNN&#xff09;2.3 长短期记忆网络&#xff08;LSTM&#xf…
阅读更多...
C#可视化 商品信息管理系统（具体做法及全部代码）

C#可视化 商品信息管理系统（具体做法及全部代码）

目录 题目&#xff1a; 效果图&#xff1a; 数据库&#xff1a; 做法&#xff1a; 主页面添加menustrip&#xff0c;之后添加两个窗体双击事件&#xff0c;双击下拉区域就好了。 添加界面 查询按钮功能 datagirdview设置 全部代码&#xff1a; DBHelper类 From1主窗体代…
阅读更多...
【并发篇】01 java中的线程状态

【并发篇】01 java中的线程状态

Java线程分为6种状态&#xff1a; &#xff08;1&#xff09;新建NEW&#xff1a;用new关键字创建的线程就是新建状态&#xff0c;这时候还没有和系统底层真正的线程关联起来&#xff0c;还仅仅只是一个java对象&#xff0c;所以这个时候这个线程不会被系统分配给cpu。 &#…
阅读更多...
【云原生】docker

【云原生】docker

容器化越来越受欢迎&#xff0c;因为容器是&#xff1a; ●灵活&#xff1a;即使是最复杂的应用也可以集装箱化。 ●轻量级&#xff1a;容器利用并共享主机内核。 ●可互换&#xff1a;可以即时部署更新和升级。 ●便携式&#xff1a;可以在本地构建&#xff0c;部署到云&#…
阅读更多...
shel脚本基础1——变量基础、脚本运算符

shel脚本基础1——变量基础、脚本运算符

文章目录 一、变量基础二、bash变量类型三、脚本基础知识3.1 脚本测试命令3.2 shell运算符3.3 命令逻辑关系3.4 bash条件判断3.4.1 条件测试的表达式3.4.2 整数测试3.4.2 字符测试3.4.3 文件测试3.4.4 组合测试条件 一、变量基础 变量的含义&#xff1a; 变量可以通过变量名访问…
阅读更多...
5.数据结构期末复习之图以及相关算法

5.数据结构期末复习之图以及相关算法

1.应用: 教学计划(先修什么才能修什么课程)社交网络地图导航 2.什么是图? 顶点(有穷非空个)顶点的边 ,抽象为G(V,E) (Vert,Edge) 1.无向图: 点到点都可以到达 表示为(vi,vj) 2.有向图 只能一个点到另外一个点 表示为<vi,vj> 又分为: 1.非带权图(上面的例子就是) 2.带权图…
阅读更多...
Day29

Day29

TCP_SER #include <myhead.h>//定义处理错误的宏函数 #define ERR_MSG(msg) do{\fprintf(stderr,"line:%d %s %s",__LINE__, __FILE__, __func__);\perror(msg);\ }while(0)//定义IP和端口号 #define IP "192.168.2.186" #define PORT 6666int …
阅读更多...
数组的定义方式及访问

数组的定义方式及访问

问题 如何创建及访问数组。 方法 了解数组的概念 数组就是存储多个数据的容器&#xff0c;数组的长度固定&#xff0c;多个数据的数据类型要一致。 数组的三种定义方式 数据存储的数据类型[] 数组名字 new 数组存储的数据类型[长度] 数据类型[] 数组名 new 数据类型[]{元素…
阅读更多...
测试人35岁何去何从？软件测试路在何方？“我“一路升级打怪...

测试人35岁何去何从？软件测试路在何方？“我“一路升级打怪...

目录&#xff1a;导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结&#xff08;尾部小惊喜&#xff09; 前言 测试员干到35岁&a…
阅读更多...
暑期健身房招生活动文案分享，在线传单设计

暑期健身房招生活动文案分享，在线传单设计

想要有效地宣传健身房的信息&#xff0c;还能够吸引学员了解报名的宣传单要怎么制作&#xff1f;不用自己动手设计&#xff0c;借助在线模板和在线设计工具&#xff0c;一键就能生成专属的招生传单。以下是在线招生传单设计教程和传单设计模板使用教程。 首先找到一个在线设计工…
阅读更多...
Juypter更改默认路径，并且解决改完默认路径不自动跳转的问题

Juypter更改默认路径，并且解决改完默认路径不自动跳转的问题

目录 更改默认路径 第一步先在你所安装的juypter的环境下输入下面代码 第二步在自己的文件夹下找到这个目录&#xff0c;用记事本打开 第三步更改快捷方式 解决浏览器不调转方法 相对于juypter来讲&#xff0c;还是挺好用的&#xff0c;自我感觉比pycharm更好一点。 juypt…
阅读更多...
ES6中 Promise和使用场景

ES6中 Promise和使用场景

介绍 &#x1f959;&#x1f959;&#x1f959;更加合理和更加强大 Promise&#xff0c;译为承诺&#xff0c;是异步编程的一种解决方案&#xff0c;比传统的解决方案&#xff08;回调函数&#xff09;更加合理和更加强大 在以往我们如果处理多层异步操作&#xff0c;我们往往…
阅读更多...
群晖服务器被encrypted勒索病毒攻击后的表现与如何解密勒索病毒

群晖服务器被encrypted勒索病毒攻击后的表现与如何解密勒索病毒

群晖服务器是一种高效的数据管理方案&#xff0c;但是如果被Encrypted勒索病毒感染&#xff0c;可能会导致许多重要的数据会丢失。Encrypted勒索病毒将加密被感染服务器上的文件&#xff0c;导致它们无法打开。一旦我们遭到encrypted勒索病毒攻击&#xff0c;建议大家选择专业的…
阅读更多...
【Web开发技术】异常处理机制的使用

【Web开发技术】异常处理机制的使用

文章目录 一、引言1、应用场景2、语法3、体系 二、详细设计&#xff08;后端开发&#xff09;1、信息提示常量类2、自定义异常3、Model层4、Controller层5、View层 一、引言 编程也有很久的时间了&#xff0c;如果每个报的错误和寻找的答案写成一张纸&#xff0c;叠加起来也得有…
阅读更多...
JAVA项目代码几乎没有改动，重新发布后突然报错，无法启动

JAVA项目代码几乎没有改动，重新发布后突然报错，无法启动

项目场景&#xff1a; 提示&#xff1a;这里简述项目相关背景&#xff1a; JAVA项目代码几乎没有改动&#xff0c;重新发布后突然报错&#xff0c;无法启动 问题描述 提示&#xff1a;这里描述项目中遇到的问题&#xff1a; JAVA项目代码几乎没有改动&#xff0c;重新发布后…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023