Spark-机器学习（3）回归学习之线性回归

news2024/11/15 21:01:02

在之前的文章中，我们了解我们的机器学习，了解我们spark机器学习中的特征提取和我们的tf-idf，word2vec算法。想了解的朋友可以查看这篇文章。同时，希望我的文章能帮助到你，如果觉得我的文章写的不错，请留下你宝贵的点赞，谢谢。

Spark-机器学习（2）特征工程之特征提取-CSDN博客文章浏览阅读2k次，点赞54次，收藏36次。今天的文章，我会带着大家一起了解我们的特征提取和我们的tf-idf，word2vec算法。希望大家能有所收获。同时，本篇文章为个人spark免费专栏的系列文章，有兴趣的可以收藏关注一下，谢谢。同时，希望我的文章能帮助到每一个正在学习的你们。也欢迎大家来我的文章下交流讨论，共同进步。https://blog.csdn.net/qq_49513817/article/details/137844271今天的文章，我们来学习我们回归中的线性回归，希望大家能有所收获。 

目录

一、线性回归

        什么是线性回归？ 

        spark线性回归

二、示例代码

拓展-线性回归算法介绍及用法

1.算法

2.用法

一、线性回归

什么是线性回归？ 

线性回归

线性回归研究是一种统计学上分析的方法，旨在确定两种或两种以上变量间相互依赖的定量关系。这种关系通常用一个线性方程来表示，其中一个或多个自变量（也称为解释变量或特征）与因变量（也称为响应变量或目标）之间的关系被假定为线性。

在线性回归模型中，因变量被假设为自变量通过一个线性组合加上一个常数项（截距）以及一个误差项（随机扰动）来影响。这个线性组合中的系数，也被称为回归系数，反映了各自变量对因变量的影响程度和方向。

线性回归研究通常包括以下步骤：

  1. 数据收集：收集包含自变量和因变量的数据集。

  2. 模型建立：根据收集的数据，建立线性回归模型。

  3. 参数估计：使用最小二乘法等方法来估计模型中的参数（回归系数和截距）。最小二乘法通过最小化预测值与实际值之间的平方误差和来找到最佳拟合的回归系数。

  4. 模型检验：对模型的拟合效果进行检验，包括检验回归系数的显著性（如t检验）以及模型整体的拟合优度（如R²值）。

  5. 预测与解释：利用拟合好的模型进行预测，并解释各自变量对因变量的影响。

线性回归研究在多个领域都有广泛应用，如经济预测、市场营销、医学、社会科学等。它提供了一种量化变量间关系的方法，并能通过统计检验来评估这种关系的可靠性。然而，线性回归的前提假设（如线性关系、误差项的独立性等）需要在实际应用中进行检验，以确保模型的适用性。如果数据不满足这些假设，可能需要使用其他类型的回归模型，如多项式回归、逻辑回归等。

spark线性回归

Spark线性回归是Apache Spark框架中实现线性回归分析的一种功能。线性回归是利用线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。在Spark中，线性回归模型可以通过最小二乘法等优化算法来估计模型的参数，从而建立自变量和因变量之间的线性关系。

Spark支持多种线性回归方法，包括普通线性回归（LinearRegression）、加L1正则化的线性回归（LassoRegression）以及加L2正则化的线性回归（RidgeRegression）。这些方法提供了灵活性和鲁棒性，以适应不同的数据和分析需求。

通过Spark线性回归，用户可以处理大规模数据集，并利用分布式计算能力来加速模型的训练和预测过程。这使得线性回归在大数据场景下更加高效和实用。

Spark线性回归是一种利用Apache Spark框架进行线性回归分析的方法，旨在从大规模数据集中发现变量之间的线性关系，并为预测和决策提供支持。

二、示例代码

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.ml.regression.LinearRegression
import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.ml.evaluation.RegressionEvaluator
import org.apache.spark.sql.SparkSession
object p4 {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setMaster("local").setAppName("ppp")
    val sc = new SparkContext(conf)
    val spark = SparkSession.builder().appName("SimpleLinearRegression").getOrCreate()
    import spark.implicits._

    // 假设这里有一些数据，例如：(1.0, 2.0, 3.0), (2.0, 3.0, 5.0), ...
    // 这里我们使用一些随机数据作为示例
    val data = sc.parallelize(Seq(
      (1.0, 2.0, 3.0),
      (2.0, 3.0, 5.0),
      (3.0, 4.0, 7.0)
    )).toDF("feature1", "feature2", "label")

    // 使用VectorAssembler将所有特征转换为一个特征向量
    val assembler = new VectorAssembler()
      .setInputCols(Array("feature1", "feature2"))
      .setOutputCol("features")
    val output = assembler.transform(data)

    // 分割数据集为训练集和测试集
    val Array(trainingData, testData) = output.randomSplit(Array(0.7, 0.3))

    // 创建线性回归模型
    val lr = new LinearRegression()
      .setMaxIter(10)
      .setRegParam(0.3)
      .setElasticNetParam(0.8)

    // 在训练集上训练模型
    val lrModel = lr.fit(trainingData)

    // 在测试集上进行预测
    val predictions = lrModel.transform(testData)

    // 选择(预测值, 真实值)并计算测试误差
    val evaluator = new RegressionEvaluator()
      .setLabelCol("label")
      .setPredictionCol("prediction")
      .setMetricName("mse")
    val mse = evaluator.evaluate(predictions)
    println(s"Root-mean-square error = $mse")

  }
}

代码首先创建了一个SparkContext和一个SparkSession对象，然后创建了一个包含三个字段（feature1, feature2, label）的DataFrame，其中feature1和feature2是特征，label是目标变量。

然后，代码使用VectorAssembler将feature1和feature2合并成一个特征向量，接着将数据集分割为训练集和测试集。

接下来，代码创建了一个线性回归模型，设置了最大迭代次数、正则化参数和弹性网络混合参数，然后在训练集上训练了这个模型。 

最后，代码在测试集上进行了预测，并使用RegressionEvaluator计算了均方误差（MSE）。

运行代码

 我们成功得到了我们的均方根误差（Root-mean-square Error，简称RMSE）

RMSE 的值越小，说明模型的预测性能越好，即模型的预测值与实际观测值之间的差异越小。相反，RMSE 的值越大，则模型的预测性能越差。

RMSE 对于大的误差非常敏感，因此它可以有效地揭示模型在预测大误差时的性能。

拓展-线性回归算法介绍及用法

1.算法

  • 最小二乘法（Ordinary Least Squares）

    • 描述：最基础的线性回归方法，通过最小化预测值与实际值之间的平方误差来求解回归系数。
    • 特点：计算速度快，但当数据量大或特征多时可能不太稳定。

  • 梯度下降法（Gradient Descent）

    • 描述：通过迭代的方式逐步调整回归系数，以最小化损失函数。
    • 变种：
      • 批量梯度下降（Batch Gradient Descent）：每次迭代使用所有数据点来更新系数。
      • 随机梯度下降（Stochastic Gradient Descent）：每次迭代只使用一个数据点来更新系数，速度更快，适用于大数据集。
    • 特点：灵活，可以通过调整学习率和迭代次数来控制收敛速度和精度。

  • 正则化方法

    • 描述：为了防止过拟合，可以在损失函数中加入正则化项。
    • 类型：
      • Lasso回归（L1正则化）：使用L1范数作为正则化项，有助于产生稀疏模型。
      • Ridge回归（L2正则化）：使用L2范数作为正则化项，有助于稳定模型。
      • ElasticNet回归：结合L1和L2正则化，提供了更多的灵活性。

2.用法

方法/算法关键字描述使用场景示例代码关键字/片段
最小二乘法 (Ordinary Least Squares)通过最小化预测值与实际值之间的平方误差来求解回归系数。基础线性回归场景，当数据量和特征数量适中时。LinearRegression().fit(training)
批量梯度下降 (Batch Gradient Descent)使用所有数据点来计算梯度并更新回归系数，每次迭代都会遍历整个数据集。数据集较小，或需要精确求解的场景。LinearRegression().setMaxIter(10).setRegParam(0.3).fit(training)
随机梯度下降 (Stochastic Gradient Descent)每次迭代只使用一个数据点来计算梯度并更新系数，适用于大数据集。大规模数据集，需要快速迭代更新的场景。LinearRegression().setSolver("sgd").setMaxIter(100).fit(training)
Lasso回归 (L1正则化)在损失函数中加入L1正则化项，有助于产生稀疏模型，适用于特征选择。需要进行特征选择，或希望模型具有稀疏性的场景。LinearRegression().setElasticNetParam(1.0).fit(training)
Ridge回归 (L2正则化)在损失函数中加入L2正则化项，有助于稳定模型，防止过拟合。数据集存在噪声或特征间存在相关性，需要稳定模型的场景。LinearRegression().setRegParam(0.3).fit(training)
ElasticNet回归结合L1和L2正则化，提供了更多的灵活性，可以根据数据和需求调整正则化强度。需要平衡特征选择和模型稳定性的场景。LinearRegression().setElasticNetParam(0.8).fit(training)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1611345.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

安居水站：水站经营秘籍：年入30万不是梦。水站创业指南。

安居水站：水站经营秘籍：年入30万不是梦。水站创业指南。

在这个快节奏的社会里，初创企业家们总是在寻找一条明路，以在竞争激烈的市场中立足。为了帮助他们更好地实现这一目标，我根据经验决定制定一份水站经营指导手册。这份手册将详细阐述如何从零起步，如何运营，如何进行市场…
阅读更多...
开源博客项目Blog .NET Core源码学习（16：App.Hosting项目结构分析-4）

开源博客项目Blog .NET Core源码学习（16：App.Hosting项目结构分析-4）

本文学习并分析App.Hosting项目中前台页面的文章专栏页面和文章详情页面。< 文章专栏页面 文章专栏页面总体上为左右布局&#xff0c;左侧显示文章列表&#xff0c;右侧从上向下为关键词搜索、分类导航、热门文章等内容。整个页面使用了layui中的面包屑导航、表单、模版、流…
阅读更多...
【C++初阶】List使用特性及其模拟实现

【C++初阶】List使用特性及其模拟实现

1. list的介绍及使用 1.1 list的介绍 1. list是可以在常数范围内在任意位置进行插入和删除的序列式容器&#xff0c;并且该容器可以前后双向迭代。 2. list的底层是双向链表结构&#xff0c;双向链表中每个元素存储在互不相关的独立节点中&#xff0c;在节点中通过指针指向其前…
阅读更多...
利用OpenCV4.9制作自己的线性滤波器！

利用OpenCV4.9制作自己的线性滤波器！

返回:OpenCV系列文章目录&#xff08;持续更新中......&#xff09; 上一篇&#xff1a;OpenCV4.9使用 inRange 的阈值操作 下一篇 :OpenCV系列文章目录&#xff08;持续更新中......&#xff09; 目标 在本教程中&#xff0c;您将学习如何&#xff1a; 使用 OpenCV 函数 f…
阅读更多...
Android JetPack Compose+Room----实现搜索记录功能

Android JetPack Compose+Room----实现搜索记录功能

文章目录 需求概述功能展示实现搜索功能使用的技术1.Android Jetpack room2.Android JetPack Compose 代码实现编写搜索界面接入Room实现搜索功能的管理引入依赖定义包结构定义操作表的Dao类定义数据库的基础配置定义数据库的Dao管理类使用数据库升级 源码地址 需求概述 搜索功…
阅读更多...
java：Java中的抽象类

java：Java中的抽象类

什么是抽象类&#xff1a; 我们知道&#xff0c;类用来模拟现实的事物&#xff0c;一个类模拟一类事物&#xff0c;某个类的一个实例化对象可以模拟某个属于该类的具体事物。类中描绘了该类所有对象的共同的特性&#xff0c;当一个类中给出的信息足够全面时候&#xff0c;我们就…
阅读更多...
算法练习|Leetcode189轮转数组 ，Leetcode56合并区间，Leetcode21合并两个有序链表，Leetcode2两数相加，sql总结

算法练习|Leetcode189轮转数组 ，Leetcode56合并区间，Leetcode21合并两个有序链表，Leetcode2两数相加，sql总结

目录 一、Leetcode189轮转数组题目描述解题思路方法:切片总结 二、Leetcode56合并区间题目描述解题思路方法:总结 三、Leetcode21合并两个有序链表题目描述解题思路方法:总结 四、Leetcode2两数相加题目描述解题思路方法:总结 sql总结: 一、Leetcode189轮转数组 题目描述 给定…
阅读更多...
【GIS教程】ArcGIS做日照分析（附练习数据下载）

【GIS教程】ArcGIS做日照分析（附练习数据下载）

我国对住宅日照标准的规定是:冬至日住宅底层日照不少于1小时或大寒日住宅层日照不少于2小时(通常以当地冬至日正午12时的太阳高度角作为依据)。因冬至日太阳高度角最低&#xff0c;照射范围最小&#xff0c;如果冬至日12&#xff1a;00建筑物底层能够接收到阳光&#xff0c;那么…
阅读更多...
Go语言中通过数据对齐降低内存消耗和提升性能

Go语言中通过数据对齐降低内存消耗和提升性能

数据对齐是一种安排数据分配方式以加速 CPU 访问内存的方法。 不了解这个概念会导致额外的内存消耗甚至性能下降。 要了解数据对齐的工作原理&#xff0c;让我们首先讨论没有它会发生什么。假设我们分配两个变量&#xff0c;一个 int32 类型的 &#xff08;32 B&#xff09; 和…
阅读更多...
OJ：数字三角形（搜索）

OJ：数字三角形（搜索）

&#x1f381;个人主页&#xff1a;我们的五年 &#x1f50d;系列专栏&#xff1a;每日一练 &#x1f337;追光的人&#xff0c;终会万丈光芒 &#x1f337;1.问题描述&#xff1a; ⛳️题目描述&#xff1a; 示出了一个数字三角形。 请编一个程序计算从顶至底的某处的一条路…
阅读更多...
指针的使用以及运算、二级指针、造成野指针的原因以及解决方法、指针和数组相互使用

指针的使用以及运算、二级指针、造成野指针的原因以及解决方法、指针和数组相互使用

第七章&#xff0c;指针的学习 目录 前言 一、指针的概念 二、指针的类型 三、野指针 四、指针的运算 五、指针和数组的关系以及使用 六、指针数组 七、二级指针 总结 前言 这章主要学习的是指针方面的知识&#xff0c;这节只是简单了解一下指针&#xff0c;并不会深…
阅读更多...
使用HTML和CSS和PHP实现一个简单的简历制作项目

使用HTML和CSS和PHP实现一个简单的简历制作项目

实 验 目 的 掌握HTML表单作用&#xff0c;以及action和method属性&#xff1b; 掌握HTML输入域作用、类型、标签&#xff0c;以及name和value属性&#xff1b; 掌握$_REQUEST变量的作用、语法和使用&#xff1b; 掌握注释&#xff0c;以及变量的作用、命名、赋值和输出&#…
阅读更多...
SpringBoot项目错误：找不到主类（解决办法）

SpringBoot项目错误：找不到主类（解决办法）

清理和重新编译项目即可&#xff0c;在项目中点击右键Maven-Reload project&#xff0c;之后再重新运行就行了
阅读更多...
MySQL、Oracle查看最大连接数和当前连接数

MySQL、Oracle查看最大连接数和当前连接数

文章目录 1. MySQL2. Oracle 1. MySQL -- 查看最大连接数 show variables like max_connections; select max_connections; -- select * from performance_schema.session_variables where VARIABLE_NAME in (max_connections); -- select * from performance_schema.global…
阅读更多...
SpringCloud 基础配置

SpringCloud 基础配置

1.SpringCloud配置 目前是2024了,笔者也是开始学习SpringCloud 下面是给大家总结的微服务需要的各种依赖的版本 首先我们说一个重点强调 约定 > 配置 > 编码 千万不要一把梭,上来就是干代码,千万记得配置一定得对 2.微服务工程Base构建 首先我们创建父工程 创建出来直接把…
阅读更多...
嵌入式Linux开发

嵌入式Linux开发

(17 封私信 / 1 条消息) 嵌入式Linux应用 - 搜索结果 - 知乎 (zhihu.com)
阅读更多...
37. UE5 RPG创建自定义的Ability Task

37. UE5 RPG创建自定义的Ability Task

在前面的文章中&#xff0c;我们实现了一个火球术的一些基本功能&#xff0c;火球术技能的释放&#xff0c;在技能释放后&#xff0c;播放释放动画&#xff0c;在动画播放到需要释放火球术的位置时&#xff0c;将触发动画通知&#xff0c;在动画通知中触发标签事件&#xff0c;…
阅读更多...
课时100：正则表达式_基础实践_基础知识

课时100：正则表达式_基础实践_基础知识

3.1.1 基础知识 学习目标 这一节&#xff0c;我们从 基础知识、简单实践、小结 三个方面来学习 基础知识 需求 我们之前的一些操作&#xff0c;很大程度上都是基于特定的关键字来进行实践的&#xff0c;尤其是面对一些灵活的场景&#xff0c;我们因为过于限定一些关键字&am…
阅读更多...
线性代数基础2矩阵

线性代数基础2矩阵

矩阵是什么 矩阵就是二维数组&#xff0c;下面是一个 m 乘 n 的矩阵&#xff0c;它有 m 行&#xff0c;n 列&#xff0c;每行每列上面都有元素&#xff0c;每个元素都有行标i 和列标 j&#xff0c; a ij 。简称m n矩阵&#xff0c;记作&#xff1a; 注意a11的索引是 A[0,0]。…
阅读更多...
多模态视觉语言模型：BLIP和BLIP2

多模态视觉语言模型：BLIP和BLIP2

1. BLIP BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation BLIP的总体结构如下所示&#xff0c;主要包括三部分&#xff1a; 单模态编码器&#xff08;Image encoder/Text encoder&#xff09;&#xff1a;分别进…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023