Spark大数据处理学习笔记(3.2.1)掌握RDD算子

news2024/12/25 13:31:42

该文章主要为完成实训任务,详细实现过程及结果见【http://t.csdn.cn/FArNP】

文章目录

  • 一、准备工作
    • 1.1 准备文件
      • 1. 准备本地系统文件
      • 2. 把文件上传到
    • 1.2 启动Spark Shell
      • 1. 启动HDFS服务
      • 2. 启动Spark服务
      • 3. 启动Spark Shell
  • 二、掌握转换算子
    • 2.1 映射算子 - map()
      • 1. 映射算子功能
      • 2. 映射算子案例
        • 任务1、将rdd1每个元素翻倍得到rdd2
        • 任务2、将rdd1每个元素平方得到rdd2
        • 任务3、利用映射算子打印菱形
    • 2.2 过滤算子 - filter()
      • 1. 过滤算子功能
      • 2. 过滤算子案例
        • 任务1、过滤出列表中的偶数
        • 任务2、过滤出文件中包含spark的行
        • 任务3、利用过滤算子输出[2000, 2500]之间的全部闰年
        • 任务4、利用过滤算子输出[10, 100]之间的全部素数
    • 2.3 扁平映射算子 - flatMap()
      • 1. 扁平映射算子功能
      • 2. 扁平映射算子案例
        • 任务1、统计文件中单词个数
          • 方法一、利用Scala来实现
          • 方法二、利用Spark RDD来实现
    • 2.4 按键归约算子 - reduceByKey()
      • 1. 按键归约算子功能
      • 2. 按键归约算子案例
        • 任务1、在Spark Shell里计算学生总分
        • 任务2、在IDEA里计算学生总分
    • 2.5 合并算子 - union()
      • 1. 合并算子功能
      • 2. 合并算子案例
    • 2.6 排序算子 - sortBy()
      • 1. 排序算子功能
      • 2. 排序算子案例
    • 2.7 按键排序算子 - sortByKey()
      • 1. 按键排序算子功能
      • 2. 按键排序算子案例
    • 2.8 连接算子
      • 1. 内连接算子 - join()
      • 2. 左外连接算子 - leftOuterJoin()
      • 3. 右外连接算子 - rightOuterJoin()
      • 4. 全外连接算子 - fullOuterJoin()
    • 2.9 交集算子 - intersection()
    • 2.10 去重算子 - distinct()
      • 1. 去重算子案例
      • 2. IP地址去重案例
    • (十一)组合分组算子 - cogroup()


一、准备工作

1.1 准备文件

1. 准备本地系统文件

  • \home目录里创建words.txt
    在这里插入图片描述

2. 把文件上传到

  • words.txt上传到HDFS系统的/park目录里
    在这里插入图片描述
  • 查看文件内容
    在这里插入图片描述

1.2 启动Spark Shell

1. 启动HDFS服务

  • 执行命令:start-dfs.sh
    在这里插入图片描述

2. 启动Spark服务

  • 执行命令:start-all.sh
    在这里插入图片描述

3. 启动Spark Shell

  • 执行名命令: spark-shell --master spark://master:7077
    在这里插入图片描述

二、掌握转换算子

2.1 映射算子 - map()

1. 映射算子功能

  • map()是一种转换算子,它接收一个函数作为参数,并把这个函数应用于RDD的每个元素,最后将函数的返回结果作为结果RDD中对应元素的值。

2. 映射算子案例

  • 预备工作:创建一个RDD - rdd1
  • 执行命令:val rdd1 = sc.parallelize(List(1, 2, 3, 4, 5, 6))
    在这里插入图片描述

任务1、将rdd1每个元素翻倍得到rdd2

  • 对rdd1应用map()算子,将rdd1中的每个元素平方并返回一个名为rdd2的新RDD
    在这里插入图片描述
  • 查看结果
    在这里插入图片描述

任务2、将rdd1每个元素平方得到rdd2

  • 方法一、采用普通函数作为参数传给map()算子
    在这里插入图片描述
  • 方法二、采用下划线表达式作为参数传给map()算子
    在这里插入图片描述

任务3、利用映射算子打印菱形

(1)Spark Shell里实现

  • 右半菱形
    在这里插入图片描述

  • 加上前导空格,左半菱形
    在这里插入图片描述

  • 前导空格折半,显示菱形
    在这里插入图片描述
    (2)在IDEA里创建项目实现

  • 创建Maven项目
    在这里插入图片描述

  • java目录改成scala目录
    在这里插入图片描述

  • pom.xml文件里添加相关依赖和设置源程序目录
    在这里插入图片描述

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>cn.kox.rdd</groupId>
    <artifactId>SparkRDDDemo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.12.15</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.1.3</version>
        </dependency>
    </dependencies>
    <build>
        <sourceDirectory>src/main/scala</sourceDirectory>
    </build>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>



</project>
  • 添加日志属性文件
    在这里插入图片描述
log4j.rootLogger=ERROR, stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/rdd.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

  • 创建hdfs-site.xml文件,允许客户端访问集群数据节点
    在这里插入图片描述
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property>
        <description>only config in clients</description>
        <name>dfs.client.use.datanode.hostname</name>
        <value>true</value>
    </property>
</configuration>

  • 创建cn.kox.rdd.day01
    在这里插入图片描述
  • cn.kox.rdd.day01包里创建Example01单例对象
    在这里插入图片描述
package cn.kox.rdd.day01

import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.mutable.ListBuffer
import scala.io.StdIn

/**
 * @ClassName: Example01
 * @Author: Kox
 * @Data: 2023/6/12
 * @Sketch:
 */
object Example01 {
  def main(args: Array[String]): Unit = {
    // 创建Spark配置对象
    val conf = new SparkConf()
      .setAppName("PrintDiamond") // 设置应用名称
      .setMaster("local[*]") // 设置主节点位置(本地调试)
    // 基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf)
    // 输入一个奇数
    print("输入一个奇数:")
    val n = StdIn.readInt()
    //判断n的奇偶性
    if (n % 2 == 0) {
      println("温馨提示:你输入的不是奇数")
      return 
    }
    // 创建一个可变列表
    val list = new ListBuffer[Int]()
    // 给列表赋值
    (1 to n by 2).foreach(list.append(_))
    (n - 2 to 1 by -2).foreach(list.append(_))
    // 基于列表创建rdd
    val rdd = sc.makeRDD(list)
    // 对rdd进行映射操作
    val rdd1 = rdd.map(i => " " * ((n - i) / 2) + "*" * i)
    // 输出rdd1结果
    rdd1.collect.foreach(println)
  }
}
  • 运行程序,查看结果
    在这里插入图片描述

2.2 过滤算子 - filter()

1. 过滤算子功能

  • filter(func):通过函数func对源RDD的每个元素进行过滤,并返回一个新RDD,一般而言,新RDD元素个数会少于原RDD。

2. 过滤算子案例

任务1、过滤出列表中的偶数

  • 整数(Integer):奇数(odd number)+ 偶数(even number)
  • 基于列表创建RDD,然后利用过滤算子得到偶数构成的新RDD
  • 方法一、将匿名函数传给过滤算子
    在这里插入图片描述
  • 方法二、用神奇占位符改写传入过滤算子的匿名函数
    在这里插入图片描述

任务2、过滤出文件中包含spark的行

  • 查看源文件/park/words.txt内容
    在这里插入图片描述
  • 执行命令: val lines= sc.textFile("/park/words.txt"),读取文件 /park/words.txt生成RDD - lines
    在这里插入图片描述
  • 执行命令:val sparkLines = lines.filter(_.contains("spark")),过滤包含spark的行生成RDD - sparkLines
    在这里插入图片描述
  • 执行命令:sparkLines.collect,查看sparkLines内容,可以采用遍历算子,分行输出内容

在这里插入图片描述

  • 输出长度超过20的行
    在这里插入图片描述

任务3、利用过滤算子输出[2000, 2500]之间的全部闰年

  • 传统做法,利用循环结构嵌套选择结构来实现
    在这里插入图片描述
  • 要求每行输出10个数
    在这里插入图片描述
  • 采用过滤算子来实现
    在这里插入图片描述
  • 要求每行输出10个数
    在这里插入图片描述

任务4、利用过滤算子输出[10, 100]之间的全部素数

  • 过滤算子:filter(n => !(n % 2 == 0 || n % 3 == 0 || n % 5 == 0 || n % 7 == 0))
    在这里插入图片描述

2.3 扁平映射算子 - flatMap()

1. 扁平映射算子功能

  • flatMap()算子与map()算子类似,但是每个传入给函数func的RDD元素会返回0到多个元素,最终会将返回的所有元素合并到一个RDD。

2. 扁平映射算子案例

任务1、统计文件中单词个数

  • 读取文件,生成RDD - rdd1,查看其内容和元素个数
  • 在这里插入图片描述
  • 对于rdd1按空格拆分,做映射,生成新RDD - rdd2
    在这里插入图片描述
  • 对于rdd1按空格拆分,做扁平映射,生成新RDD - rdd3,有一个降维处理的效果
    在这里插入图片描述
  • 统计结果:文件里有25个单词
方法一、利用Scala来实现
  • 利用列表的flatten函数
  • cn.kox.rdd.day01包里创建Example02单例对象
    在这里插入图片描述
package cn.kox.rdd.day01

import org.apache.spark.{SparkConf, SparkContext}

/**
 * @ClassName: Example02
 * @Author: Kox
 * @Data: 2023/6/12
 * @Sketch:
 */
object Example02 {
  def main(args: Array[String]): Unit = {
    // 创建不规则二维列表
    val mat = List(
      List(7, 8, 1, 5),
      List(10, 4, 9),
      List(7, 2, 8, 1, 4),
      List(21, 4, 7, -4)
    )
    // 输出二维列表
    println(mat)
    // 将二维列表扁平化为一维列表
    val arr = mat.flatten
    // 输出一维列表
    println(arr)
    // 输出元素个数
    println("元素个数:" + arr.size)
  }
}

  • 运行程序,查看结果
    在这里插入图片描述
方法二、利用Spark RDD来实现
  • 利用flatMap算子
  • cn.kox.rdd.day01包里创建Example03单例对象
package cn.kox.rdd.day01

import org.apache.spark.{SparkConf, SparkContext}
/**
 * @ClassName: Example03
 * @Author: Kox
 * @Data: 2023/6/12
 * @Sketch:
 */
object Example03 {
  def main(args: Array[String]): Unit = {
    // 创建Spark配置对象
    val conf = new SparkConf()
      .setAppName("PrintDiamond") // 设置应用名称
      .setMaster("local[*]") // 设置主节点位置(本地调试)
    // 基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf)
    // 创建不规则二维列表
    val mat = List(
      List(7, 8, 1, 5),
      List(10, 4, 9),
      List(7, 2, 8, 1, 4),
      List(21, 4, 7, -4)
    )
    // 基于二维列表创建rdd1
    val rdd1 = sc.makeRDD(mat)
    // 输出rdd1
    rdd1.collect.foreach(x => print(x + " "))
    println()
    // 进行扁平化映射
    val rdd2 = rdd1.flatMap(x => x.toString.substring(5, x.toString.length - 1).split(", "))
    // 输出rdd2
    rdd2.collect.foreach(x => print(x + " "))
    println()
    // 输出元素个数
    println("元素个数:" + rdd2.count)
  }
}

  • 运行程序,查看结果
    在这里插入图片描述

2.4 按键归约算子 - reduceByKey()

1. 按键归约算子功能

  • reduceByKey()算子的作用对像是元素为(key,value)形式(Scala元组)的RDD,使用该算子可以将相同key的元素聚集到一起,最终把所有相同key的元素合并成一个元素。该元素的key不变,value可以聚合成一个列表或者进行求和等操作。最终返回的RDD的元素类型和原有类型保持一致。

2. 按键归约算子案例

任务1、在Spark Shell里计算学生总分

在这里插入图片描述

  • 创建成绩列表scores,基于成绩列表创建rdd1,对rdd1按键归约得到rdd2,然后查看rdd2内容在这里插入图片描述
  • agg: aggregation 聚合值
  • cur: current 当前值
val scores = List(("张钦林", 78), ("张钦林", 90), ("张钦林", 76),
                  ("陈燕文", 95), ("陈燕文", 88), ("陈燕文", 98),
                  ("卢志刚", 78), ("卢志刚", 80), ("卢志刚", 60))
val rdd1 = sc.makeRDD(scores)
val rdd2 = rdd1.reduceByKey((x, y) => x + y)
rdd2.collect.foreach(println)
  • 可以采用神奇的占位符
    在这里插入图片描述

任务2、在IDEA里计算学生总分

在这里插入图片描述
第一种方式:读取二元组成绩列表

  • cn.kox.rdd.day02包里创建CalculateScoreSum01单例对象
    在这里插入图片描述
package cn.kox.rdd.day02

import org.apache.spark.{SparkConf, SparkContext}

/**
 * @ClassName: CalculateScoreSum01
 * @Author: Kox
 * @Data: 2023/6/12
 * @Sketch:
 */
object CalculateScoreSum01 {
  def main(args: Array[String]): Unit = {
    // 创建Spark配置对象
    val conf = new SparkConf()
      .setAppName("PrintDiamond") // 设置应用名称
      .setMaster("local[*]") // 设置主节点位置(本地调试)
    // 基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf)
    // 创建二元组成绩列表
    val scores = List(
      ("张钦林", 78), ("张钦林", 90), ("张钦林", 76),
      ("陈燕文", 95), ("陈燕文", 88), ("陈燕文", 98),
      ("卢志刚", 78), ("卢志刚", 80), ("卢志刚", 60))
    // 基于二元组成绩列表创建RDD
    val rdd1 = sc.makeRDD(scores)
    // 对成绩RDD进行按键归约处理
    val rdd2 = rdd1.reduceByKey(_ + _)
    // 输出归约处理结果
    rdd2.collect.foreach(println)
  }
}

  • 运行程序,查看结果
    在这里插入图片描述
    第二种方式:读取四元组成绩列表
  • cn.kox.rdd.day02包里创建CalculateScoreSum02单例对象
    在这里插入图片描述
package cn.kox.rdd.day02

import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.mutable.ListBuffer
/**
 * @ClassName: CalculateScoreSum02
 * @Author: Kox
 * @Data: 2023/6/12
 * @Sketch:
 */
object CalculateScoreSum02 {

  def main(args: Array[String]): Unit = {
    // 创建Spark配置对象
    val conf = new SparkConf()
      .setAppName("PrintDiamond") // 设置应用名称
      .setMaster("local[*]") // 设置主节点位置(本地调试)
    // 基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf)
    // 创建四元组成绩列表
    val scores = List(
      ("张钦林", 78, 90, 76),
      ("陈燕文", 95, 88, 98),
      ("卢志刚", 78, 80, 60)
    )
    // 将四元组成绩列表转化成二元组成绩列表
    val newScores = new ListBuffer[(String, Int)]()
    // 通过遍历算子遍历四元组成绩列表
    scores.foreach(score => {
      newScores.append(Tuple2(score._1, score._2))
      newScores.append(Tuple2(score._1, score._3))
      newScores.append(Tuple2(score._1, score._4))
    }
    )
    // 基于二元组成绩列表创建RDD
    val rdd1 = sc.makeRDD(newScores)
    // 对成绩RDD进行按键归约处理
    val rdd2 = rdd1.reduceByKey(_ + _)
    // 输出归约处理结果
    rdd2.collect.foreach(println)
  }
}

  • 运行程序,查看结果
    在这里插入图片描述

2.5 合并算子 - union()

1. 合并算子功能

  • union()算子将两个RDD合并为一个新的RDD,主要用于对不同的数据来源进行合并,两个RDD中的数据类型要保持一致。

2. 合并算子案例

  • 创建两个RDD,合并成一个新RDD
    在这里插入图片描述
  • 课堂练习:将两个二元组成绩表合并在这里插入图片描述
  • 在集合运算里,并集符号:∪ \cup∪,并集运算:A ∪ B A \cup BA∪B
  • 在集合运算里,交集符号:∩ \cap∩,交集运算:A ∩ B A \cap BA∩B
  • 在集合运算里,补集运算:A ˉ \bar A

2.6 排序算子 - sortBy()

1. 排序算子功能

  • sortBy()算子将RDD中的元素按照某个规则进行排序。该算子的第一个参数为排序函数,第二个参数是一个布尔值,指定升序(默认)或降序。若需要降序排列,则需将第二个参数置为false。

2. 排序算子案例

  • 一个数组中存放了三个元组,将该数组转为RDD集合,然后对该RDD按照每个元素中的第二个值进行降序排列。
    在这里插入图片描述
  • sortBy(x=>x._2,false)中的x代表rdd1中的每个元素。由于rdd1的每个元素是一个元组,因此使用x._2取得每个元素的第二个值。当然,sortBy(x=>x.2,false)也可以直接简化为sortBy(._2,false)。
    在这里插入图片描述

2.7 按键排序算子 - sortByKey()

1. 按键排序算子功能

  • sortByKey()算子将(key, value)形式的RDD按照key进行排序。默认升序,若需降序排列,则可以传入参数false。

2. 按键排序算子案例

  • 将三个二元组构成的RDD按键先降序排列,然后升序排列
    在这里插入图片描述
  • 其实,用排序算子也是可以搞定的
    在这里插入图片描述

2.8 连接算子

1. 内连接算子 - join()

  • join()算子将两个(key, value)形式的RDD根据key进行连接操作,相当于数据库的内连接(Inner Join),只返回两个RDD都匹配的内容。
  • 将rdd1与rdd2进行内连接
    在这里插入图片描述

2. 左外连接算子 - leftOuterJoin()

  • leftOuterJoin()算子与数据库的左外连接类似,以左边的RDD为基准(例如rdd1.leftOuterJoin(rdd2),以rdd1为基准),左边RDD的记录一定会存在。例如,rdd1的元素以(k,v)表示,rdd2的元素以(k, w)表示,进行左外连接时将以rdd1为基准,rdd2中的k与rdd1的k相同的元素将连接到一起,生成的结果形式为(k, (v, Some(w))。rdd1中其余的元素仍然是结果的一部分,元素形式为(k,(v, None)。Some和None都属于Option类型,Option类型用于表示一个值是可选的(有值或无值)。若确定有值,则使用Some(值)表示该值;若确定无值,则使用None表示该值。
  • rdd1与rdd2进行左外连接
    在这里插入图片描述

3. 右外连接算子 - rightOuterJoin()

  • rightOuterJoin()算子的使用方法与leftOuterJoin()算子相反,其与数据库的右外连接类似,以右边的RDD为基准(例如rdd1.rightOuterJoin(rdd2),以rdd2为基准),右边RDD的记录一定会存在。
  • rdd1与rdd2进行右外连接
    在这里插入图片描述

4. 全外连接算子 - fullOuterJoin()

  • fullOuterJoin()算子与数据库的全外连接类似,相当于对两个RDD取并集,两个RDD的记录都会存在。值不存在的取None。
  • rdd1与rdd2进行全外连接
    在这里插入图片描述

2.9 交集算子 - intersection()

  • intersection()算子对两个RDD进行交集操作,返回一个新的RDD。要求两个算子类型要一致。
  • rdd1与rdd2进行交集操作,满足交换律
    在这里插入图片描述
  • A ∩ B ≠ ϕ
    在这里插入图片描述

2.10 去重算子 - distinct()

  • distinct()算子对RDD中的数据进行去重操作,返回一个新的RDD。有点类似与集合的不允许重复元素。

1. 去重算子案例

  • 去掉rdd中重复的元素
    在这里插入图片描述

2. IP地址去重案例

  • 在项目根目录创建ips.txt文件
    在这里插入图片描述
192.168.234.21
192.168.234.22
192.168.234.21
192.168.234.21
192.168.234.23
192.168.234.21
192.168.234.21
192.168.234.21
192.168.234.25
192.168.234.21
192.168.234.21
192.168.234.26
192.168.234.21
192.168.234.27
192.168.234.21
192.168.234.27
192.168.234.21
192.168.234.29
192.168.234.21
192.168.234.26
192.168.234.21
192.168.234.25
192.168.234.25
192.168.234.21
192.168.234.22
192.168.234.21

  • cn.kox.rdd.day03包里创建DistinctIPs单例对象
    在这里插入图片描述
package cn.kox.rdd.day03

import org.apache.spark.{SparkConf, SparkContext}

/**
 * @ClassName: DistinctIPs
 * @Author: Kox
 * @Data: 2023/6/12
 * @Sketch:
 */
object DistinctIPs {
  def main(args: Array[String]): Unit = {
    // 创建Spark配置对象
    val conf = new SparkConf()
      .setAppName("DistinctIPs ") // 设置应用名称
      .setMaster("local[*]") // 设置主节点位置(本地调试)
    // 基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf)
    // 读取本地IP地址文件,得到RDD
    val ips = sc.textFile("D:\\Major\\BigData\\Spark\\SparkLesson2023U\\SparkRDDDemo\\ips.txt")
    // rdd去重再输出
    ips.distinct.collect.foreach(println)
  }
}


  • 运行程序,查看结果
    在这里插入图片描述
  • 修改代码,保存去重结果到本地目录在这里插入图片描述

(十一)组合分组算子 - cogroup()

  • cogroup()算子对两个(key, value)形式的RDD根据key进行组合,相当于根据key进行并集操作。例如,rdd1的元素以(k, v)表示,rdd2的元素以(k, w)表示,执行rdd1.cogroup(rdd2)生成的结果形式为(k, (Iterable, Iterable))。
  • rdd1与rdd2进行组合分组操作
    在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/638339.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C#编写VBScript的Com组件

背景 前段时间学习了一下vbsript&#xff0c;做了马踏棋盘的广度搜索算法题&#xff0c;线性回归的深度学习算法题&#xff0c;虽然是做出来了&#xff0c;但是总感觉不太方便&#xff0c;很多细节都需要自己去实现&#xff0c;这样很不方便&#xff0c;不容易让大家更简单上手…

海外新闻稿发布平台TOP10,媒介易为你盘点热门选择!

海外新闻稿发布是企业在海外市场推广的重要手段之一&#xff0c;通过选择合适的发布媒体&#xff0c;可以提升品牌知名度、扩大影响力&#xff0c;并吸引更多目标受众的关注。然而&#xff0c;由于海外市场的多样性和媒体渠道的繁多&#xff0c;选择适合的海外新闻稿发布媒体成…

windows 服务程序和桌面程序集成(七)效果演示及源程序下载

系列文章目录链接 windows 服务程序和桌面程序集成&#xff08;一&#xff09;概念介绍windows 服务程序和桌面程序集成&#xff08;二&#xff09;服务程序windows 服务程序和桌面程序集成&#xff08;三&#xff09;UDP监控工具windows 服务程序和桌面程序集成&#xff08;四…

Spring集成Kafka

前言 我负责的其中一个项目&#xff0c;接口的交互量在千万级/d&#xff0c;所以要存储大量的日志&#xff0c;为了防止日志的存储影响到系统的性能&#xff0c;所以在技术选型就决定了使用Kafka中间件和一个日志存储系统来负责日志的存储。 使用Kafka 的优点&#xff1a; 1.…

【HTMLCSS】设置导航栏

&#x1f38a;专栏【 前端易错合集】 &#x1f354;喜欢的诗句&#xff1a;更喜岷山千里雪 三军过后尽开颜。 &#x1f386;音乐分享【如愿】 大一同学小吉&#xff0c;欢迎并且感谢大家指出我的问题&#x1f970; 目录 &#x1f354;效果 &#x1f339;代码&#xff1a; &…

AntDB 企业增强特性介绍——异构数据库兼容评估

在异构数据库迁移实施过程中&#xff0c;如何实现应用从 Oracle 等商业数据库透明平滑地迁移到 AntDB 中&#xff1f;其中最重要的一个环节就是实现对现有运行的生产数据库进行全面的数据采集、评估、分析、迁移和结果的校验。让一个烦琐的数据库替换过程可以全部自动完成。特别…

MapBox实现框选查询,多边形范围查询

还是老规矩先来看效果&#xff1a; mapbox官方没有为我们提供框选查询的案例&#xff0c;所以这个功能需要我们自己写。在openlayers框架中是有一个矩形范围查询的例子&#xff0c;但是在maobox没有。 那么我们就来说一下如何来做这个效果吧&#xff0c;首先这个效果可以分为两…

【数据分享】2000-2021年全国1km分辨率的逐月PM2.5栅格数据(免费获取)

PM2.5作为最主要的空气质量指标&#xff0c;在我们日常研究中非常常用&#xff01;之前我们分享了2000-2021年全国范围1km分辨率的逐日的PM2.5栅格数据&#xff08;可查看之前的文章获悉详情&#xff09;&#xff0c;数据来自于Zendo平台&#xff01; 我们发现在Zendo平台上还…

RFID系统:解析无线识别技术的未来

RFID&#xff08;Radio Frequency Identification&#xff09;系统是一种基于无线识别技术的自动识别和数据采集系统。尽管对于新手来说&#xff0c;RFID可能是一个陌生的术语&#xff0c;但它正在快速地渗透和影响着我们的日常生活。 在RFID系统中&#xff0c;一个标签&…

与react的初定情素

前要&#xff1a; 其实吧&#xff01;之前的博客基本没有写过相关react的笔记&#xff0c;因为我根本没有写过react的相关项目&#xff0c;作为一个小水前端&#xff0c;没有写过react的项目会让别人笑大大牙的&#xff0c;所以趁着划水时间好好学习&#xff0c;天天向上&#…

Java程序员面试1000问,让你开挂的面试宝典,花点耐心看完offer拿到手软

前言: 本文收集整理了各大厂常见面试题N道&#xff0c;你想要的这里都有内容涵盖&#xff1a;Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、Redis、MySQL、Spring、Spring Boot、Spring Cloud、RabbitMQ、Kafka、Linux 等技术栈&#xff0c;希望大家都能找到适…

[nlp] OPT与GPT-2的差异

Meta AI 开源1750亿参数大模型- OPT,FlagAI一键调用! - 知乎简介Meta AI 开源 OPT系列模型,其中最大模型1750 亿参数(需申请访问权限)媲美 GPT-3。OPT系列模型包括了多组不同参数规模的模型权重,如图: OPT开源了一系列大模型,但是实际调用这些模型有很高的技术门槛。为…

如何变成领域里大牛级的人物?

今天看到一段话&#xff0c;挺有道理的&#xff0c;于是摘录下来&#xff1a; 对一个领域不太了解&#xff0c;而该领域又重要&#xff0c;你可以这样做: 1.读领域中经典教材和入门书 2.实践&#xff0c;观察、反思&#xff0c;找到核心的几个关键问题 3.对关键问题深入探索&am…

Rust in Action笔记 第四章生命周期、所有权、借用

第四章用了一个行星通信的例子来阐述整个主题&#xff0c;主要角色有地面站&#xff08;Ground station&#xff09;、人造卫星&#xff08;CubeSat&#xff09;&#xff0c;两者有不同的状态并且能互相发消息通信&#xff1b; Rust有类型安全&#xff08;type safety&#xf…

位姿估计 | 空间目标位姿估计方法分类总结

目录 前言位姿估计方法分类一、传统位姿估计方法1. 基于特征的位姿估计2. 基于模型的位姿估计 二、深度学习位姿估计方法 总结 前言 本文接着分享空间目标位姿跟踪和滤波算法中用到的一些常用内容&#xff0c;希望为后来者减少一些基础性内容的工作时间。以往分享总结见文章&a…

KW 新闻 | KaiwuDB 受邀亮相 IOTE 2023 第十九届国际物联网展

5月17日&#xff0c;IOTE 2023 第十九届国际物联网展在上海拉开序幕&#xff0c;全球超过 350 家参展企业到场展示先进的物联网技术和产品&#xff0c;行业专家、领军企业代表等人物齐聚一堂&#xff0c;共话 IoT 未来趋势。KaiwuDB 受邀亮相参展并就《工业物联网产业数字化转型…

剑指 Offer 30: 包含min函数的栈

这里用到了java中的Stack,和别的方法一样&#xff08;LinkedList&#xff09;&#xff0c;也是先使用Stack带上类型&#xff08;这里是<Integer>&#xff09;声明&#xff0c;然后再new出来。 这里需要的返回值是int&#xff01;&#xff01;&#xff01; 这里千万要注意…

SQLServer2017安装教程

一、安装包下载地址&#xff1a; https://download.csdn.net/download/u011152234/87898714 二、软件安装 1、双击“SQLEXPR_x64_CHS.exe”将文件提取在指定文件中。 2、 右击“SETUP.EXE”以“管理员身份运行” 3、选择全新安装模式继续安装 4、在协议中&#xff0c;点击同…

入驻京东MCN机构详细流程

京东MCN机构可以为京东平台提供更专业的运营和管理服务&#xff0c;通过对UP主的培训和管理&#xff0c;提高UP主的创作水平和内容品质&#xff0c;从而提高平台的服务质量和用户体验&#xff0c;京东MCN机构可以通过与京东平台的合作&#xff0c;优化平台生态&#xff0c;提高…

Java RabbitMQ API 对接说明

1.背景 最近研发的物联网底层框架使用了RabbitMQ作为消息队列&#xff0c;如果监控消息队列对其通道是否出现阻塞能够及时获知与让管理员收到预警并及时处理&#xff0c;这里我们会采用RabbitMQ的rabbitmq_management插件。利用其提供的API进行获取信息&#xff0c;从而实现队…