Spark SQL基础

news2024/10/2 12:25:02

SparkSQL基本介绍

什么是Spark SQL

Spark SQL是Spark多种组件中其中一个,主要是用于处理大规模的结构化数据

什么是结构化数据: 一份数据, 每一行都有固定的列, 每一列的类型都是一致的 我们将这样的数据称为结构化的数据
例如: mysql的表数据
1 张三 20
2 李四 15
3 王五 18
4 赵六 12

Spark SQL 的优势

1- Spark SQL 既可以编写SQL语句, 也可以编写代码, 甚至可以混合使用
2- Spark SQL 可以 和 HIVE进行集成, 集成后, 可以替换掉HIVE原有MR的执行引擎, 提升效率

Spark SQL特点:

1- 融合性: 既可以使用标准SQL语言, 也可以编写代码, 同时支持混合使用

2- 统一的数据访问: 可以通过统一的API来对接不同的数据源

3- HIVE的兼容性: Spark SQL可以和HIVE进行整合, 整合后替换执行引擎为Spark, 核心: 基于HIVE的metastore来处理

4- 标准化连接: Spark SQL也是支持 JDBC/ODBC的连接方式

Spark SQL与HIVE异同

相同点:

1- 都是分布式SQL计算引擎
2- 都可以处理大规模的结构化数据
3- 都可以建立Yarn集群之上运行

不同点:

1- Spark SQL是基于内存计算, 而HIVE SQL是基于磁盘进行计算的
2- Spark SQL没有元数据管理服务(自己维护), 而HIVE SQL是有metastore的元数据管理服务的
3- Spark SQL底层执行Spark RDD程序, 而HIVE SQL底层执行是MapReduce
4- Spark SQL可以编写SQL也可以编写代码，但是HIVE SQL仅能编写SQL语句

Spark SQL的数据结构对比

在这里插入图片描述

说明:
	pandas的DataFrame: 二维表  处理单机结构数据
	Spark Core: 处理任何的数据结构   处理大规模的分布式数据
	Spark SQL: 二维表  处理大规模的分布式结构数据

在这里插入图片描述

RDD: 存储直接就是对象, 比如在图中, 存储就是一个Person的对象, 但是里面是什么数据内容, 不太清楚

DataFrame: 将Person的中各个字段数据, 进行结构化存储, 形成一个DataFrame, 可以直接看到数据

Dataset: 将Person对象中数据都按照结构化的方式存储好, 同时保留的对象的类型, 从而知道来源于一个Person对象

由于Python不支持泛型, 所以无法使用Dataset类型, 客户端仅支持DataFrame类型

Spark SQL构建SparkSession对象

from pyspark import SparkConf, SparkContext
import os
from pyspark.sql import SparkSession

# 绑定指定的Python解释器
os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ['PYSPARK_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['PYSPARK_DRIVER_PYTHON'] = '/root/anaconda3/bin/python3'

if __name__ == '__main__':
    # 创建SparkSQL中的顶级对象SparkSession
    # alt+回车
    """
        注意事项：
        1- SparkSession和builder都没有小括号
        2- appName()：给应用程序取名词。等同于SparkCore中的setAppName()
        3- master()：设置运行时集群类型。等同于SparkCore中的setMaster()
    """
    spark = SparkSession.builder\
        .appName('create_sparksession_demo')\
        .master('local[*]')\
        .getOrCreate()

    # 通过SparkSQL的顶级对象获取SparkCore中的顶级对象
    sc = spark.sparkContext

    # 释放资源
    sc.stop()
    spark.stop()

DataFrame详解

DataFrame基本介绍

在这里插入图片描述

DataFrame表示的是一个二维的表。二维表，必然存在行、列等表结构描述信息

表结构描述信息(元数据Schema): StructType对象
字段: StructField对象，可以描述字段名称、字段数据类型、是否可以为空
行: Row对象
列: Column对象，包含字段名称和字段值

在一个StructType对象下，由多个StructField组成，构建成一个完整的元数据信息

如何构建表结构信息数据：
在这里插入图片描述

DataFrame的构建方式

通过RDD得到一个DataFrame

from pyspark import SparkConf, SparkContext
import os
from pyspark.sql import SparkSession

# 绑定指定的Python解释器
from pyspark.sql.types import StructType, IntegerType, StringType, StructField

os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ['PYSPARK_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['PYSPARK_DRIVER_PYTHON'] = '/root/anaconda3/bin/python3'

if __name__ == '__main__':
    # 1- 创建SparkSession对象
    spark = SparkSession.builder\
        .appName('rdd_2_dataframe')\
        .master('local[*]')\
        .getOrCreate()

    # 通过SparkSession得到SparkContext
    sc = spark.sparkContext

    # 2- 数据输入
    # 2.1- 创建一个RDD
    init_rdd = sc.parallelize(["1,李白,20","2,安其拉,18"])

    # 2.2- 将RDD的数据结构转换成二维结构
    new_rdd = init_rdd.map(lambda line: (
            int(line.split(",")[0]),
            line.split(",")[1],
            int(line.split(",")[2])
        )
    )

    # 将RDD转成DataFrame：方式一
    # schema方式一
    schema = StructType()\
        .add('id',IntegerType(),False)\
        .add('name',StringType(),False)\
        .add('age',IntegerType(),False)


    # schema方式二
    schema = StructType([
        StructField('id',IntegerType(),False),
        StructField('name',StringType(),False),
        StructField('age',IntegerType(),False)
    ])

    # schema方式三
    schema = "id:int,name:string,age:int"

    # schema方式四
    schema = ["id","name","age"]

    init_df = spark.createDataFrame(
        data=new_rdd,
        schema=schema
    )

    # 将RDD转成DataFrame：方式二
    """
        toDF：中的schema既可以传List，也可以传字符串形式的schema信息
    """
    # init_df = new_rdd.toDF(schema=["id","name","age"])
    init_df = new_rdd.toDF(schema="id:int,name:string,age:int")

    # 3- 数据处理
    # 4- 数据输出
    init_df.show()
    init_df.printSchema()

    # 5- 释放资源
    sc.stop()
    spark.stop()

运行结果截图：
在这里插入图片描述
场景：RDD可以存储任意结构的数据；而DataFrame只能处理二维表数据。在使用Spark处理数据的初期，可能输入进来的数据是半结构化或者是非结构化的数据，那么我可以先通过RDD对数据进行ETL处理成结构化数据，再使用开发效率高的SparkSQL来对后续数据进行处理分析。

内部初始化数据得到DataFrame

from pyspark import SparkConf, SparkContext
import os

# 绑定指定的Python解释器
from pyspark.sql import SparkSession

os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ['PYSPARK_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['PYSPARK_DRIVER_PYTHON'] = '/root/anaconda3/bin/python3'

if __name__ == '__main__':
    print("内部初始化数据得到DataFrame。类似SparkCore中的parallelize")

    # 1- 创建SparkSession顶级对象
    spark = SparkSession.builder\
        .appName('inner_create_dataframe')\
        .master('local[*]')\
        .getOrCreate()

    # 2- 数据输入
    """
        通过createDataFrame创建DataFrame，schema数据类型可以是：DataType、字符串、List
            字符串：格式要求
                格式一 字段1 字段类型,字段2 字段类型
                格式二（推荐） 字段1:字段类型,字段2:字段类型
                
            List：格式要求
                ["字段1","字段2"]
    """
    # 内部初始化数据得到DataFrame
    init_df = spark.createDataFrame(
        data=[(1,'张三',18),(2,'李四',30)],
        schema="id:int,name:string,age:int"
    )

    # init_df = spark.createDataFrame(
    #     data=[(1, '张三', 18), (2, '李四', 30)],
    #     schema="id int,name string,age int"
    # )

    # init_df = spark.createDataFrame(
    #     data=[(1, '张三', 18), (2, '李四', 30)],
    #     schema=["id","name","age"]
    # )

    # init_df = spark.createDataFrame(
    #     data=[(1, '张三', 18), (2, '李四', 30)],
    #     schema=["id:int", "name:string", "age:int"]
    # )

    # 3- 数据处理
    # 4- 数据输出
    # 输出dataframe的数据内容
    init_df.show()

    # 输出dataframe的schema信息
    init_df.printSchema()

    # 5- 释放资源
    spark.stop()

运行结果截图：
在这里插入图片描述
场景：一般用在开发和测试中。因为只能处理少量的数据
Schema总结
通过createDataFrame创建DataFrame，schema数据类型可以是：DataType、字符串、List
1: 字符串
格式一 字段1 字段类型,字段2 字段类型
格式二（推荐） 字段1:字段类型,字段2:字段类型

2: List
[“字段1”,“字段2”]

3: DataType（推荐，用的最多）
格式一 schema = StructType()
.add(‘id’,IntegerType(),False)
.add(‘name’,StringType(),True)
.add(‘age’,IntegerType(),False)

格式二 schema = StructType([
StructField(‘id’,IntegerType(),False),
StructField(‘name’,StringType(),True),
StructField(‘age’,IntegerType(),False)
])

读取外部文件

复杂API

统一API格式: 
sparksession.read
	.format('text|csv|json|parquet|orc|avro|jdbc|.....') # 读取外部文件的方式
	.option('k','v') # 选项  可以设置相关的参数 (可选)
	.schema(StructType | String) #  设置表的结构信息
	.load('加载数据路径') # 读取外部文件的路径, 支持 HDFS 也支持本地

简写API

格式: 
	spark.read.读取方式()
	
例如: 
	df = spark.read.csv(
   		path='file:///export/data/spark_sql/data/stu.txt',
        header=True,
        sep=' ',
        inferSchema=True,
        encoding='utf-8',
    )
Text方式读取
from pyspark import SparkConf, SparkContext
import os
from pyspark.sql import SparkSession

# 绑定指定的Python解释器
os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ['PYSPARK_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['PYSPARK_DRIVER_PYTHON'] = '/root/anaconda3/bin/python3'

if __name__ == '__main__':
    print("text方式读取文件")

    # 1- 创建SparkSession对象
    spark = SparkSession.builder\
        .appName('text_demo')\
        .master('local[*]')\
        .getOrCreate()

    # 2- 数据输入
    """
        load：支持读取HDFS文件系统和本地文件系统
            HDFS文件系统：hdfs://node1:8020/文件路径
            本地文件系统：file:///文件路径
            
        text方式读取文件总结：
            1- 不管文件中内容是什么样的，text会将所有内容全部放到一个列中处理
            2- 默认生成的列名叫value，数据类型string
            3- 我们只能够在schema中修改字段value的名称，其他任何内容不能修改
    """
    init_df = spark.read\
        .format('text')\
        .schema("my_field string")\
        .load('file:///export/data/stu.txt')

    # 3- 数据处理
    # 4- 数据输出
    init_df.show()
    init_df.printSchema()

    # 5- 释放资源
    spark.stop()

运行结果截图：
在这里插入图片描述
text方式读取文件总结：
1- 不管文件中内容是什么样的，text会将所有内容全部放到一个列中处理
2- 默认生成的列名叫value，数据类型string
3- 我们只能够在schema中修改字段value的名称，其他任何内容不能修改

CSV方式读取
from pyspark import SparkConf, SparkContext
import os
from pyspark.sql import SparkSession

# 绑定指定的Python解释器
os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ['PYSPARK_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['PYSPARK_DRIVER_PYTHON'] = '/root/anaconda3/bin/python3'

if __name__ == '__main__':
    print("csv方式读取文件")

    # 1- 创建SparkSession对象
    spark = SparkSession.builder\
        .appName('csv_demo')\
        .master('local[*]')\
        .getOrCreate()

    # 2- 数据输入
    """
        csv格式读取外部文件总结：
            1- 复杂API和简写API都必须掌握
            2- 相关参数作用说明：
                2.1- path：指定读取的文件路径。支持HDFS和本地文件路径
                2.2- schema：手动指定元数据信息
                2.3- sep：指定字段间的分隔符
                2.4- encoding：指定文件的编码方式
                2.5- header：指定文件中的第一行是否是字段名称
                2.6- inferSchema：根据数据内容自动推断数据类型。但是，推断结果可能不精确
    """
    # 复杂API写法
    init_df = spark.read\
        .format('csv')\
        .schema("id int,name string,address string,sex string,age int")\
        .option("sep"," ")\
        .option("encoding","UTF-8")\
        .option("header","True")\
        .load('file:///export/data/stu.txt')

    # 简写API写法
    # init_df = spark.read.csv(
    #     path='file:///export/data/gz16_pyspark/02_spark_sql/data/stu.txt',
    #     schema="id int,name string,address string,sex string,age int",
    #     sep=' ',
    #     encoding='UTF-8',
    #     header="True"
    # )

    # init_df = spark.read.csv(
    #     path='file:///export/data/stu.txt',
    #     sep=' ',
    #     encoding='UTF-8',
    #     header="True",
    #     inferSchema=True
    # )

    # 3- 数据处理
    # 4- 数据输出
    init_df.show()
    init_df.printSchema()

    # 5- 释放资源
    spark.stop()

csv格式读取外部文件总结：
1- 复杂API和简写API都必须掌握
2- 相关参数作用说明：
2.1- path：指定读取的文件路径。支持HDFS和本地文件路径
2.2- schema：手动指定元数据信息
2.3- sep：指定字段间的分隔符
2.4- encoding：指定文件的编码方式
2.5- header：指定文件中的第一行是否是字段名称
2.6- inferSchema：根据数据内容自动推断数据类型。但是，推断结果可能不精确

JSON方式读取

json的数据内容:

{'id': 1,'name': '张三','age': 20}
{'id': 2,'name': '李四','age': 23,'address': '北京'}
{'id': 3,'name': '王五','age': 25}
{'id': 4,'name': '赵六','age': 29}

代码实现

from pyspark import SparkConf, SparkContext
import os
from pyspark.sql import SparkSession

# 绑定指定的Python解释器
os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ['PYSPARK_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['PYSPARK_DRIVER_PYTHON'] = '/root/anaconda3/bin/python3'

if __name__ == '__main__':
    # 1- 创建SparkSession对象
    spark = SparkSession.builder\
        .appName('json_demo')\
        .master('local[*]')\
        .getOrCreate()

    # 2- 数据输入
    """
        json读取数据总结：
            1- 需要手动指定schema信息。如果手动指定的时候，字段名称与json中的key名称不一致，会解析不成功，以null值填充
            2- csv/json中schema的结构，如果是字符串类型，那么字段名称和字段数据类型间，只能以空格分隔
    """
    # init_df = spark.read.json(
    #     path='file:///export/data.txt',
    #     schema="id2 int,name string,age int,address string",
    #     encoding='UTF-8'
    # )

    # init_df = spark.read.json(
    #     path='file:///export/data.txt',
    #     schema="id:int,name:string,age:int,address:string",
    #     encoding='UTF-8'
    # )

    init_df = spark.read.json(
        path='file:///export/data.txt',
        schema="id int,name string,age int,address string",
        encoding='UTF-8'
    )
    # 3- 数据输出
    init_df.show()
    init_df.printSchema()

    # 4- 释放资源
    spark.stop()

运行结果截图：
在这里插入图片描述
json读取数据总结：
1- 需要手动指定schema信息。如果手动指定的时候，字段名称与json中的key名称不一致，会解析不成功，以null值填充
2- csv/json中schema的结构，如果是字符串类型，那么字段名称和字段数据类型间，只能以空格分隔

DataFrame的相关API

操作DataFrame一般有二种操作方案：一种为【DSL方式】，另一种为【SQL方式】

SQL方式: 通过编写SQL语句完成统计分析操作
DSL方式: 特定领域语言，使用DataFrame特有的API完成计算操作，也就是代码形式

从使用角度来说: SQL可能更加的方便一些，当适应了DSL写法后，你会发现DSL要比SQL更好用
从Spark角度来说: 更推荐使用DSL方案，此种方案更加利于Spark底层的优化处理

SQL相关的API

  • 创建一个视图/表
df.createTempView('视图名称'): 创建一个临时的视图(表名)
df.createOrReplaceTempView('视图名称'): 创建一个临时的视图(表名)，如果视图存在，直接替换
临时视图，仅能在当前这个Spark Session的会话中使用

df.createGlobalTempView('视图名称'): 创建一个全局视图，运行在一个Spark应用中多个spark会话中都可以使用。在使用的时候必须通过 global_temp.视图名称 方式才可以加载到。较少使用
  • 执行SQL语句
spark.sql('书写SQL')

DSL相关的API

  • show()：用于展示DF中数据, 默认仅展示前20行
    • 参数1：设置默认展示多少行 默认为20
    • 参数2：是否为阶段列, 默认仅展示前20个字符数据, 如果过长, 不展示(一般不设置)
  • printSchema()：用于打印当前这个DF的表结构信息
  • select()：类似于SQL中select, SQL中select后面可以写什么, 这样同样也一样
  • filter()和 where()：用于对数据进行过滤操作, 一般在spark SQL中主要使用where
  • groupBy()：用于执行分组操作
  • orderBy()：用于执行排序操作
DSL主要支持以下几种传递的方式:  str | Column对象 | 列表
	str格式:  '字段'
	Column对象:  
		DataFrame含有的字段  df['字段']
		执行过程新产生:  F.col('字段')
	列表: 
		['字段1','字段2'...]
		[df['字段1'],df['字段2']]

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
为了能够支持在编写Spark SQL的DSL时候，在DSL中使用SQL函数，专门提供一个SQL的函数库。直接加载使用即可

导入这个函数库: import pyspark.sql.functions as F
通过F调用对应的函数即可。SparkSQL中所支持的函数，都可以通过以下地址查询到: 

https://spark.apache.org/docs/3.1.2/api/sql/index.html

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1378086.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

每天刷两道题——第十四天

每天刷两道题——第十四天

1.1矩阵置零 给定一个 m x n 的矩阵，如果一个元素为 0 ，则将其所在行和列的所有元素都设为 0 。请使用原地算法。 输入：matrix [[0,1,2,0],[3,4,5,2],[1,3,1,5]] 输出：[[0,0,0,0],[0,4,5,0],[0,3,1,0]] 原地算法（…
阅读更多...
vulnhub靶场之DC-5

vulnhub靶场之DC-5

一.环境搭建 1.靶场描述 DC-5 is another purposely built vulnerable lab with the intent of gaining experience in the world of penetration testing. The plan was for DC-5 to kick it up a notch, so this might not be great for beginners, but should be ok for p…
阅读更多...
YOLOv5改进系列（25）——添加LSKNet注意力机制（大选择性卷积核的领域首次探索）

YOLOv5改进系列（25）——添加LSKNet注意力机制（大选择性卷积核的领域首次探索）

【YOLOv5改进系列】前期回顾： YOLOv5改进系列（0）——重要性能指标与训练结果评价及分析 YOLOv5改进系列（1）——添加SE注意力机制 YOLOv5改进系
阅读更多...
经典算法-模拟退火算法求解旅行商问题TSP

经典算法-模拟退火算法求解旅行商问题TSP

经典算法-模拟退火算法求解旅行商问题TSP 旅行商问题（Traveling Salesman Problem, TSP）是组合优化中的经典问题。简单地说，一个旅行商需要访问N个城市，并返回到出发城市，问题是找到最短的可能路线，使得每…
阅读更多...
基于汽车胎压检测及温度预警

基于汽车胎压检测及温度预警

课题简介 汽车胎压监测系统可分为两种：一种是间接式胎压监测系统，是通过轮胎的转速差来判断轮胎是否异常；另一种是直接式胎压监测系统，通过在轮胎里面加装四个胎压监测传感器，在汽车静止或者行驶过程中对轮胎气压和温…
阅读更多...
基础篇_开发命令行程序(输入输出,类型、变量、运算符,条件语句,循环语句,方法,package与jar)

基础篇_开发命令行程序(输入输出,类型、变量、运算符,条件语句,循环语句,方法,package与jar)

文章目录 一. 输入输出1. System.out2. System.in3. Scanner4. 变量名5. 关键字 二. 类型、变量、运算符1. 字符与字符串字符值与字符串值转义字符文本块 2. 类型何为类型数字类型字符类型 3. 变量与运算符变量运算符 4. 练习 - 房贷计算器Math.pow()数字格式化查阅 Javadoc 三…
阅读更多...
instanceof、对象类型转化、static关键字

instanceof、对象类型转化、static关键字

instanceof 与 对象类型转换 instanceof是判断一个对象是否与一个类有关系的关键字 先看引用类型，再看实际类型 *例子：obj instanceof A 先看obj的类型是否与A有关联，无关联则报错，有关联则判断obj的实际类型 因为obj的实际类…
阅读更多...
Unity 编辑器篇|（一）MenuItem菜单栏

Unity 编辑器篇|（一）MenuItem菜单栏

目录 1.MenuItem 属性2.创建多级菜单3.创建带快捷键的菜单4.创建可被勾选的菜单5.检查菜单是否使用6.菜单排序7.扩展右键菜单7.1 Hierarchy 右键菜单7.2 Project 右键菜单7.3 Inspector 组件右键菜单 8. AddComponentMenu 特性9. ContextMenu 特性 添加组件右键菜单 1.MenuItem…
阅读更多...
从vue小白到高手，从一个内容管理网站开始实战开发第八天，登录功能后台功能设计--业务逻辑层基础接口和基础服务实现

从vue小白到高手，从一个内容管理网站开始实战开发第八天，登录功能后台功能设计--业务逻辑层基础接口和基础服务实现

上一篇我们介绍了项目后续要使用到的工具类，关于工具类的创建可以查看 从vue小白到高手，从一个内容管理网站开始实战开发第七天，登录功能后台功能设计--通用分页、枚举以及相关工具类-CSDN博客文章浏览阅读2次。本次内容主要介绍了项目后续用到的部分工具类，这些工具类，在…
阅读更多...
Go并发快速入门：Goroutine

Go并发快速入门：Goroutine

Go并发：Goroutine 1.并发基础概念：进程、线程、协程 (1) 进程 可以比作食材加工的一系列动作 进程就是程序在操作系统中的一次执行过程，是由系统进行资源分配和调度的基本单位，进程是一个动态概念，是程序在执行过程…
阅读更多...
Java内存模型之原子性

Java内存模型之原子性

文章目录 1.什么是原子性2.Java中的原子操作有哪些3.long和double的原子性4.原子操作 原子操作 ! 原子操作 1.什么是原子性 一系列的操作，要么全部执行成功，要么全部不执行，不会出现执行一半的情况，是不可分割的。 注意&#x…
阅读更多...
Asp .Net Core 系列： 集成 Consul 实现 服务注册与健康检查

Asp .Net Core 系列： 集成 Consul 实现 服务注册与健康检查

文章目录 什么是 Consul?安装和运行 ConsulAsp .Net Core 如何集成 Consul 实现服务注册和健康检查Consul.AspNetCore 中的 AddConsul 和 AddConsulServiceRegistration 方法 究竟做了什么？AddConsul 方法AddConsulServiceRegistration 方法 配置 Consul 检查服务封…
阅读更多...
【回顾2023，展望2024】砥砺前行

【回顾2023，展望2024】砥砺前行

2023年总结 转眼间，迎来了新的一年2024年，回顾2023，对于我来说是一个充满平凡但又充实又幸运的一年。这一年经历了很多的事情，包括博客创作、技术学习、出书、买房等，基本上每件事情都是一个前所未有的挑战和机遇、使…
阅读更多...
科研学习|论文解读——信息世界映射方法

科研学习|论文解读——信息世界映射方法

题目：信息世界映射的下一步是什么？在情境中理解信息行为/实践的国际化和多学科方法（What is next for information world mapping? International and multidisciplinary approaches to understanding information behaviors/ practices in …
阅读更多...
Jmeter Linux环境压测Lottery接口

Jmeter Linux环境压测Lottery接口

1、把Dubbo插件放到Linux中Jmeter的lib/ext目录下 2、参数化 3、设置线程数 4、把测试计划中的Dubbo路径替换成Linux中的路径 /home/apache-jmeter-5.5/lib/ext 5、上传压测脚本到压力机 6、执行压测，观察是否有消息积压 ①Jmeter中执行压测脚本 ②检查mq控制台是…
阅读更多...
flask框架基本使用

flask框架基本使用

一、使用pycharm创建项目 1.创建项目 2.调整默认终端 3.打开虚拟终端 打开终端可以看出使用的是p1的虚拟机终端了 4.pyCharm小技巧 在flask种输入一个完整并且存在的函数名称或者类明， 然后 Alt 回车，pycharm可以自动导包，不用在手动在代…
阅读更多...
【java八股文】之多线程篇

【java八股文】之多线程篇

1、简述线程、进程的基本概念。以及他们之间关系是什么 进程：是程序的一次执行的过程，是系统运行的基本单位，其中包含着程序运行过程中一些内存空间和系统资源。进程在运行过程中都是相互独立，但是线程之间运行可以相互影响。 线程…
阅读更多...
Docker安装Redis 配置文件映射以及密码设置

Docker安装Redis 配置文件映射以及密码设置

安装直接docker pull redis即可，默认redis最新版 设置两个配置文件路径 mkdir -p /root/docker/redis/data mkdir -p /root/docker/redis/conf touch redis.conf // 容器挂载用conf配置文件 bind 0.0.0.0 protected-mode yes port 6379 tcp-backlog 511 timeout…
阅读更多...
人工智能技术的突破性进展使得AI数字人的出现成为可能

人工智能技术的突破性进展使得AI数字人的出现成为可能

随着科技的飞速发展，人机交互已成为当今社会中的热门话题。近年来，人工智能技术的突破性进展使得AI数字人的出现成为可能，其将开启一个全新的人机交互时代。 AI数字人是一种利用人工智能技术创建的虚拟人物，能够模拟真实人类的思…
阅读更多...
androj studio安装及运行源码

androj studio安装及运行源码

抖音教学视频 目录 1、 jdk安装 2、下载安装androj studio 3 、打开源码安装运行相关组件 4、 安装模拟器 1、 jdk安装 安卓项目也是java开发的，运行在虚拟机上，安装jdk及运行的时候，就会自动生成虚拟机， jdk前面已经讲过&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023