Hadoop——HDFS、MapReduce、Yarn期末复习版（搭配尚硅谷视频速通）

news2024/11/19 14:40:39

一、HDFS

1.HDFS概述

1.1 HDFS定义

HDFS(Hadoop Distributed File System),它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

1.2 HDFS优缺点

（1）优点

  • 高容错性

数据自动保存多个副本。它通过增加副本的形式，提高容错性。
image.png
某一个副本丢失以后，它可以自动恢复。
image.png

  • 适合处理大数据
    • 数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；
    • 文件规模：能够处理百万规模以上的文件数量，数量相当之大。
  • 可构建在廉价机器上，通过多副本机制，提高可靠性。

（2）缺点

  • 不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
  • 无法高效的对大量小文件进行存储。
    • 存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的；
    • 小文件存储的寻址时间会超过读取时间，它违反了HDF$的设计目标。
  • 不支持并发写入、文件随机修改。
    • 一个文件只能有一个写，不允许多个线程同时写；

image.png

  • 仅支持数据append(追加)，不支持文件的随机修改。

1.3 HDFS组成架构（了解）

image.png

  • NameNode:就是Master,它是一个主管、管理者。
    • 管理HDFS的名称空间；
    • 配置副本策略；
    • 管理数据块(Block)映射信息；
    • 处理客户端读写请求。
  • DataNode:就是Slave。NameNode：下达命令，DataNode执行实际的操作。
    • 存储实际的数据块；
    • 执行数据块的读/写操作。
  • Client:就是客户端。
    • 文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block（块）,然后进行上传；
    • 与NameNode交互，获取文件的位置信息；
    • 与DataNode交互，读取或者写入据：
    • Client提供一些命令来管理HDFS,比如NameNode格式化；
    • Client可以通过一些命令来访问DFS,比如对寸HDFS增删查改操作；
  • SecondaryNameNode:并非NameNode的热备。当NameNode挂掉的时候，它并不
    能马上替换NameNode并提供服务。
    • 辅助NameNode,分担其工作量，比如定期合并Fsimage和Edits,并推送给NameNode;
    • 在紧急情况下，可辅助恢复NameNode.

1.4 HDFS文件块大小

HDFS中的文件在物理上是分块存储(Block)，块的大小可以通过配置参数（dfs.blocksize)来规定，默认大小在Hadoop2.x/3.x版本中是128M,1.x版本中是64M。
image.png

思考：为什么块的大小不能设置太小，也不能设置太大？
(1)HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置，
(2)如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。
总结：HDFS块的大小设置主要取决丰磁盘传输速率

2.HDFS的Shell操作

2.1 基本语法

hadoop fs 具体命令 OR hdfs dfs 具体命令
两个完全一样

2.2 常用命令

①上传

  • -moveFromLocal

从本地剪切到HDFS

hdfs dfs -moveFromLocal ./shuguo.txt /sanguo
  • -copyFromLocal

从本地文件系统中拷贝到HDFS路径去

hdfs dfs -copyFromLocal weiguo.txt /sanguo
  • -put

等同于copyFromLocal,生产环境更习惯用put

hdfs dfs -put wuguo.txt /sanguo
  • -appendToFile

追加一个文件到已经存在的文件末尾

hdfs dfs -appendToFile liubei.txt /sanguo/shuguo.txt

②下载

  • -copyToLocal

从HDFS拷贝到本地

hdfs dfs -copyToLocal /sanguo/shuguo.txt ./
  • -get

等同于copyToLocal,生产环境更习惯用get

hdfs dfs -get /sanguo/shuguo.txt ./shuguo2.txt

③HDFS直接操作

  • -ls ：显示目录信息
  • -cat ：显示文件内容
  • -chgrp、-chmod、-chown ：Linux文件系统中的用法一样，修改文件所属权限
  • -mkdir ：创建路径
  • -cp ：从HDFS的一个路径拷贝到HDFS的另一个路径
  • -mv ：在HDFS目录中移动文件
  • -tail：显示一个文件的末尾1kb的数据
  • -rm：删除文件或文件夹
  • -rm -r ：递归删除目录及目录里面内容
  • -du：统计文件夹的大小信息
  • -setrep ：设置HDFS中文件的副本数量
hdfs dfs -settrep 10 /jinguo/shuguo.txt

3.HDFS的API操作

public class HdfsCliient{

    //全局
    private FileSystem fs;
        
    @Before
    public void init() throwa URISyntaxException,IOException, InterruptedException{
    
    // 连接的集群nn地址
    URIuri new URI(str:"hdfs://hadoop102:8020");
    
    //创建一个配置文件
    Configuration configuration new Configuration();
    
    // 用户
    String user = "atguigu";
    
    // 1 获取到了客户端对象
    fs = FileSystem.get(uri,configuration,user);
    }
    
    @After
    public void close() throwa IOException{
    
    // 3 关闭资源
    fs.close()
    }
    
    
    //创建目录
    @Test
    public void testmkdir()throws URISyntaxException,IOException, InterruptedException{
    
    // 2 创建一个文件夹
    fs.mkdirs(new Path("/xiyou/huaguoshan"));
    }


	// 上传
    /**
    *参数优先级
    *hdfs-default.xml => hdfs-site.xml => 子啊项目资源目录下的配置文件 => 代码里的配置优先级最高
    
    */
    public void testPut(){
        // 参数解读：参数一：表示删除数据； 参数二：是否允许覆盖； 参数三：原数据路径； 参数四：目的地路径
        fs.copyFromLocalFile(delSrc：false，overwrite:false,new Path(pathString:"D://sunwukong.txt"),new Path(pathString:"hdfs://hadoop102/xiyou/huaguoshan"));
    }

	// 文件下载
    public void testGet{
        //参数解读：参数一：原文件是否删除； 参数二：原文件路径HDFS； 参数三：目标地址路径Win； 参数四：进行crc校验
    	fs.copyToLocalFile(delSrc：false，new Path(pathString:"hdfs://hadoop102/xiyou/huaguoshan"),new Path(pathString:"D://")，userRawLocaclFileSystem:false);
    }

    // 文件删除
    public void testRm(){
    	//参数解读：参数一：要删除的路径； 参数二：是否递归删除；
        
        //删除文件
        fs.delete(new Path(pathString:".jdk-8u212-linux-x64.tar.gz"),recursive:false);

        //删除空目录
    	fs.delete(new Path(pathString:"/xiyou"),recursive:false);

        //删除非空目录
        fs.delete(new Path(pathString:"/jingguo"),recursive:true);
    }

    //文件的更名和移动
    @Test
    public void testmv(){
    	//参数解读：参数一：原文件路径； 参数二：目标文件路径
        //对文件名称的修改
        fs.rename(new Path("/intput/word.txt"),new Path("/input/ss.txt"));

        // 文件的移动和更名
        fs.rename(new Path("/intput/ss.txt"),new Path("/cls.txt"));

        //目录的更名
        fs.rename(new Path(pathString:"/intput"),new Path(pathString:"/output"));
        
    }

    //获取文件详情
    @Test
    public viod fileDetail(){
    	//获取所有文件信息
        RemoteIterator<LocatedFileStatus> listFiles = fs.ListFiles(new Path(pathString:"/"), recursive:true);

        //遍历文件
        while (listFiles.hasNext(){
        	LocatedFileStatus fileStatus listFiles.next();
            
			System.out.println("=========="+fileStatus.getPath()+"=========");
            System.out.println(fileStatus.getPermission());
            System.out.println(fileStatus.getOwner());
            System.out.println(fileStatus.getGroup());
            System.out.println(fileStatus.getLen());
            System.out.println(fileStatus.getModificationTime());
            System.out.println(fileStatus.getReplication);
            System.out.println(fileStatus.getBlockSize());
            System.out.println(fileStatus.getPath().getName());

            //获取块信息
        	BlockLocation[] blockLocations = fileStatus.getBlockLocations();
        	System.out.println(Arrays.toString(blockLocations));
            
        }
        
    }
    //判断是文件夹还是文件
    public void testFile() throws IOException{
        //循环遍历每一个文件
        FileStatus[] listStatus = fs.ListStatus(new Path(pathString:"/"));
        //判断他是不是一个文件
        for(FileStatus status : ListStatus){
            //如果是打印文件，不是打印目录
           if(status.isFile()){
               System.out.println("文件："+status.getPath().getName());
           } else{
               System.oUt.println("目录："+status.getPath().getName());
           }
        }
    }

4.HDFS读写流程

4.1 HDFS写数据流程

5d42ea49722739b6ba2491d74ae9e365.png
网络拓扑-节点距离计算

在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。那么这个最近距离怎么计算呢？
节点距离：两个节点到达最近的共同祖先的距离总和。image.png

4.2 机架感知

副本节点选择
image.png

4.3 HDFS读数据流程

image.png

读的时候是串行，先读DataNode1的blk_1,再读DataNode2的blk_2

4.4 NN和2NN工作机制(NameNode)

image.png

4.5 Fsimage和Edis概念

NameNode被格式化之后，将在/opt/module/hadoop-3.l.3/data/tmp/dfs/name/current目录中生如下文件
fsimage0000000000000000000
fsimage0000000000000000000.md5
seen txid
VERSION
(1)Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件inodef的序列化信息。
(2)Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到Edits文件中。
(3)seen_txid文件保存的是一个数字，就是最后一个edits_的数字
(4)每次NameNode启动的时候都会将Fsimage文件读入内存，加载Edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成NameNode启动的时候就将Fsimage和Edits文件进行了合并。

4.6 DataNode工作机制

image.png

4.7 数据完整性

image.png

二、MapReduce

MapReduce概述

1.1 MapReduce定义

MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。自己处理业务相关代码+自身的默认代码。
MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。

1.2 MapReduce优缺点

优点：
1、易于编程。用户只关心，业务逻辑。实现框架的接口。
2、良好扩展性：可以动态增加服务器，解决计算资源不够问题
3、高容错性。任何一台机器挂掉，可以将任务转移到其他节点。
4、适合海量数据计算(TB/PB)几千台服务器共同计算。
缺点：
1、不擅长实时计算。ysql
2、不擅长流式计算。Sparkstreaming flink
3、不擅长DAG有向无环图计算。spark

1.3 MapReduce核心编程思想

image.png

  • 1)MapReduce运算程序一般需要分成2个阶段：Map阶段和Reduce阶段
  • 2)Map阶段的并发MapTask,完全并行运行，互不相干
  • 3)Reduce阶段的并发ReduceTask,完全互不相千，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出
  • 4)MapReduce编程模型只能包含一个Map阶段和个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序，串行运行

1.4 MapReduce进程

一个完整的MapReduce程序在分布式运行时有三类实例进程：
(1)MrAppMaster：负责整个程序的过程调度及状态协调。
(2)MapTask：负责Map阶段的整个数据处理流程。
(3)ReduceTask：负责Reduce阶段的整个数据处理流程。

1.5 MapReduce编程规范

Mapper阶段

(1)用户自定义的Mapper要继承自己的父类
(2)Mapper的输入数据是KV对的形式(KV的类型可自定义)
(3)Mapper中的业务逻辑写在map0方法中
(4)Mapper的输出数据是KV对的形式(KV的类型可自定义)
(5)map0方法(MapTaski进程)对每一个<K,V>调用一次

Reducer阶段

(1)用户自定义的Reducer要继承自己的父类
(2)Reducer的输入数据类型对应Mapper的输出数据类型，也是KV
(3)Reducer的业务逻辑写在reduce()方法中
(4)ReduceTask进程对每一组相同k的k,v>组调用一次reduce()方法

Driver阶段

相当于YARN集群的客户端，用于提交我们整个程序到YARN集群，提交的是封装了MapReduce程序相关运行参数的job对象

Hadoop序列化

2.1 序列化概述

什么是序列化？

序列化是指将内存中的对象转换成字节序列（或是其他数据传输协议），以便将其存储于磁盘中（持久化存储）或进行网络传输的过程

为什么不用Java序列化机制？

Java具有一套序列化机制，但是Java的学历恶化机制是一个重量级序列化框架，一个对象在被序列化后，会附带很多额外信息（各种校验信息、Header、继承体系等），不便于在网络中进行高效传输。所以，Hadoop自己开发了一套序列化机制。

Hadoop序列化机制的特点：
  • 紧凑：紧凑的格式有助于高效实用存储空间，充分利用网络带宽
  • 快速：序列化和反序列化的性能开销小，可以实现进程之间的快速通信
  • 互操作：统一的序列化框架可以支持多语言与服务器的交互

MapReduce框架原理之InputFormat数据输入

数据切片与maptask并行度决定机制

1)一个Job的Map阶段并行度由客户端在提交Job时的切片数决定
2)每一个Split切片分配一个MapTaski并行实例处理
3)默认情况下，切片大小=BlockSize
4)切片时不考虑数据集整体，而是逐个针对每一个文件单独切片

数据切片：数据切片只是在逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储，数据切片是MapReduce程序计算输入数据的单位，一个切片会对应启动一个MapTask。
image.png

image.png

FileInputFormat切片机制

1、切片机制
(1)简单地按照文件的内容长度进行切片
(2)切片大小，默认等于Bl1ock大小
(3)切片时不考虑数据集整体，而是逐个针对每一个文件单独切片
2、案例分析
(1)输入数据有两个文件：
filel.txt 320M
file2.txt 10M
(2)经过FileInputFormat的切片机制，运算后，形成的切片信息如下：
filel.txt.splitl – 0~128
filel.txt.split2 – 128256
filel.txt.split3 – 256~320
file2.txt.splitl – 0~10M

CombineTextInputFormat切片机制

框架默认的TextInputFormat切片机制是对任务按文件规划切片，不管文件多小，都会是一个单独的切片，都会交给一个MapTask,这样如果有大量小文件，就会产生大量的MapTask,处理效率极其低下。
1)应用场景：
CombineTextInputFormat用于小文件过多的场景，它可以将多个小文件从逻辑上规划到一个切片中，这样，多个小文件就可以交给一个MapTask处理。
2)虚拟存储切片最大值设置~
CombineTextInputFormat.setMaxInputSplitSize(job,4194304);//4m
注意：虚拟存储切片最大值设置最好根据实际的小文件大小情况来设置具体的值。
3)切片机制
生成切片过程包括：虚拟存储过程和切片过程二部分。
image.png

MapReduce详细工作流程

MapReduce框架原理之shuffle机制

shuffle机制

Map方法之后，Reduce方法之前的数据处理过程称之为Shuffle。
image.png

partition分区

要求将统计结果按照条件输出到不同文件中（分区）。比如：将统计结果按照手机归属地不同省份输出到不同文件中（分区）
默认分区HashPartitioner,默认按照key的hash值numreducetask个数
(1)如果ReduceTask的数量>getPartition的结果数，则会多产生几个空的输出文件part-r-O00xx;
(2)如果1<ReduceTask的数量<getPartition的结果数，则有一部分分区数据无处安放，会Exception;
(3)如果ReduceTask的数量-1，则不管MapTaski端输出多少个分区文件，最终结果都交给这一个ReduceTask,最终也就只会产生一个结果文件part-r-00000;
例如：假设自定义分区数为5,则
(1) job.setNumReduceTasks(1); 会正常运行，只不过会产生一个输出文件
(2) job.setNumReduceTasks(2); 会报错
(3) job.setNumReduceTasks(6); 大于5,程序会正常运行，会产生空文件
(4)分区号必须从零开始，逐一累加。例：
image.png

combiner合并

(I)Combiner是MR程序中Mapperz和Reducer之外的一种组件。
(2)Combiner组件的父类就是Reducer。.
(3)Combinerz和Reducer的区别在于运行的位置
Combiner是在每一个MapTask所在的节点运行；
Reducer是接收全局所有MapperE的输出结果；
(4)Combiner的意义就是对每一个MapTask的输出进行局部汇总，以减小网络传输量。
(5)Combiner能够应用的前提是不能影响最终的业务逻辑，而且，Combiner的输出kv应该跟Reducer的输入kv类型要对应起来。
image.png

join

①reduce join
Map端的主要工作：为来自不同表或文件的key/value对，打标签以区别不同来源的记
录。然后用连接字段作为key,其余部分和新加的标志作为value,最后进行输出。
Reduce端的主要工作：在Reduce端以连接字段作为key的分组已经完成，我们只需要
在每一个分组当中将那些来源于不同文件的记录（在Mp阶段已经打标志）分开，最后进
行合并就ok了。
②map join
（1）使用场景
Map Join适用于一张表十分小、一张表很大的场景。
（2）优点
思考：在Reduce端处理过多的表，非常容易产生数据倾斜。怎么办？
在Map端缓存多张表，提前处理业务逻辑，这样增加Map端业务，减少Reduce端数
据的压力，尽可能的减少数据倾斜。
（3）具体办法：采用DistributedCache

  • 在Mapper的setup阶段，将文件读取到缓存集合中。
  • 在Driver驱动类中加载缓存。

数据压缩

①压缩的好处和坏处
压缩的优点：以减少磁盘O、减少磁盘存储空间。
压缩的缺点：增加CPU开销。
②压缩原则
（1）运算密集型的Job,少用压缩
（2）I/O密集型的Job,多用压缩

三、Yarn

1.资源调度器

3.1 Yarn基础框架

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
YARN主要由ResourceManager、.NodeManager、ApplicationMaster和Container等组件
构成。
image.png

3.2 Yarn工作机制

image.png

3.3作业提交过程

HDFS、YARN、MapReduce三者关系

image.png

Yarn工作机制

image.png

HDFS & MapReduce

image.png

3.4 Yarn调度器和调度算法

目前，Hadoop作业调度器主要有三种：FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)。Apache Hadoop3.l.3默认的资源调度器是Capacity Scheduler。.
CDH框架默认调度器是Fair Scheduler。

①先进先出调度器（FIFO）

image.png

②容量调度器

Capacity Scheduler是Yahoo（雅虎）开发的多用户调度器
image.png
容量调度器特点：
1、多队列：每个队列可配置一定的资源量，每个队列采用FFO调度策略。
2、容量保证：管理员可为每个队列设置资源最低保证和资源使用上限
3、灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
4、多租户：支持多用户共享集群和多应用程序同时运行。
为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。
image.png
容量调度器资源分配算法：
1)队列资源分配
从root开始，使用深度优先算法，优先选择资源占用率最低的队列分配资源。
2)作业资源分配
默认按照提交作业的优先级和提交时间顺序分配资源。
3)容器资源分配
按照容器的优先级分配资源；如果优先级相同，按照数据本地性原则：
(1)任务和数据在同一节点
(2)任务和数据在同一机架
(3)任务和数据不在同一节点也不在同一机架

③公平调度器

Fair Schedulere 是Facebook开发的多用户调度器。，
image.png
与容量调度器相同点
(1)多队列：支持多队列多作业
(2)容量保证：管理员可为每个队列设置资源最低保证和资源使用上线
(3)灵活性：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。
(4)多租户：支持多用户共享集群和多应用程序同时运行；为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。
与容量调度器不同点
(1)核心调度策略不同
容量调度器：优先选择资源利用率低的队列
公平调度器：优先选择对资源的缺额比例大的
(2)每个队列可以单独设置资源分配方式
容量调度器：FIFO、DRF
公平调度器：FIFO、FAIR、DRF

3.5 公平调度器——缺额

image.png
公平调度器设计目标是：在时间尺度上，所有作业获得公平的资源。某一时刻一个作业应获资源和实际获取资源的差距叫“缺额”
调度器会优先为缺额大的作业分配资源

3.6 公平调度器队列资源分配方式

（1）FIFO策略
公平调度器每个队列资源分配策略如果选择FFO的话，此时公平调度器相当于上面讲过的容量调度器。
（2）Fair策略
Fair策略（默认）是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到12的资源；如果三个应用程序同时运行，则每个应用程序可得到1/3的资源。
具体资源分配流程和容量调度器一致；

  1. 选择队列
  2. 选择作业
  3. 选择容器

以上三步，每一步都是按照公平策略分配资源
实际最小资源份额：mindshare=Min(资源需求量，配置的最小资源)
是否饥饿：isNeedy=资源使用量<mindshare(实际最小资源份额)
image.png
eg：
image.png

  • 队列资源分配

需求：集群总资源100，有三个队列，对资源的需求分别是：
queueA->20,queueB->50,queueC -30
第一次算：100/3=33.33
queueA:分33.33→多13.33
queueB:分33.33→少16.67
queueC:分33.33→多3.33
第二次算：（13.33+3.33)/1=16.66
queueA:分20
queueB:分33.33+16.66=50
queueC:分30

  • 作业资源分配

image.png

  • DRF策略

DRF(Dominant Resource Fairness),我们之前说的资源，都是单一标准，例如只考虑内存（也是Yarn默认的情况)。但是很多时候我们资源有很多种，例如内存，CPU,网络带宽等，这样我们很难衡量两个应用应该分配的资源比例。
那么在YARN中，我们用DRF来决定如何调度：
假设集群一共有100CPU和10T内存，而应用A需要(2CPU,300GB),应用B需要(6CPU,100GB)。则两个应用分别需要A(2%CPU,3%内存)和B(6%CPU,1%内存)的资源，这就意味着A是内存主导的，B是CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源(CPU和内存)的一个不同比例的限制。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1389717.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

[分布监控平台] Zabbis 监控

[分布监控平台] Zabbis 监控

zabbix 是什么&#xff1f; zabbix 是一个基于 Web 界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix 能监视各种网络参数&#xff0c;保证服务器系统的安全运营&#xff1b;并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。 zabbix …
阅读更多...
计算机网络——应用层（3）

计算机网络——应用层（3）

计算机网络——应用层&#xff08;3&#xff09; 小程一言专栏链接: [link](http://t.csdnimg.cn/ZUTXU) 点对点&#xff08;P2P&#xff09;P2P网络一般用途优点缺点总结 套接字编程基本步骤UDP套接字TCP套接字基本步骤 二者对比 小程一言 我的计算机网络专栏&#xff0c;是自…
阅读更多...
软考2023年上半年，选择题讲解4-27

软考2023年上半年，选择题讲解4-27

中断向量提供的是(4) A.中断源的设备地址 B.中断服务程序的入口地址 C.传递数据的超始地址. D.主程序的断点地址. 中断向量通常包含中断服务程序的入口地址&#xff0c;而不是中断源的设备地址。 所以选B -------------------------------------------------------------…
阅读更多...
字节发布Coze GPTs，可免费体验GPT-4与DALL3绘画模型

字节发布Coze GPTs，可免费体验GPT-4与DALL3绘画模型

open AI发布ChatGPT以来，很多基于ChatGPT好玩的应用也随之而来。而OpenAI也发布了自己的GPT store。他允许任何人基于ChatGPT开发自己的应用并上传到GPT store里面。而字节基于发布的coze，可以让没有API的小伙伴免费使用GPT-4以及DELL-3等模型。 首先需要我们登陆到coze的官网…
阅读更多...
java数据结构与算法刷题-----LeetCode96. 不同的二叉搜索树

java数据结构与算法刷题-----LeetCode96. 不同的二叉搜索树

java数据结构与算法刷题目录&#xff08;剑指Offer、LeetCode、ACM&#xff09;-----主目录-----持续更新(进不去说明我没写完)&#xff1a;https://blog.csdn.net/grd_java/article/details/123063846 很多人觉得动态规划很难&#xff0c;但它就是固定套路而已。其实动态规划只…
阅读更多...
day02_环境_基础

day02_环境_基础

今日内容 零、复习昨日 一、工欲善其事必先利其器 二、GPT 三、Java是个啥 四、安装JDK 五、HelloWorld程序[重点] 六、编码规范 七、IDEA 八、Typora工具 附录: 单词 零、 复习昨日 复习 作业 一、工欲善其事必先利其器 看视频 PotPlayer 轻便,无级变速 内网通 局域网,聊天办公…
阅读更多...
java应用中swagger使用

java应用中swagger使用

文章目录 前言使用依赖引入配置注解使用controller中注解实体类注解 页面展示 前言 现在前后端分离式开发&#xff0c;最头疼的部分就是接口文档了。最讨厌两种人&#xff0c;一种是不写接口文档的人&#xff0c;另一种则是让我写接口文档的人。实际上&#xff0c;我们有一款特…
阅读更多...
【IC设计】ICer‘s 乾坤大挪移——FSM状态机

【IC设计】ICer‘s 乾坤大挪移——FSM状态机

目录 理论解读状态机定义状态转移图Mealy和Moore型状态机推荐写“新两段式状态机” 设计实战可乐机两种state的FSM&#xff08;异步复位&#xff09;4种状态的one-hot状态机4种状态的同步复位状态机蓄水池问题 参考链接 理论解读 状态机定义 状态机简写为 FSM&#xff08;Fin…
阅读更多...
基于域账户及西门子simatic logon的集中权限管理的实现（二）

基于域账户及西门子simatic logon的集中权限管理的实现（二）

上次我们完成了域环境及simatic logon服务器的搭建&#xff0c;今天我们将在wincc及HMI上进行组态&#xff0c;实现用域账户进行登录。 3.WINCC用户管理组态引文&#xff1a;博途工控人平时在哪里技术交流博途工控人社群 3.1 首先将要安装WINCC的服务器加入域。 3.2 在wincc…
阅读更多...
SQL Server Management Studio (SSMS) 备份数据库

SQL Server Management Studio (SSMS) 备份数据库

文章目录 前言一、在界面上操作二、使用sql 代码操作总结 前言 之前的文章记录过如何使用sqlserver复制远程数据库到本地。这里补充下如何使用SQL Server Management Studio (SSMS) 备份。 传送门&#xff1a;sqlserver复制远程数据库到本地 一、在界面上操作 在 SQL Server …
阅读更多...
MyTinySTL 简单分析（二）--util.h exceptdef.h

MyTinySTL 简单分析（二）--util.h exceptdef.h

目前在学习STL&#xff0c;看到一个开源的项目MyTinySTL&#xff0c;非常不错。想着照着这个代码自己敲一遍应该也能有些进步。然后就开始了学习过程。 首先分析的是vector 以下是由vector.h关联的所有头文件 本篇分析一下util.h &#xff0c; xxx 这里先来研究几个函数 st…
阅读更多...
酒店订房小程序源码系统：帮您打造类似美团的酒店模式的小程序 带完整的安装部署教程

酒店订房小程序源码系统：帮您打造类似美团的酒店模式的小程序 带完整的安装部署教程

随着移动互联网的快速发展&#xff0c;小程序已经成为一种新型的应用形态&#xff0c;为各大行业提供了更加便捷的服务。其中&#xff0c;酒店预订小程序作为一种方便快捷的预订方式&#xff0c;备受用户青睐。小编给大家分享一款酒店订房小程序源码系统&#xff0c;旨在帮助您…
阅读更多...
Ubuntu20.04-剪贴板

Ubuntu20.04-剪贴板

针对图形界面用户 1.两种方式 1.1 安装Parcellite 简单轻量级剪贴板管理器 sudo apt install parcellite 1.2 安装Gpaste 更强大的剪贴板管理器&#xff0c;包含历史记录和同步功能 sudo apt install gpaste
阅读更多...
参加数据库活动，学习知识，领取奖品

参加数据库活动，学习知识，领取奖品

去年12月1日我发了一篇关于数据库高可用的文章《我们的数据库需要什么样的HA&#xff1f;》&#xff0c;文中介绍了阿里云PolarDB MySQL通过了热备无感秒切技术&#xff0c;解决了HA场景下的故障探测、切换速度和切换体验的问题。文末提到了线上的PolarDB功能体验馆&#xff0c…
阅读更多...
汽车研发测试大全

汽车研发测试大全

车研发中需要做的试验&#xff0c;这些试验都是保证我们的车能安全、稳定、可靠行驶的必要条件。主要包含以下内容&#xff1a; 一、整车试验项目 1.1整车可靠性试验 1.2 NVH试验 1.3 HVAC试验 1.4 EMC试验 1.5 化学分析试验 1.6 整车道路性能试验 二、零部件试验项目 …
阅读更多...
特征工程之降维算法

特征工程之降维算法

数据降维简介 数据降维即对原始数据特征进行变换，使得特征的维度减少。 依据降维过程是否可以用一个线性变换表示，降维算法可以分为线性降维算法和非线性降维算法，下图展示了各种降维算法及其类别： 降维的必要性： 多重共线性和预测变量之间相互关联。多重共线性会导致解空…
阅读更多...
【架构】docker实现集群主从扩容【案例3/4】

【架构】docker实现集群主从扩容【案例3/4】

实现集群主从扩容 当整个集群扛不住流量的情况时&#xff0c;需要给集群扩容增加设备&#xff0c;由3主3从&#xff0c;扩为4主4从。实现&#xff1a; 示意图如下&#xff1a; 第一步&#xff1a;新创建两个节点&#xff08;redis-node-7&#xff0c;端口6387和 redis-node…
阅读更多...
白码CRM快速实现报价转订单功能

白码CRM快速实现报价转订单功能

某crm项目已经做到销售模块了&#xff0c;销售模块实现了从报价到销售单&#xff0c;再到财务模块的应收流程。但使用过程中发现不好用的地方&#xff1a;报价通过后客户下单&#xff0c;销售相关人员又要重新录入数据一样的销售单&#xff0c;觉得这样的操作比较繁琐&#xff…
阅读更多...
若依基于sm-crypto实现前后端登录密码加密

若依基于sm-crypto实现前后端登录密码加密

上一节介绍了基于jsencrypt实现的密码加密解密登录功能&#xff0c;这次来介绍基于sm-crypto实现前后端登录密码加密&#xff0c;本次采用的是sm2进行的加密解密。 后端 首先从后端代码开始写起(因为公钥和私钥都是要从java代码中生成)&#xff1a; 首先需要引入sm-crypto的j…
阅读更多...
【UE Niagara 条带粒子系列】01-初识条带渲染器

【UE Niagara 条带粒子系列】01-初识条带渲染器

目录 效果 步骤 一、创建条带渲染器 二、增加粒子生成数量 三、设置条带粒子的初始宽度 效果 步骤 一、创建条带渲染器 1. 新建一个Niagara系统 选择“Simple Sprite Burst”模板 这里命名为“NS_RibbonRenderer” 打开“NS_RibbonRenderer”&#xff0c;删除“Sprite…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023