Hadoop入门学习笔记——四、MapReduce的框架配置和YARN的部署

news2025/1/15 23:06:55

视频课程地址：https://www.bilibili.com/video/BV1WY4y197g7
课程资料链接：https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8

Hadoop入门学习笔记（汇总）

目录

  • 四、MapReduce的框架配置和YARN的部署
    • 4.1. 配置MapReduce和YARN
    • 4.2. YARN集群启停脚本
      • 4.2.1. 一键启停脚本
      • 4.2.2. 单独进程启停
    • 4.3. 提交MapReduce示例程序到YARN运行
      • 4.3.1. 提交wordcount（单词统计）示例程序
      • 4.3.2. 提交根据Monte Carlo蒙特卡罗算法求圆周率的示例程序

四、MapReduce的框架配置和YARN的部署

本次YARN的部署结构如下图所示：
在这里插入图片描述
当前，共有三台服务器（虚拟机）构成集群，集群规划如下所示：

主机部署的服务
node1ResourceManager、NodeManager、ProxyServer、JobHistoryServer
node2NodeManager
node3NodeManager

MapReduce是运行在YARN上的，所以MapReduce只需要配置，YARN需要部署并启动。

4.1. 配置MapReduce和YARN

1、在node1节点，修改mapred-env.sh文件：

# 进入hadoop配置文件目录
cd /export/server/hadoop-3.3.4/etc/hadoop/
# 打开mapred-env.sh文件
vim mapred-env.sh

打开后，在文件中加入以下内容：

# 设置JDK路径
export JAVA_HOME=/export/server/jdk
# 设置JobHistoryServer进程的内存为1G
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
# 设置日志级别为INFO
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

2、再修改同目录下的mapred-site.xml配置文件，在其configuration标签内增加以下内容：

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description></description>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
    <description></description>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
    <description></description>
  </property>
  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/data/mr-history/tmp</value>
    <description></description>
  </property>
  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/data/mr-history/done</value>
    <description></description>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>

其中，
mapreduce.framework.name 表示MapReduce的运行框架，这里设置为Yarn；
mapreduce.jobhistory.address 表示历史服务器通讯地址和端口号，这里为node1:10020；
mapreduce.jobhistory.webapp.address 表示历史服务器Web端地址和端口号，这里为node1:19888；
mapreduce.jobhistory.intermediate-done-dir 表示历史信息在HDFS的记录临时路径，这里是/data/mr-history/tmp；
mapreduce.jobhistory.done-dir 表示历史信息在HDFS的记录路径，这里是/data/mr-history/done；
yarn.app.mapreduce.am.env 表示MapReduce HOME的路径，这里设置为HADOOP_HOME相同路径；
mapreduce.map.env 表示Map HOME的路径，这里设置为HADOOP_HOME相同路径；
mapreduce.reduce.env 表示Reduce HOME的路径，这里设置为HADOOP_HOME相同路径；

至此，MapReduce的配置完成。

3、接下来，配置YARN。在node1节点，修改yarn-env.sh文件：

# 进入hadoop配置文件目录
cd /export/server/hadoop-3.3.4/etc/hadoop/
# 打开yarn-env.sh文件
vim yarn-env.sh

在文件中添加以下内容：

# 设置JDK路径的环境变量
export JAVA_HOME=/export/server/jdk
# 设置HADOOP_HOME的环境变量
export HADOOP_HOME=/export/server/hadoop
# 设置配置文件路径的环境变量
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
# 设置日志文件路径的环境变量
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

4、修改同目录下的yarn-site.xml配置文件，在其configuration节点中添加以下内容：

  <!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
    <description></description>
  </property>
    <property>
    <name>yarn.web-proxy.address</name>
    <value>node1:8089</value>
    <description>proxy server hostname and port</description>
  </property>
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>
  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>

  <!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
    <description></description>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    <description></description>
  </property>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/nm-local</value>
    <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
  </property>
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/nm-log</value>
    <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
  </property>
  <property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>10800</value>
    <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>Shuffle service that needs to be set for Map Reduce applications.</description>
  </property>

其中，核心配置如下：
yarn.resourcemanager.hostname 表示ResourceManager设置在哪个节点，这里是node1节点；
yarn.nodemanager.local-dirs 表示NodeManager中间数据Linux系统本地存储的路径；
yarn.nodemanager.log-dirs 表示NodeManager数据Linux系统日志本地存储的路径；
yarn.nodemanager.aux-services 表示为MapReduce程序开启Shuffle服务；
额外配置如下：
yarn.log.server.url 表示历史服务器的URL；
yarn.web-proxy.address 表示代理服务器的主机和端口号；
yarn.log-aggregation-enable 表示是否开启日志聚合；
yarn.nodemanager.remote-app-log-dir 表示程序日志在HDFS中的存放路径；
yarn.resourcemanager.scheduler.class 表示选择Yarn使用的调度器，这里选的是公平调度器；

5、完成上述配置后，需要将MapReduce和YARN的配置文件分发到node2和node3服务器相同位置中，使用hadoop用户身份执行以下命令

# 将mapred-env.sh、mapred-site.xml、yarn-env.sh、yarn-site.xml四个配置文件，复制到node2的相同路径下
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node2:`pwd`/
# 将mapred-env.sh、mapred-site.xml、yarn-env.sh、yarn-site.xml四个配置文件，复制到node3的相同路径下
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node2:`pwd`/

4.2. YARN集群启停脚本

在启动YARN集群前，需要确保HDFS集群已经启动。同样，启停YARN集群也必须使用hadoop用户身份。

4.2.1. 一键启停脚本

  1. $HADOOP_HOME/sbin/start-yarn.sh或start-yarn.sh 一键启动YARN集群
  • 会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager；
  • 会基于workers文件配置的主机启动NodeManager;
  • 在当前机器启动ProxyServer（代理服务器）。
    命令执行效果如下图所示：
    在这里插入图片描述
    此时通过jps命令查看进程，可以看到如下效果：
    在这里插入图片描述
    此时，可以看到ResourceManager、NodeManager和WebAppProxyServer都已经启动，还需要启动HistoryServer，可以通过后续章节介绍的mapred --daemon start historyserver命令启动。
    至此，整个YARN集群启动完成。
    此时，可以通过访问http://node1:8088/ 即可看到YARN集群的监控页面（即ResourceManager的WebUI）
    在这里插入图片描述
  1. $HADOOP_HOME/sbin/stop-yarn.sh 或 stop-yarn.sh 一键关闭YARN集群。
  2. 配置部署好YARN集群后，可以关闭YARN集群、关闭JobHistoryServer、关闭HDFS集群、关闭虚拟机之后，对虚拟机创建快照，保存好当前环境。

4.2.2. 单独进程启停

  1. 在每一台机器，单独启动或停止进程，可以通过如下命令执行：
$HADOOP_HOME/bin/yarn --daemon start|stop resourcemanager|nodemanager|proxyserver

start和stop决定启动和停止；
可控制resourcemanager、nodemanager、webappproxyserver三种进程。
例如：

# 在node1启动ResourceManager
yarn --daemon start resourcemanager
# 在node1、node2、node3分别启动NodeManager
yarn --daemon start nodemanager
# 在node1启动WebProxyServer
yarn --daemon start proxyserver
  1. 历史服务器（JobHistoryServer）的启动和停止
$HADOOP_HOME/bin/mapred --daemon start|stop historyserver

用法：

# 启动JobHistoryServer
mapred --daemon start historyserver
# 停止JobHistoryServer
mapred --daemon stop historyserver

4.3. 提交MapReduce示例程序到YARN运行

YARN作为资源调度管控框架，其本身提供资供许多程序运行，常见的有：

  • MapReduce程序
  • Spark程序
  • Flink程序

Hadoop官方提供了一些预置的MapReduce程序代码，存放于$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar文件内。
上述程序可使用hadoop har命令提交至YARN运行，其命令语法为：

hadoop jar 程序文件 java类名 [程序参数] ... [程序参数]

4.3.1. 提交wordcount（单词统计）示例程序

1、程序内容

  • 给定数据输入的路径（HDFS）、给定结果输出的路径（HDFS）
  • 将输入路径内的数据中的单词进行计数，将结果写到输出路径

2、准备一份待统计的数据文件并上传至HDFS中
使用vim words.txt命令，在Linux本地创建words.txt文件，其内容如下：

itheima itcast itheima itcast
hadoop hdfs hadoop hdfs
hadoop mapreduce hadoop yarn
itheima hadoop itcast hadoop
itheima itcast hadoop yarn mapreduce

使用命令hdfs dfs -mkdir -p /input在HDFS根目录创建input文件夹（用于存储待统计的文件），使用hdfs dfs -mkdir -p /output命令在HDFS根目录创建output文件夹（用于存储统计结果），使用hdfs dfs -put words.txt /input命令将本地的words.txt文件上传至HDFS系统中。

3、提交MapReduce程序
使用如下命令：

hadoop jar /export/server/hadoop-3.3.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount hdfs://node1:8020/input/ hdfs://8020/output/wc

其中，
hadoop jar 表示向YARN提交一个Java程序；
/export/server/hadoop-3.3.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar 表示所要提交的程序路径；
wordcount 表示要运行的java类名；
hdfs://node1:8020/input/ 表示参数1，在本程序中是待统计的文件夹，这里写了hdfs协议头，指明了是HDFS文件系统的路径（经测试，不写也可以，默认读取HDFS文件系统路径）；
hdfs://8020/output/wc 表示参数2，在本程序中是统计结果输出的文件夹，这里写明了hdfs协议头，指明了是HDFS文件系统的路径（经测试，不写也可以，默认读取HDFS文件系统路径），这里需要确保该文件夹不存在，否则会报错。
运行日志如下所示：

[hadoop@node1 ~]$ hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount hdfs://node1:8020/input hdfs://node1:8020/output/wc
2023-12-14 15:31:53,988 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at node1/192.168.88.101:8032
2023-12-14 15:31:55,818 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/hadoop/.staging/job_1702538855741_0001
2023-12-14 15:31:56,752 INFO input.FileInputFormat: Total input files to process : 1
2023-12-14 15:31:57,040 INFO mapreduce.JobSubmitter: number of splits:1
2023-12-14 15:31:57,607 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1702538855741_0001
2023-12-14 15:31:57,607 INFO mapreduce.JobSubmitter: Executing with tokens: []
2023-12-14 15:31:58,167 INFO conf.Configuration: resource-types.xml not found
2023-12-14 15:31:58,170 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
2023-12-14 15:31:59,119 INFO impl.YarnClientImpl: Submitted application application_1702538855741_0001
2023-12-14 15:31:59,406 INFO mapreduce.Job: The url to track the job: http://node1:8089/proxy/application_1702538855741_0001/
2023-12-14 15:31:59,407 INFO mapreduce.Job: Running job: job_1702538855741_0001
2023-12-14 15:32:23,043 INFO mapreduce.Job: Job job_1702538855741_0001 running in uber mode : false
2023-12-14 15:32:23,045 INFO mapreduce.Job:  map 0% reduce 0%
2023-12-14 15:32:37,767 INFO mapreduce.Job:  map 100% reduce 0%
2023-12-14 15:32:50,191 INFO mapreduce.Job:  map 100% reduce 100%
2023-12-14 15:32:51,220 INFO mapreduce.Job: Job job_1702538855741_0001 completed successfully
2023-12-14 15:32:51,431 INFO mapreduce.Job: Counters: 54
        File System Counters
                FILE: Number of bytes read=84
                FILE: Number of bytes written=553527
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=248
                HDFS: Number of bytes written=54
                HDFS: Number of read operations=8
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=2
                HDFS: Number of bytes read erasure-coded=0
        Job Counters
                Launched map tasks=1
                Launched reduce tasks=1
                Data-local map tasks=1
                Total time spent by all maps in occupied slots (ms)=11593
                Total time spent by all reduces in occupied slots (ms)=9650
                Total time spent by all map tasks (ms)=11593
                Total time spent by all reduce tasks (ms)=9650
                Total vcore-milliseconds taken by all map tasks=11593
                Total vcore-milliseconds taken by all reduce tasks=9650
                Total megabyte-milliseconds taken by all map tasks=11871232
                Total megabyte-milliseconds taken by all reduce tasks=9881600
        Map-Reduce Framework
                Map input records=6
                Map output records=21
                Map output bytes=233
                Map output materialized bytes=84
                Input split bytes=98
                Combine input records=21
                Combine output records=6
                Reduce input groups=6
                Reduce shuffle bytes=84
                Reduce input records=6
                Reduce output records=6
                Spilled Records=12
                Shuffled Maps =1
                Failed Shuffles=0
                Merged Map outputs=1
                GC time elapsed (ms)=300
                CPU time spent (ms)=2910
                Physical memory (bytes) snapshot=353423360
                Virtual memory (bytes) snapshot=5477199872
                Total committed heap usage (bytes)=196218880
                Peak Map Physical memory (bytes)=228843520
                Peak Map Virtual memory (bytes)=2734153728
                Peak Reduce Physical memory (bytes)=124579840
                Peak Reduce Virtual memory (bytes)=2743046144
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters
                Bytes Read=150
        File Output Format Counters
                Bytes Written=54

4、查看运行结果

运行完毕后，使用hadoop fs -ls /output/wc可以看到运行结果输出的文件
在这里插入图片描述
使用hadoop fs -cat /output/wc/part-r-00000命令，可以看到程序运行的结果
在这里插入图片描述

除此之外，在YARN集群的监控页面http://node1:8088/ 点击左侧的Applications菜单，可以看到刚才运行过的任务
在这里插入图片描述
再点击任务的ID，可以进入任务详情页面
在这里插入图片描述
再点击某一个阶段的Logs链接，可以看到对应阶段的运行的客户端日志（在配置yarn-site.xml文件时，配置了开启日志聚合），这个页面本质上是JobHistoryServer提供的页面（19888端口）
在这里插入图片描述
在任务详情页面点击History链接，可以看到任务的历史运行状态，在其中可以看到其Map任务和Reduce任务，也可以继续点进Map和Reduce任务查看相关的日志等信息，对于程序出错时的排查很有帮助。
在这里插入图片描述

4.3.2. 提交根据Monte Carlo蒙特卡罗算法求圆周率的示例程序

1、提交程序

hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 3 1000

hadoop jar 表示向YARN提交一个Java程序；
/export/server/hadoop-3.3.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar 表示所要提交的程序路径；
pi 表示运行的Java类名；
3 表示使用3个Map任务；
1000 表示样本数为1000，样本数越多，求得的圆周率越准确，但是程序运行时长越长。
运行日志如下所示：

[hadoop@node1 ~]$ hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 3 1000
Number of Maps  = 3
Samples per Map = 1000
Wrote input for Map #0
Wrote input for Map #1
Wrote input for Map #2
Starting Job
2023-12-14 16:06:12,042 INFO client.DefaultNoHARMFailoverProxyProvider: Connecting to ResourceManager at node1/192.168.88.101:8032
2023-12-14 16:06:13,550 INFO mapreduce.JobResourceUploader: Disabling Erasure Coding for path: /tmp/hadoop-yarn/staging/hadoop/.staging/job_1702538855741_0002
2023-12-14 16:06:13,888 INFO input.FileInputFormat: Total input files to process : 3
2023-12-14 16:06:14,149 INFO mapreduce.JobSubmitter: number of splits:3
2023-12-14 16:06:14,658 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1702538855741_0002
2023-12-14 16:06:14,659 INFO mapreduce.JobSubmitter: Executing with tokens: []
2023-12-14 16:06:15,065 INFO conf.Configuration: resource-types.xml not found
2023-12-14 16:06:15,065 INFO resource.ResourceUtils: Unable to find 'resource-types.xml'.
2023-12-14 16:06:15,256 INFO impl.YarnClientImpl: Submitted application application_1702538855741_0002
2023-12-14 16:06:15,403 INFO mapreduce.Job: The url to track the job: http://node1:8089/proxy/application_1702538855741_0002/
2023-12-14 16:06:15,404 INFO mapreduce.Job: Running job: job_1702538855741_0002
2023-12-14 16:06:32,155 INFO mapreduce.Job: Job job_1702538855741_0002 running in uber mode : false
2023-12-14 16:06:32,156 INFO mapreduce.Job:  map 0% reduce 0%
2023-12-14 16:06:47,156 INFO mapreduce.Job:  map 67% reduce 0%
2023-12-14 16:06:50,188 INFO mapreduce.Job:  map 100% reduce 0%
2023-12-14 16:06:57,275 INFO mapreduce.Job:  map 100% reduce 100%
2023-12-14 16:06:58,328 INFO mapreduce.Job: Job job_1702538855741_0002 completed successfully
2023-12-14 16:06:58,589 INFO mapreduce.Job: Counters: 54
        File System Counters
                FILE: Number of bytes read=72
                FILE: Number of bytes written=1108329
                FILE: Number of read operations=0
                FILE: Number of large read operations=0
                FILE: Number of write operations=0
                HDFS: Number of bytes read=786
                HDFS: Number of bytes written=215
                HDFS: Number of read operations=17
                HDFS: Number of large read operations=0
                HDFS: Number of write operations=3
                HDFS: Number of bytes read erasure-coded=0
        Job Counters
                Launched map tasks=3
                Launched reduce tasks=1
                Data-local map tasks=3
                Total time spent by all maps in occupied slots (ms)=39354
                Total time spent by all reduces in occupied slots (ms)=7761
                Total time spent by all map tasks (ms)=39354
                Total time spent by all reduce tasks (ms)=7761
                Total vcore-milliseconds taken by all map tasks=39354
                Total vcore-milliseconds taken by all reduce tasks=7761
                Total megabyte-milliseconds taken by all map tasks=40298496
                Total megabyte-milliseconds taken by all reduce tasks=7947264
        Map-Reduce Framework
                Map input records=3
                Map output records=6
                Map output bytes=54
                Map output materialized bytes=84
                Input split bytes=432
                Combine input records=0
                Combine output records=0
                Reduce input groups=2
                Reduce shuffle bytes=84
                Reduce input records=6
                Reduce output records=0
                Spilled Records=12
                Shuffled Maps =3
                Failed Shuffles=0
                Merged Map outputs=3
                GC time elapsed (ms)=699
                CPU time spent (ms)=11980
                Physical memory (bytes) snapshot=775233536
                Virtual memory (bytes) snapshot=10945183744
                Total committed heap usage (bytes)=466890752
                Peak Map Physical memory (bytes)=227717120
                Peak Map Virtual memory (bytes)=2734153728
                Peak Reduce Physical memory (bytes)=113000448
                Peak Reduce Virtual memory (bytes)=2742722560
        Shuffle Errors
                BAD_ID=0
                CONNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters
                Bytes Read=354
        File Output Format Counters
                Bytes Written=97
Job Finished in 46.895 seconds
Estimated value of Pi is 3.14133333333333333333

2、查看运行情况
在在YARN集群的监控页面，可以查看对应任务的History信息，可以看到当前任务使用了3个Map任务和1个Reduce任务，同时，也可以查看相应的运行日志信息。
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1331801.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

nn.LSTM个人记录

nn.LSTM个人记录

简介 nn.LSTM参数 torch.nn.lstm(input_size, "输入的嵌入向量维度&#xff0c;例如每个单词用50维向量表示&#xff0c;input_size就是50"hidden_size, "隐藏层节点数量,也是输出的嵌入向量维度"num_layers, "lstm 隐层的层数&#xff0c;默认…
阅读更多...
02_算法分析

02_算法分析

02_算法分析 0.1 算法的时间复杂度分析0.1.1 函数渐近增长概念&#xff1a;输入规模n>2时&#xff0c;算法A1的渐近增长小于算法B1 的渐近增长随着输入规模的增大&#xff0c;算法的常数操作可以忽略不计测试二&#xff1a;随着输入规模的增大&#xff0c;与最高次项相乘的常…
阅读更多...
【计数DP】牛客小白月赛19

【计数DP】牛客小白月赛19

登录—专业IT笔试面试备考平台_牛客网 题意 思路 首先做法一定是计数 dp 然后状态设计&#xff0c;先设 dp[i] 然后看影响决策的因素&#xff1a;两边的火焰情况&#xff0c;那就 dp[i][0/1][0/1]表示 前 i 个&#xff0c;该位有无火焰&#xff0c;该位右边有无火焰的方案数…
阅读更多...
单片机的RTC获取网络时间

单片机的RTC获取网络时间

理解网络同步校准RTC的原理需要考虑NTP、SNTP、RTC这三个关键组件的作用和交互。下面详细解释这个过程&#xff1a; 1. NTP&#xff08;Network Time Protocol&#xff09;&#xff1a; 协议目的&#xff1a;NTP是用于同步计算机和设备时钟的协议。它通过在网络上与时间服务器通…
阅读更多...
为什么react call api in cDidMount

为什么react call api in cDidMount

为什么react call api in cDM 首先&#xff0c;放到constructor或者cWillMount不是语法错误 参考1 参考2 根据上2个参考&#xff0c;总结为&#xff1a; 1、官网就是这么建议的&#xff1a; 2、17版本后的react 由于fiber的出现导致 cWM 会调用多次&#xff01; cWM 方法已…
阅读更多...
【并发设计模式】聊聊两阶段终止模式如何优雅终止线程

【并发设计模式】聊聊两阶段终止模式如何优雅终止线程

在软件设计中&#xff0c;抽象出了23种设计模式&#xff0c;用以解决对象的创建、组合、使用三种场景。在并发编程中&#xff0c;针对线程的操作&#xff0c;也抽象出对应的并发设计模式。 两阶段终止模式- 优雅停止线程避免共享的设计模式- 只读、Copy-on-write、Thread-Spec…
阅读更多...
LangChain 30 ChatGPT LLM将字符串作为输入并返回字符串Chat Model将消息列表作为输入并返回消息

LangChain 30 ChatGPT LLM将字符串作为输入并返回字符串Chat Model将消息列表作为输入并返回消息

LangChain系列文章 LangChain 实现给动物取名字&#xff0c;LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储&#xff0c;读取YouTube的视频文本搜索I…
阅读更多...
【线性代数】决定张成空间的最少向量线性无关吗？

【线性代数】决定张成空间的最少向量线性无关吗？

答1&#xff1a; 是的&#xff0c;张成空间的最少向量是线性无关的。 在数学中&#xff0c;张成空间&#xff08;span space&#xff09;是一个向量空间&#xff0c;它由一组向量通过线性组合&#xff08;即每个向量乘以一个标量&#xff09;生成。如果这组向量是线性无关的&…
阅读更多...
CV算法面试题学习

CV算法面试题学习

本文记录了CV算法题的学习。 CV算法面试题学习 点在多边形内&#xff08;point in polygon&#xff09;高斯滤波器 点在多边形内&#xff08;point in polygon&#xff09; 参考自文章1&#xff0c;其提供的代码没有考虑一些特殊情况&#xff0c;所以做了改进。 做法&#xff…
阅读更多...
网络爬虫之多任务数据采集（多线程、多进程、协程）

网络爬虫之多任务数据采集（多线程、多进程、协程）

进程&#xff1a;是操作系统中资源分配的基本单位 线程&#xff1a;使用进程分配的资源处理具体任务 一个进程中可以有多个线程&#xff1a;进程相当于一个公司&#xff0c;线程就是公司里面的员工。 一 多线程 多线程都是关于功能的并发执行。而异步编程是关于函数之间的非…
阅读更多...
持续集成交付CICD：Jira 远程触发 Jenkins 实现更新 GitLab 分支

持续集成交付CICD：Jira 远程触发 Jenkins 实现更新 GitLab 分支

目录 一、实验 1.环境 2.GitLab 查看项目 3.Jira新建模块 4. Jira 通过Webhook 触发Jenkins流水线 3.Jira 远程触发 Jenkins 实现更新 GitLab 分支 二、问题 1.Jira 配置网络钩子失败 2. Jira 远程触发Jenkins 报错 一、实验 1.环境 &#xff08;1&#xff09;主机 …
阅读更多...
uniapp自定义头部导航怎么实现？

uniapp自定义头部导航怎么实现？

一、在pages.json文件里边写上自定义属性 "navigationStyle": "custom" 二、在对应的index页面写上以下&#xff1a; <view :style"{ height: headheight px, backgroundColor: #24B7FF, zIndex: 99, position: fixed, top: 0px, width: 100% …
阅读更多...
STM32——CAN协议

STM32——CAN协议

文章目录 一.CAN协议的基本特点1.1 特点1.2 电平标准1.3 基本的五个帧1.4 数据帧 二.数据帧解析2.1 帧起始和仲裁段2.2 控制段2.3 数据段和CRC段2.4 ACK段和帧结束 三.总线仲裁四.位时序五.STM32CAN控制器原理与配置5.1 STM32CAN控制器介绍5.2 CAN的模式5.3 CAN框图 六 手册寄存…
阅读更多...
Hago 的 Spark on ACK 实践

Hago 的 Spark on ACK 实践

作者&#xff1a;华相 Hago 于 2018 年 4 月上线&#xff0c;是欢聚集团旗下的一款多人互动社交明星产品。Hago 融合优质的匹配能力和多样化的垂类场景&#xff0c;提供互动游戏、多人语音、视频直播、 3D 虚拟形象互动等多种社交玩法&#xff0c;致力于为用户打造高效、多样、…
阅读更多...
P4 音频知识点——PCM音频原始数据

P4 音频知识点——PCM音频原始数据

目录 前言 01 PCM音频原始数据 1.1 频率 1.2 振幅&#xff1a; 1.3 比特率 1.4 采样 1.5 量化 1.6 编码 02. PCM数据有以下重要的参数&#xff1a; 采样率&#xff1a; 采集深度 通道数 ​​​​​​​ PCM比特率 ​​​​​​​ PCM文件大小计算&#xff1a; ​…
阅读更多...
计算机毕业设计 基于SpringBoot的房屋租赁管理系统的设计与实现 Java实战项目 附源码+文档+视频讲解

计算机毕业设计 基于SpringBoot的房屋租赁管理系统的设计与实现 Java实战项目 附源码+文档+视频讲解

博主介绍&#xff1a;✌从事软件开发10年之余&#xff0c;专注于Java技术领域、Python人工智能及数据挖掘、小程序项目开发和Android项目开发等。CSDN、掘金、华为云、InfoQ、阿里云等平台优质作者✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精…
阅读更多...
HTML---网页布局

HTML---网页布局

目录 文章目录 一.常见的网页布局 二.标准文档流 标准文档流常见标签 三.display属性 四.float属性 总结 一.常见网页布局 二.标准文档流 标准文档流常见标签 标准文档流的组成 块级元素<div>、<p>、<h1>-<h6>、<ul>、<ol>等内联元素<…
阅读更多...
Hadoop入门学习笔记——一、VMware准备Linux虚拟机

Hadoop入门学习笔记——一、VMware准备Linux虚拟机

视频课程地址&#xff1a;https://www.bilibili.com/video/BV1WY4y197g7 课程资料链接&#xff1a;https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd5ay8 Hadoop入门学习笔记&#xff08;汇总&#xff09; 目录 一、VMware准备Linux虚拟机1.1. VMware安装Linux虚拟机1.…
阅读更多...
机密计算容器前沿探索与 AI 场景应用

机密计算容器前沿探索与 AI 场景应用

作者&#xff1a;壮怀、朱江云 企业与个人对数据隐私保护日益关切&#xff0c;从数据&#xff0c;网络的可信基础设施扩展到闭环可信的计算基础设施&#xff0c;可信的计算&#xff0c;存储&#xff0c; 网络基础设施必定成为云计算的标配。 机密计算技术应运而生&#xff0c;…
阅读更多...
Python遥感影像深度学习指南(1)-使用卷积神经网络（CNN、U-Net）和 FastAI进行简单云层检测

Python遥感影像深度学习指南(1)-使用卷积神经网络（CNN、U-Net）和 FastAI进行简单云层检测

【遥感影像深度学习】系列的第一章，Python遥感影像深度学习的入门课程，介绍如何使用卷积神经网络（CNN）从卫星图像中分割云层 1、数据集 在本项目中，我们将使用 Kaggle 提供的 38-Cloud Segmentation in Satellite Images数据集。 该数据集由裁剪成 384x384 （适用…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023