云计算-Hadoop-2.7.7 最小化集群的搭建（3台）

news2024/11/30 8:30:57

云计算-Hadoop-2.7.7 最小化集群的搭建（3台）

文章目录

  • 云计算-Hadoop-2.7.7 最小化集群的搭建（3台）
    • 一、环境依赖下载
    • 二、部署概要
    • 三、hadoop101模板机配置
        • 1. 更新 & 升级
        • 2. 安装好用的vim VimForCpp
        • 3. 安装必要依赖
        • 4. 关闭防火墙
        • 5. SSH 配置
        • 6. 设置ntp时间同步服务
        • 7. 安装JDK和Hadoop
        • 8. 模板网络配置
        • 9. 配置映射关系
        • 10. 配置集群核心文件
          • hadoop-env.sh (Hadoop环境配置)
          • core-site.xml (Hadoop核心全局配置文件)
          • hdfs-site.xml (hdfs配置文件)
          • yarn-env.sh (YARN环境配置)
          • yarn-site.xml (YARN 框架配置文件)
          • mapred-site.xml(MapReduce配置文件)
          • slaves (DateNode进程节点)
      • -克隆模板机得到节点hadoop101和hadoop102
    • 四、hadoop101私有配置
        • 1. 主机名设置
        • 2. IP设置
    • 五、hadoop102配置
        • 1. 主机名设置
        • 2. IP设置
    • 六、hadoop103配置
        • 1. 主机名设置
        • 2. IP设置
      • -配置ssh免密登录
    • 七、启动集群
        • 集群初始化
        • 方式一: 主节点一键启动集群 (推荐)
        • 方式二: 单节点启动/关闭
        • 通过自带的列子检测是否启动成功
    • 八、补充：使用Shell脚本进行快速配置
    • 九、java连接集群进行操作

一、环境依赖下载

VMware16.2.4 https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html

Centos7.9 https://mirror.tuna.tsinghua.edu.cn/centos/7.9.2009/isos/x86_64/

Xshell7&Xftp7 https://www.xshell.com/zh/free-for-home-school/

hadoop-2.7.7 https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

hadoop 其它版本 https://archive.apache.org/dist/hadoop/common/

JDK 1.8 https://www.java.com/zh-CN/download/manual.jsp

FinalShell http://www.hostbuf.com/t/988.html (可选远程终端，对多端服务器同时发送命令)

二、部署概要

使用3台虚拟机进行集群的搭建，分别命名为hadoop101，hadoop102，hadoop103

节点HDFS主节点HDFS从节点HDFS辅助节点YARN主节点YARN从节点
hadoop101NameNodeDataNodeResourceManagerNodeManager
hadoop102DataNodeSecondaryNameNodeNodeManager
hadoop103DataNodeNodeManager

从表格中可以知道，我们以hadoop101为主节点，在其上部署NameNode和ResourceManager，在hadoop102上部署SecondaryNameNode作为HDFS辅助节点。

为了方便，3台虚拟机的hadoop均在 /root路径下进行操作，即默认为root用户登录的目录

⭐远程连接推荐使用 FinalShell,一个终端搞定文件传输和命令操作 点我下载windows版本

我的3台虚拟机IP统一如下:

名称IPv4地址
hadoop103192.168.242.201
hadoop102192.168.242.202
hadoop103192.168.242.203

三、hadoop101模板机配置

这里我们将hadoop101作为模板机，hadoop102和hadoop103均从其进行克隆比较方便，当然你也可以三台分别进行配置。（下面进行的所有操作均可以在每台虚拟机独立执行，模板机仅为了方便后续配置。）

1. 更新 & 升级

可能会比较慢,可以先配置阿里云的镜像源, 配置方法见 👉 CentOS7设置阿里源

chmod 777 ./* # 提升用户目录权限
yum update -y && yum upgrade -y

如需删除多余内核(默认可跳过该步骤,不影响后续执行)

reboot # 重启
yum remove $(rpm -qa | grep kernel | grep -v $(uname -r)) -y # 删除多余的内核

2. 安装好用的vim VimForCpp

curl -sLf https://gitee.com/HGtz2222/VimForCpp/raw/master/install.sh -o ./install.sh && bash ./install.sh
	
#安装完成后如不可使用执行下面命令或者重启终端
source ~/.bashrc
	
#如需卸载
bash ~/.VimForCpp/uninstall.sh

3. 安装必要依赖

yum install openssh-server -y  		# ssh服务
yum install net-tools.x86_64 -y 	# ifconfig服务
yum install java-1.8.0-openjdk-devel.x86_64 -y # jps服务
yum install xorg-x11-xauth -y 	# 解决xshell连接警告

4. 关闭防火墙

systemctl stop firewalld 	# 关闭防火墙
systemctl disable firewalld # 禁止防火墙开机启动
firewall-cmd --state 		# 查看防火墙状态

5. SSH 配置

如果你的xshell等软件能连接上虚拟机,那么说明你的ssh是正常的,不需要进行额外的配置了,也就是说可以忽略这一步,否则可以参考如下进行简单配置:

# 1.查看是否安装ssh
yum list installed | grep openssh-server
# 或者
rpm -qa | grep ssh

# 2.安装ssh(未安装情况)
yum install openssh-server

# 3.编辑ssh配置文件，
vim /etc/ssh/sshd_config
# 一般来说只要关闭了防火墙不用配置这步，否则如下设置
Port 22 # 打开22监听端口
ListenAddress 0.0.0.0 # 开发监听所有地址
ListenAddress ::
PermitEmptyPasswords no #开启root用户登录
PasswordAuthentication yes #开启密码登录
# wq 保存退出

# 4.启动ssh服务及查看(查看方式等价)
service sshd start # 启动ssh服务
ps -e | grep sshd  # 查看ssh是否开启
netstat -an | grep 22 # 查看端口状态 
systemctl status sshd.service # 查看服务运行状态

# 5.设置开机自启动
systemctl enable sshd.service
systemctl list-unit-files | grep sshd # 查看开机自启列表是否加入成功

6. 设置ntp时间同步服务

yum install ntp ntpdate -y
ntpdate -u 210.72.145.44 # -u参数可以越过防火墙与主机同步 中国国家授时中心
date # 查看当前时间,不对的话稍后reboot重启虚拟机就行了

7. 安装JDK和Hadoop

先把jdk和hadoop的源码压缩包下载到本地在传到虚拟机

# 从命令行下载hadoop-2.7.7可使用以下命令
# wget https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz
# scp上传可以参考以下命令
scp "./hadoop-2.7.7.tar.gz" "./jre-8u341-linux-x64.tar.gz" root@192.168.242.132:/root/

当你的两个文件都已经存在虚拟机中再执行下面的操作

# 1.===解压到当前文件夹 /root下面===
tar -zxvf hadoop-2.7.7.tar.gz
tar -zxvf jre-8u341-linux-x64.tar.gz

mv jre1.8.0_341 jdk1.8 # 重命名为jdk1.8方便下面配置
rm hadoop-2.7.7.tar.gz jre-8u341-linux-x64.tar.gz # 删除多余的文件,按两次y

# 2.===配置环境变量===
vim /etc/profile #用vim编辑器打开配置文件
# 3.在末尾添加以下内容
#HADOOP
export HADOOP_HOME=/root/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

# java
export JAVA_HOME=/root/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
export CLASS_PATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export JRE_HOME=$JAVA_HOME/jre 

# :wq 保存退出

# 4.===刷新环境变量=== 
source /etc/profile

# 5.查看java是否安装成功
java -version 
# 6.查看hadoop是否安装成功
hadoop version

配置成功如下图所示:
在这里插入图片描述

8. 模板网络配置

1.查看VMware网络配置

在这里插入图片描述

2.打开网卡配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

3.添加或修改以下内容

# 修改
BOOTPROTO="static"	     #设为静态IP
ONBOOT="yes"			 #设置开机自启动

# 添加
#IPADDR="192.168.242.201" #子网IP,我们等克隆后再进行统一配置
GATEWAY="192.168.242.2"  #默认网关,见上面
NETMASK="255.255.255.0"  #子网掩码，看第一步
DNS1="114.114.114.114"   #腾讯114
DNS2="1.2.4.8"           #中国互联网络中心
DNS3="8.8.8.8"		     #Google

4.重启刷新

service network restart 	 #重启网卡
systemctl restart network    # 重启网络服务

9. 配置映射关系

vim /etc/hosts #打开配置文件

删除原有内容后添加以下内容

192.168.242.201 hadoop101
192.168.242.202 hadoop102
192.168.242.203 hadoop103
# wq保存退出

/etc/init.d/network restart # 刷新使其生效

10. 配置集群核心文件

以下我们采取最简化配置,关于详细配置说明,欢迎查看官方文档 : https://hadoop.apache.org/docs/r2.7.7/

先切换到配置文件目录:

mkdir -p ~/hadoop-2.7.7/tmp # 创建hadoop临时目录
cd ~/hadoop-2.7.7/etc/hadoop
ls

在这里插入图片描述

hadoop-env.sh (Hadoop环境配置)
vim hadoop-env.sh
# 在第25行更改为以下内容
export JAVA_HOME=/root/jdk1.8
# :wq保存退出

在这里插入图片描述

core-site.xml (Hadoop核心全局配置文件)
vim core-site.xml # 打开文件后在<configuration></configuration>插入以下内容

<configuration>
    <!-- 设置默认使用的文件系统的名称
	指定HDFS集群中NameNode的url地址(包括协议、主机名称、端口号) 默认为 file:/// -->
    <property>
    	<name>fs.defaultFS</name>
    	<value>hdfs://hadoop101:9000</value>
    </property>
    <!-- 其他临时目录的基础。 -->
    <property>
	    <name>hadoop.tmp.dir</name>
		<value>/root/hadoop-2.7.7/tmp</value>
    </property>
</configuration>
hdfs-site.xml (hdfs配置文件)
vim hdfs-site.xml # 打开文件后在<configuration></configuration>插入以下内容

<configuration>
    <!-- 配置主节点http服务器地址和端口 -->
    <property>
    	<name>dfs.http.address</name>
		<value>hadoop101:50070</value>
    </property>
    <!-- 配置辅助节点http服务器地址和端口 -->
	<property>
    	<name>dfs.namenode.secondary.http-address</name>
    	<value>hadoop102:50090</value>
	</property>
</configuration>
yarn-env.sh (YARN环境配置)
vim yarn-env.sh
# 在第23行去掉注释并更改为以下内容
export JAVA_HOME=/root/jdk1.8
# :wq保存退出

在这里插入图片描述

yarn-site.xml (YARN 框架配置文件)
vim yarn-site.xml # 打开文件后在<configuration></configuration>插入以下内容

<configuration>
    <!-- 配置ResourceManager在哪个机器启动 -->
	<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop101</value>
	</property>
    <!-- NodeManager上运行的附属服务，也可以理解为 reduce 获取数据的方式 -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
mapred-site.xml(MapReduce配置文件)
cp mapred-site.xml.template map-site.xml # 先copy模板生成文件
vim map-site.xml # 打开文件后在<configuration></configuration>插入以下内容

<configuration>
    <!-- 用于执行MapReduce作业的运行时框架 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>
slaves (DateNode进程节点)
vim slaves # 打开文件后在slaves中添加DateNode节点

hadoop101
hadoop102
hadoop103

至此我们的模板机已经配置好了,下面

-克隆模板机得到节点hadoop101和hadoop102

安装如下步骤操作:

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

选择你的储存位置,等克隆好之后开机就行了…
在这里插入图片描述

下面进行各台虚拟机的ip地址和名称配置,这里先别着急用远程工具,现在虚拟机里面之间操作

四、hadoop101私有配置

1. 主机名设置

hostnamectl set-hostname hadoop101 # 修改主机名	
exec bash # 使其生效

2. IP设置

打开配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

添加以下内容

IPADDR="192.168.242.201" #子网IP,我们等克隆后再进行统一配置

重启刷新

service network restart #重启网卡
systemctl restart network    # 重启网络服务

五、hadoop102配置

1. 主机名设置

hostnamectl set-hostname hadoop102 # 修改主机名	
exec bash # 使其生效

2. IP设置

打开配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

添加以下内容

IPADDR="192.168.242.202" #子网IP

重启刷新

service network restart 	 # 重启网卡
systemctl restart network    # 重启网络服务

六、hadoop103配置

1. 主机名设置

hostnamectl set-hostname hadoop103 # 修改主机名	
exec bash # 使其生效

2. IP设置

打开配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

添加以下内容

IPADDR="192.168.242.203" # 子网IP

重启刷新

service network restart 	 #重启网卡
systemctl restart network    # 重启网络服务

-配置ssh免密登录

上述配置完成之后开启3台虚拟机,并在每台虚拟机上都执行以下操作

  • hadoop101
# 产生公钥和私钥：
ssh-keygen -t rsa # (回车四次)
# 分发公钥
ssh-copy-id hadoop102
ssh-copy-id hadoop103
# 按照提示输入yes和密码
  • hadoop102
# 产生公钥和私钥：
ssh-keygen -t rsa # (回车四次)
# 分发公钥
ssh-copy-id hadoop101
ssh-copy-id hadoop103
# 按照提示输入yes和密码
  • hadoop103
# 产生公钥和私钥：
ssh-keygen -t rsa # (回车四次)
# 分发公钥
ssh-copy-id hadoop101
ssh-copy-id hadoop102
# 按照提示输入yes和密码

完成上述配置就实现了3台虚拟机之间的ssh网络互联

ssh-keygen -t rsa 生成密钥时大概内容如下图所示: id_rsa（私钥）、id_rsa.pub（公钥）

在这里插入图片描述

此处详细内容可参考 SSH设置无密码连接

七、启动集群

集群初始化

在hadoop101执行,仅开始运行一次,后面无须在执行(不要总格式化）

hdfs namenode -format

方式一: 主节点一键启动集群 (推荐)

start-all.sh # 目前经测试推荐使用该方法,根据提示输入yes或密码

(方式二暂时不推荐)

方式二: 单节点启动/关闭

每个节点执行

# 启动
start-dfs.sh
start-yarn.sh
# 关闭
stop-dfs.sh
stop-yarn.sh

下面的方法根据测试会报错…

# ~/hadoop-2.7.7 hadoop根目录
#1.在主节点上执行指令启动/关闭HDFS NameNode进程；
hadoop-daemon.sh start namenode # 启动
hadoop-daemon.sh stop namenode  # 关闭
#2.在每个从节点上执行指令启动/关闭HDFS DataNode进程；
hadoop-daemon.sh start datanode # 启动
hadoop-daemon.sh stop datanode  # 关闭
#3.在主节点上执行指令启动/关闭YARN ResourceManager进程；
hadoop-daemon.sh start resourcemanager # 启动
hadoop-daemon.sh stop resourcemanager  # 关闭
#4.在每个从节点上执行指令启动/关闭YARN nodemanager进程；
hadoop-daemon.sh start nodemanager # 启动
hadoop-daemon.sh stop nodemanager  # 关闭
#5.在节点hadoop102执行指令启动/关闭SecondaryNameNode进程
hadoop-daemon.sh start secondarynamenode # 启动
hadoop-daemon.sh stop secondarynamenode  # 关闭

hadoop集群逐节点 一键启动/关闭脚本 (在主节点运行即可)

#!/bin/bash
 
if [ $# -lt 1 ]
then
    echo ">>>>>>无额外参数输入<<<<<<"
    echo "USE eg: 'sh myhadoop.sh satrt/stop' "
    exit ;
fi
 
case $1 in
"start")
        echo " =================== 启动 hadoop集群 ==================="
 
        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/root/hadoop-2.7.7/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/root/hadoop-2.7.7/sbin/start-yarn.sh"
;;
"stop")
        echo " =================== 关闭 hadoop集群 ==================="
 
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/root/hadoop-2.7.7/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/root/hadoop-2.7.7/sbin/stop-dfs.sh"
;;
*)
    echo "！！！输入的参数有误！！！"
;;
esac
echo "执行指令 jps "
jps
exit

通过自带的列子检测是否启动成功

~/hadoop-2.7.7/bin/hadoop jar ~/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi 1 2

在这里插入图片描述

浏览器打开相关网页如下:

http://192.168.242.201:50070/
在这里插入图片描述

http://192.168.242.201:8088/
在这里插入图片描述

集群搭建到这里就成功了…

八、补充：使用Shell脚本进行快速配置

上面我们虽然使用克隆的方式简化了对虚拟机的操作，但是，每个虚拟机都配置相同的的hadoop文件是不是过于麻烦了呢，答案是有的，所以我们这里采用shell，脚本的方式可以实现仅配置一台虚拟的的情况下对其它的2台虚拟机也同时进行配置。

前提：3台虚拟机已经配置了网络互访，即ssh免密连接。

下面是参考的shell脚本：

有空更新....

九、java连接集群进行操作

见后续blog文章...

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/26251.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

nginx配置https访问 生成ssl自签名证书，浏览器直接访问

nginx配置https访问 生成ssl自签名证书，浏览器直接访问

问题 nginx配置自签名ssl证书&#xff0c;来支持https访问nginx&#xff0c;在浏览器中访问nginx时&#xff0c;提示有风险。而访问其他各大网站时&#xff0c;也是使用了https协议&#xff0c;为什么可以直接访问&#xff0c;而不提示有风险呢&#xff1f; 解疑 先从ssl证书…
阅读更多...
MyBatis--动态SQL

MyBatis--动态SQL

Emp类 1.if标签 通过test属性中的表达式判断标签中的内容是否有效 (是否会拼接到SQL中) 接口 映射 测试 2.Where标签 where标签的三个作用 若where标签中有条件成立 , 会自动生成where关键字会自动将where标签中内容前多余的and去掉 , 但是其中内容后多余的and无法去掉若where标…
阅读更多...
mysql explain和DESC性能分析

mysql explain和DESC性能分析

mysql explain和DESC 根据执行时间去只可以粗略的判断sql的性能&#xff0c;我们如果想去查看一条sql语句的性能还需要explain去查看sql的执行计划。 EXPLAIN 或者 DESC 命令获取 MySQL 如何执行 SELECT 语句的信息&#xff0c;包括在 SELECT 语句执行过程中表如何连接和连接的…
阅读更多...
如何做好供应商绩效管理？

如何做好供应商绩效管理？

供应商绩效管理是一种商业行为&#xff0c;用于衡量、分析和管理供应商的绩效。供应商管理专业人员寻求削减成本&#xff0c;减轻风险并推动持续改进。企业可使用供应商管理系统来监测供应商的绩效水平。 供应商绩效管理最佳实践 所有企业都必须发展核心竞争力&#xff0c;有…
阅读更多...
【Linux 网络编程 】

【Linux 网络编程 】

Linux 网络编程背景知识&#xff1a;主机字节序列和网络字节序列IP地址的转换API网络编程接口网络节序与主机节序转换函数IP地址转换函数数据读写TCP编程编程步骤&#xff1a;客户端链接服务端成功的条件多线程实现服务端并发多进程实现服务端并发注意&#xff1a;UDP编程编程步…
阅读更多...
自动化测试基础简介（本质）

自动化测试基础简介（本质）

目录 前言 1.自动化基础 2.分层的自动化测试 2.1 单元自动化测试 2.2 接口自动化测试 2.3 UI自动化测试 3.适合自动化的项目 4.自动化测试模型 4.1线性测试 4.2模块化与类库 4.3数据驱动测试 4.4关键字驱动测试 5.POM设计模式 总结 前言 随着软件系统规模的日益…
阅读更多...
应对Redis缓存污染问题，你应该知道这些内容

应对Redis缓存污染问题，你应该知道这些内容

前言 我们在使用Redis做为缓存时&#xff0c;能加速我们对于热点数据的查询。但是如果缓存中有大量的数据不再热门了&#xff0c;从而占据着大量的内存空间&#xff0c;那么我们的Redis性能就会收到很大影响。该如何解决这个问题呢&#xff1f;本文给你答案。 什么是缓存污染…
阅读更多...
kafka开发环境搭建

kafka开发环境搭建

1 kafka开发环境 1.1 安装Java环境 1.1.1 下载linux下的安装包 登陆网址https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载完成后&#xff0c;Linux默认下载位置在当前目录下的Download或下载文件夹下&#xff0c;通过命令cd ~/…
阅读更多...
轻松学习string类常用接口(附模拟实现)

轻松学习string类常用接口(附模拟实现)

目录 String的常用接口说明(最常用的) string类对象的容量操作 string类对象的访问及遍历操作 string类对象的修改操作 string类非成员函数 深浅拷贝 简介&#xff1a;Cstring 是C中的字符串。 字符串对象是一种特殊类型的容器&#xff0c;专门设计来操作的字符序列。 不像…
阅读更多...
MySQL 全文检索的实现

MySQL 全文检索的实现

微信搜「古时的风筝」&#xff0c;还有更多技术干货 这有朋友聊到他们的系统中要接入全文检索&#xff0c;这让我想起了很久以前为一个很古老的项目添加搜索功能的事儿。 一提到全文检索&#xff0c;我们首先就会想到搜索引擎。也就是用一个词、一段文本搜索出匹配的内容。一般…
阅读更多...
Vue3中的组合Api与响应函数

Vue3中的组合Api与响应函数

文章目录1. 组合Api介绍setup2. 响应函数2.1 ref2.2 reactive2.3 toRef和toRefs2.4 readonly2.5 customRef1. 组合Api介绍 组合Api其实时用于解决功能、数据和业务逻辑分散的问题&#xff0c;使项目更益于模块化开发以及后期维护。 vue2.x — optionsApi 配置式Api — react类…
阅读更多...
STM32 定时器定时计算

STM32 定时器定时计算

STM32 定时器定时计算STM32 定时器频率例子公式referenceSTM32 定时器频率 定时时间 定时器频率 / 倍频 /装载周期 htim1.Init.Prescaler 72-1;htim1.Init.CounterMode TIM_COUNTERMODE_UP;htim1.Init.Period 1*1000*1000;tim 72x10^6 / (72-1)/ 110001000 1us 根据定时…
阅读更多...
RAC/RAC One Node 修改私网/心跳网卡名

RAC/RAC One Node 修改私网/心跳网卡名

cDAS RAC/RAC One Node一般采用ib ip作为私网/心跳ip&#xff0c;有些现场可能会有修改心跳/私网网卡的需求&#xff0c;一般修改网卡也会伴随修改心跳/私网ip的需求。若心跳/私网有高可用&#xff0c;可以一个个修改。 场景1&#xff1a;心跳网卡有高可用 原心跳网卡名 原心…
阅读更多...
Vue中 引入使用 localforage 改进本地离线存储（突破5M限制）

Vue中 引入使用 localforage 改进本地离线存储（突破5M限制）

1. 简介 说到本地存储数据&#xff0c;首先想到的是 localStorage&#xff0c;应该很多小伙伴都用过&#xff0c;使用很简单。然而&#xff0c;localStorage 却有下面一些缺点&#xff1a; 存储容量限制&#xff0c;大部分浏览器应该最多5M。我就遇到过localStorage存储字符然…
阅读更多...
H264码流中SPS PPS详解

H264码流中SPS PPS详解

1 SPS和PPS从何处而来&#xff1f; 2 SPS和PPS中的每个参数起什么作用&#xff1f; 3 如何解析SDP中包含的H.264的SPS和PPS串&#xff1f; 1 客户端抓包 在做客户端视频解码时&#xff0c;一般都会使用Wireshark抓包工具对接收的H264码流进行分析&#xff0c;如下所示&…
阅读更多...
Transform+ASM插桩系列（3）——Transform+ASM的实战

Transform+ASM插桩系列（3）——Transform+ASM的实战

回顾 在上一章讲到创建完buildSrc之后&#xff0c;实现了项目的plugin之后&#xff0c;就可以在plugin注册我们的Transform。这期文章将正式进入重头戏&#xff0c;今天的学习内容有【认识Transform】、【认识AMS】、【插桩实战】 前言 插桩的技巧中&#xff0c;我们要知道 …
阅读更多...
Python实现LDA和KNN人脸识别模型(LinearDiscriminantAnalysis和KNeighborsClassifier算法)项目实战

Python实现LDA和KNN人脸识别模型(LinearDiscriminantAnalysis和KNeighborsClassifier算法)项目实战

说明&#xff1a;这是一个机器学习实战项目&#xff08;附带数据代码文档视频讲解&#xff09;&#xff0c;如需数据代码文档视频讲解可以直接到文章最后获取。 1.项目背景 人脸识别&#xff0c;是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含…
阅读更多...
【2021-TITS】Deep Learning in Lane Marking Detection: A Survey

【2021-TITS】Deep Learning in Lane Marking Detection: A Survey

概述 回顾了针对路面标线的深度学习算法&#xff0c;主要分析了他们的网络架构及优化目标&#xff1b;此外还总结了现有车道标线相关的数据集&#xff0c;评价基准及常见的数据处理技术 PaperCode 总结 创新点&#xff1a; 1.总结深度学习网络架构、优化目标2.总结了相关现有…
阅读更多...
使用Portman、Postman和Newman自动化API测试

使用Portman、Postman和Newman自动化API测试

几个月前我换了工作和公司&#xff0c;很喜欢这样的变化&#xff0c;但多少会有些不知所措。现在事情已经安排好了一些&#xff0c;我可以回来做一些我喜欢的事情。 现在正在工作的团队是一个新团队&#xff0c;我们正在努力弄清楚我们的流程&#xff0c;并试图尽可能地实现自…
阅读更多...
编译原理实验一：源程序的预处理及词法分析程序的设计与实现（python）

编译原理实验一：源程序的预处理及词法分析程序的设计与实现（python）

实验目的 设计并实现一个包含预处理功能的词法分析程序&#xff0c;加深对编译中词法分析过程的理解。 实验要求 1、实现预处理功能 源程序中可能包含有对程序执行无意义的符号&#xff0c;要求将其剔除。 首先编制一个源程序的输入过程&#xff0c;从键盘、文件或文本框输…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023