学习大数据,所需更要的shell基础(2)

news2025/1/10 17:14:16

文章目录

  • read读取控制台输入
  • 函数
    • 系统函数
      • bashname
      • dirname
    • 自定义函数
    • Shell工具(重点)
    • cut
    • awk
  • 正则表达式入门
    • 常规匹配
    • 常用特殊字符

read读取控制台输入

1)基本语法
read (选项) (参数)
①选项:
-p:指定读取值时的提示符;
-t:指定读取值时等待的时间(秒)如果-t不加表示一直等待
②参数
变量:指定读取值的变量名
2)案例实操
提示7秒内,读取控制台输入的名称

touch read.sh
vim read.sh
## 在文件中添加如下内容
#!/bin/bash
read -t 7 -p "Enter your name in 7 seconds :" NN
echo $NN
## 进行测试
bash read.sh

在这里插入图片描述

函数

系统函数

bashname

1)基本语法
basename [string / pathname] [suffix] (功能描述:basename命令会删掉所有的前缀包括最后一个(‘/’)字符,然后将字符串显示出来。
basename 可以理解为取路径里的文件名称
选项:
suffix为后缀,如果suffix被指定了,basename会将pathname或string中的suffix去掉。
2)案例实操
截取该/home/atguigu/banzhang.txt路径的文件名称。

basename /home/atguigu/banzhang.txt 
basename /home/atguigu/banzhang.txt .txt

在这里插入图片描述

dirname

1)基本语法
dirname 文件绝对路径 (功能描述:从给定的包含绝对路径的文件名中去除文件名(非目录的部分),然后返回剩下的路径(目录的部分))
dirname 可以理解为取文件路径的绝对路径名称
2)案例实操
获取banzhang.txt文件的路径

dirname /home/atguigu/banzhang.txt

自定义函数

1)基本语法
[ function ] funname[()]
{
Action;
[return int;]
}
2)经验技巧
(1)必须在调用函数地方之前,先声明函数,shell脚本是逐行运行。不会像其它语言一样先编译。
(2)函数返回值,只能通过$?系统变量获得,可以显示加:return返回,如果不加,将以最后一条命令运行结果,作为返回值。return后跟数值n(0-255)
3)案例实操
计算两个输入参数的和。

touch fun.sh
vim fun.sh
##文件中添加如下内容
#!/bin/bash
function sum()
{
    s=0
    s=$[$1+$2]
    echo "$s"
}

read -p "Please input the number1: " n1;
read -p "Please input the number2: " n2;
sum $n1 $n2;
## 运行测试
bash fun.sh

在这里插入图片描述

Shell工具(重点)

cut

cut的工作就是“剪”,具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。
1)基本用法
cut [选项参数] filename
说明:默认分隔符是制表符
2)选项参数说明

选项参数功能
-f列号,提取第几列
-d分隔符,按照指定分隔符分割列,默认是制表符“\t”
-c按字符进行切割 后加加n 表示取第几列 比如 -c 1

3)案例实操
(1)数据准备

touch cut.sh
vim cut.sh
## 添加如下内容
dong shen
guan zhen
wo  wo
lai  lai
le  le

(2)切割cut.sht第一列

cut -d " " -f 1 cut.sh

(3)切割cut.txt第二、三列

 cut -d " " -f 2,3 cut.sh

(4)在cut.txt文件中切割出guan

cat cut.sh |grep guan | cut -d " " -f 1

(5)选取系统PATH变量值,第2个“:”开始后的所有路径

## 查看环境变量
echo $PATH
echo $PATH | cut -d ":" -f 3

(6)切割ifconfig 后打印的IP地址

ifconfig ens33 | grep netmask | cut -d "i" -f 2 | cut -d " " -f 2

如果不懂,可以进行分割一层层查看

awk

一个强大的文本分析工具,把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行分析处理。
1)基本用法
awk [选项参数] ‘/pattern1/{action1} /pattern2/{action2}…’ filename
pattern:表示awk在数据中查找的内容,就是匹配模式
action:在找到匹配内容时所执行的一系列命令
2)选项参数说明

选项参数功能
-F指定输入文件折分隔符
-v赋值一个用户定义变量

3)案例实操
(1)数据准备

##将/etc/passwd文件复制到当前目录下,并创建一个与源文件相同内容的文件
sudo cp /etc/passwd ./.

(2)搜索passwd文件以root关键字开头的所有行,并输出该行的第7列。

awk -F : '/^root/{print $7}' passwd 

(3)搜索passwd文件以root关键字开头的所有行,并输出该行的第1列和第7列,中间以“,”号分割

awk -F : '/^root/{print $1","$7}' passwd 

注意:只有匹配了pattern的行才会执行action
(4)只显示/etc/passwd的第一列和第七列,以逗号分割,且在所有行前面添加列名user,shell在最后一行添加"dahaige,/bin/zuishuai"。

awk -F : 'BEGIN{print "user, shell"} {print $1","$7} END{print "dahaige,/bin/zuishuai"}' passwd

运行结果
在这里插入图片描述
注意:BEGIN 在所有数据读取行之前执行;END 在所有数据执行之后执行
(5)将passwd文件中的用户id增加数值1并输出

awk -v i=1 -F : '{print $3+i}' passwd

4)awk的内置变量

变量说明
FILENAME文件名
NR已读的记录数(行号)
NF浏览记录的域的个数(切割后,列的个数)

5)案例实操
(1)统计passwd文件名,每行的行号,每行的列数

awk -F : '{print "filename:" FILENAME  ",linenum:" NR ",col:"NF}' passwd 

(2)查询ifconfig命令输出结果中的空行所在的行号

ifconfig | awk '/^$/{print NR}'

(3)切割IP

ifconfig ens33 | grep netmask | awk -F "inet" '{print $2}' | awk -F " " '{print $1}' 

正则表达式入门

正则表达式使用单个字符串来描述、匹配一系列符合某个语法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些符合某个模式的文本。在Linux中,grep,sed,awk等命令都支持通过正则表达式进行模式匹配。

常规匹配

一串不包含特殊字符的正则表达式匹配它自己,例如

cat /etc/passwd | grep atguigu

就会匹配所有包含atguigu的行。

常用特殊字符

1)特殊字符:^
^ 匹配一行的开头,例如:
cat /etc/passwd | grep ^a
会匹配出所有以a开头的行
2)特殊字符:$
$ 匹配一行的结束,例如

cat /etc/passwd | grep t$

会匹配出所有以t结尾的行
思考:^$ 匹配什么? 这就是空行的意思,处理数据时候筛除空行使用
3)特殊字符:.
匹配一个任意的字符,例如

cat /etc/passwd | grep r..t

会匹配包含rabt,rbbt,rxdt,root等的所有行
4)特殊字符:*
* 不单独使用,他和上一个字符连用,表示匹配上一个字符0次或多次,例如

cat /etc/passwd | grep ro*t

会匹配rt, rot, root, rooot, roooot等所有行
思考:.* 匹配什么?
5)特殊字符:[ ]
[ ] 表示匹配某个范围内的一个字符,例如
[6,8]------匹配6或者8
[0-9]------匹配一个0-9的数字
[0-9]------匹配任意长度的数字字符串
[a-z]------匹配一个a-z之间的字符
[a-z]
------匹配任意长度的字母字符串
[a-c, e-f]-匹配a-c或者e-f之间的任意字符

cat /etc/passwd | grep r[a,b,c]*t

会匹配rt,rat, rbt, rabt, rbact,rabccbaaacbt等等所有行
6)特殊字符:\
\ 表示转义,并不会单独使用。由于所有特殊字符都有其特定匹配模式,当我们想匹配某一特殊字符本身时(例如,我想找出所有包含 ‘$’ 的行),就会碰到困难。此时我们就要将转义字符和特殊字符连用,来表示特殊字符本身,例如

cat passwd | grep a\$b

就会匹配所有包含 a$b 的行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1654891.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

使用 Parallels Desktop 在 Mac 上畅玩 PC 游戏

我们不再需要接受 “Mac 不是为游戏而打造” 这一事实;Parallels Desktop 通过将电脑变成高性能的游戏设备,从而改变了一切。 Parallels Desktop 充分利用 Mac 硬件的强大功能,让您无缝畅玩 Windows 专享游戏。 性能得到提升,可玩…

顺序栈的操作

归纳编程学习的感悟, 记录奋斗路上的点滴, 希望能帮到一样刻苦的你! 如有不足欢迎指正! 共同学习交流! 🌎欢迎各位→点赞 👍 收藏⭐ 留言​📝既然选择了远方,当不负青春…

国产PLC海为如何与电脑通信

前言 这几天接触到了国产海为PLC,做一个记录!学习一下! 串口联机 步骤 1:使用 USB 转 485 线连接 A8(RS485 通讯口)和电脑; 步骤 2:打开 Haiwell happy PLC 编程软件&#xff0c…

【C++】C++11--- 列表初始化|关键字

目录 前言 列表初始化 创建对象时的列表初始化 单参数隐式类型转换 多参数的隐式类型转换 new表达式中使用列表初始化 列表初始化适用于STL 容器 模板类initializer_list 关键字auto 关键字decltype 关键字nullptr 前言 C标准10年磨一剑,第二个真正意义上…

Windows系统完全卸载删除 Node.js (包含控制面板找不到node.js选项情况)

1.打开cmd命令行窗口,输入npm cache clean --force 回车执行 2.打开控制面板,在控制面板中把Node.js卸载 移除之后检查环境变量是否也移除:点击Path,点击编辑。 把环境变量中和node有关的全部移除,然后点击确定。 3.重…

Linux中云盘/磁盘,爆满处理方式

1:du和df命令查看磁盘大小不一致 以下是阿里云服务器云盘使用率 运行 du -sh / 大小为20g 我的服务器大小为40g 按道理说这个云盘使用率应该是百分之五十 而运行 df -h / 这个命令是跟这个云盘使用率差不多的。 1.1分析原因 我安装了mysql,nginx…

能否直接上手 Qt ?——看完 C++ 课本后怎么做?

在开始前我有一些资料,是我根据网友给的问题精心整理了一份「Qt的资料从专业入门到高级教程」, 点个关注在评论区回复“888”之后私信回复“888”,全部无偿共享给大家!!如果你已经阅读了 C 课本,但仍然感到…

C++进阶之路:深入理解编程范式,从面向过程到面向对象(类与对象_上篇)

✨✨ 欢迎大家来访Srlua的博文(づ ̄3 ̄)づ╭❤~✨✨ 🌟🌟 欢迎各位亲爱的读者,感谢你们抽出宝贵的时间来阅读我的文章。 我是Srlua小谢,在这里我会分享我的知识和经验。&am…

QX-mini51单片机学习-----(3)流水灯

目录 1宏定义 2函数的定义 3延时函数 4标准库函数中的循环移位函数 5循环移位函数与左移和右移运算符的区别 6实例 7keil中DeBug的用法 1宏定义 是预处理语句不需要分号 #define uchar unsigned char//此时uchar代替unsigned char typedef是关键字 后面是接分号…

04、Kafka集群安装

03、Kafka 集群安装 1、准备工作 首先准备一台虚拟机,centos7系统,先在一台上配置安装后,最后克隆成多台机器。 1.1 安装JDK (1)下载JDK,上传到 /root/software 路径 下载地址:https://www…

【中级软件设计师】上午题15-计算机网络

上午题15-计算机网络 1 网络设备2 协议簇3 TCP和UDP4 SMTP和POP35 ARP和RARP6 DHCP(Dynamic Host Configuration Protocol)7 URL8 浏览器9 IP地址和子网划分10 IPv611 Windows命令12 路由器 1 网络设备 物理层设备:中继器、集线器&#xff0…

【Linux】CAN根据时钟频率、波特率计算采样点详解

1、采样点知识回顾 参考博客:【CAN】知识点:帧类型、数据帧结构、传输速率、位时间、采样点 CAN 采样点是指在一个数据位的传输周期内,接收器实际采样数据的时间点。这个时间点是以百分比来表示的,它决定了在数据位的传输周期中,何时读取数据位的值。 正确设置采样点对…

【吃透Java手写】2-Spring(下)-AOP-事务及传播原理

【吃透Java手写】Spring(下)AOP-事务及传播原理 6 AOP模拟实现6.1 AOP工作流程6.2 定义dao接口与实现类6.3 初始化后逻辑6.4 原生Spring的方法6.4.1 实现类6.4.2 定义通知类,定义切入点表达式、配置切面6.4.3 在配置类中进行Spring注解包扫描…

纯血鸿蒙APP实战开发——Canvas实现模拟时钟案例

介绍 本示例介绍利用Canvas 和定时器实现模拟时钟场景,该案例多用于用户需要显示自定义模拟时钟的场景。 效果图预览 使用说明 无需任何操作,进入本案例页面后,所见即模拟时钟的展示。 实现思路 本例的的主要实现思路如下: …

HTB Intuition

Intuition User nmap ┌──(kali㉿kali)-[~/…/machine/SeasonV/linux/iClean] └─$ nmap -A 10.129.22.134 Starting Nmap 7.94SVN ( https://nmap.org ) at 2024-04-30 05:29 EDT Nmap scan report for 10.129.22.134 Host is up (0.49s latency). Not shown: 998 …

前端面试题大合集3----网络篇

目录 一、Http协议详解,http请求方式,http状态码 Http协议详解: http请求方式: http状态码: 常用的状态码: 其他常用状态码: 二、Http常见请求方式 三、Http协议与TCP协议的区别和联系 …

美业SaaS系统多门店收银系统源码-【卡升组合促销规则】讲解分享

美业管理系统源码 博弈美业SaaS系统 连锁多门店美业收银系统源码 多门店管理 / 会员管理 / 预约管理 / 排班管理 / 商品管理 / 促销活动 PC管理后台、手机APP、iPad APP、微信小程序 1、什么是卡升组合促销? 原价购买的卡项,卡状态正常的情况下&…

数值计算方法——大题题型总结

目录 一、绝对误差限、相对误差限 1.1 例题 1.2 解题套路 1.3 题解 二、敛散性、收敛速度 2.1 例题 2.2 解题套路 2.3 题解 三、牛顿迭代法 3.1 例题 3.2 解题套路 3.3 题解 四、割线法 4.1 例题 4.2 解题套路 ​4.3 题解 五、列主元素消去法 5.1 例题 5.…

增量同步笔记

2.2.2.增量同步 全量同步需要先做RDB,然后将RDB文件通过网络传输个slave,成本太高了。因此除了第一次做全量同步,其它大多数时候slave与master都是做增量同步。 什么是增量同步?就是只更新slave与master存在差异的部分数据。如图…

【快速入门Linux】10_Linux命令—Vi编辑器

文章目录 一、vi 简介1.1 vi1.2 vim1.3查询软连接命令(知道) 二、打开和新建文件(重点)2.1 打开文件并且定位行2.2 异常处理 三、vi三种工作模式(重点)3.1 末行模式-命令 四、常用命令4.0 命令线路图4.1 移…