awk命令编辑

news2024/11/25 5:47:14

awk工作原理

逐行读取文本，默认以空格或tab键分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中，可以使用逻辑作符“&&”表示“与”、“||”表示“或”、“！”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加 减 乘 除 取余和乘方。

命令格式：

awk 选项 '模式或条件 {操作}'   文件1  文件2 ...

awk  -f 脚本文件 文件1  文件2

awk常见的内建变量（可直接用）如下所示：

FS

列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与“-F”作用相同
NF当前处理的行的字段个数
NR当前处理的行的行号（序数）
$0当前处理的行的整行内容
$n当前处理行的第n个字段（第n列）
FILENAME被处理的文件名
RS行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是‘\n’

 按行输出文本

[root@cx ~]# awk '{print}' test 
one
two
three
four
five
six
seven
night
nine
ten
eleven
twelve

[root@cx ~]# awk 'NR==1,NR==3 {print}' test 输出第一行到第三行的内容
one
two
three
[root@cx ~]# awk '(NR>=1)&&(NR<=3) {print}' test   
one
two
three
[root@cx ~]# awk 'NR==1||NR==3 {print}' test 
one
three        输出第一行和第三行的行内容

[root@cx ~]# awk '(NR%2)==0{print NR,$0}' test 
2 two
4 four
6 six
8 night
10 ten
12 twelve      输出偶数行的行号和内容
[root@cx ~]# awk '(NR%2)==1{print NR,$0}' test 
1 one
3 three
5 five
7 seven
9 nine
11 eleven      输出奇数行的行号和内容

[root@cx ~]# awk '/^root/ {print $0}' passwd  以/root/开头的行内容
root:x:0:0:root:/root:/bin/bash
[root@cx ~]# awk '/bash$/ {print $0}' passwd  以/bash/结尾的行内容
root:x:0:0:root:/root:/bin/bash
cx:x:1000:1000:cx:/home/cx:/bin/bash
[root@cx ~]# awk '/\/bin\/bash$/ {print $0}' passwd 以/bin/bash/结尾的行内容
root:x:0:0:root:/root:/bin/bash
cx:x:1000:1000:cx:/home/cx:/bin/bash
[root@cx ~]# awk -F: '/^root/ {print $1}' passwd   输出以/root/开头的行的第1个字段
root
[root@cx ~]# awk -F: '/^root/ {print $3}' passwd   输出以/root/开头的行的第3个字段
0
[root@cx ~]# awk -F: '/^root/ {print $1,$3}' passwd 输出以/root/开头的行的第1和第3个字段
root 0
[root@cx ~]# awk -F: '/^root/ {print $1,$3,$NF}' passwd 输出以/root/开头的行的第1第3和最后一个字段
root 0 /bin/bash 
[root@cx ~]# awk -F: '/^root/ {print $1","$3","$NF}' passwd 用逗号分隔字段
root,0,/bin/bash

[root@cx ~]# grep -c "nologin$" passwd  过滤出以nologin结尾的行数
36
[root@cx ~]# awk '/nologin$/ {print $0}' passwd | wc -l 统计行数
36
[root@cx ~]# awk 'BEGIN {x=0}; /nologin$/ {x++}; END{print x}' passwd 
36 赋值一个变量0，每出现一个nologin结尾的行数自加1，最后打印输出x的值就是出现的行数
[root@cx ~]# awk 'BEGIN {x=0}; /nologin$/ {x++;print x,$0}; END{print x}' passwd 
1 bin:x:1:1:bin:/bin:/sbin/nologin


BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作；
awk再处理指定的文本，之后再执行END模式中指定的动作，
END{}语句块中，往往会放入打印结果等语句

按字段输出文本

[root@cx ~]# awk -F: '$3<5 {print $0}' passwd  以：为分隔取第三个字段小于5的行打印行内容
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
ftp:123456
root:123456

[root@cx ~]# awk -F: '!($3>5) {print $0}' passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
ftp:123456
root:123456
取反 打印除了第三个字段大于5的行内容，即打印第三个字段小于5的行
[root@cx ~]# awk 'BEGIN {FS=":"};{if($3<=5) print $0}' passwd 
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
ftp:123456
root:123456


先处理完BEGIN的内容，再打印文本里面的内容

[root@cx ~]# awk -F: '{max=($3>=$4)?$3:$4;{print$1, max}}' passwd 
root 0
bin 1
daemon 2
adm 4
lp 7
sync 5
shutdown 6
halt 7
mail 12
operator 11
games 100
ftp 50
nobody 99
systemd-network 192
#($3>$4)?$3:$4;三元运算符，如果第3个字段的值大于等于第4个字段的值，则把第3个字段的值赋给max，否则第4个字段的值赋给max
[root@cx ~]# awk '{print}' test 
one
two
three
four
five
six
seven
night
nine
ten
eleven
twelve
[root@cx ~]# awk '$1~"o" {print}' test 
one
two
four
输出第1个字段中包含“o”的行的第1个字段

[root@cx ~]# awk -F: '$1~"root" {print $0}' passwd 
root:x:0:0:root:/root:/bin/bash
root:123456
[root@cx ~]# awk -F: '($1~"root")&&(NF==7) {print $0}' passwd 
root:x:0:0:root:/root:/bin/bash
[root@cx ~]# awk -F: '($1~"root")&&(NF==7) {print $1,$2}' passwd 
root x
#输出第1个字段中包含root且有7个字段的行的第1、2个字段

[root@cx ~]# awk -F: '!($1~"root")&&($NF=="/bin/bash") {print $0}' passwd 
cx:x:1000:1000:cx:/home/cx:/bin/bash
#输出第1个字段中不包含root且最后一个个字段是/bin/bash的行
[root@cx ~]# awk -F: '($1~"root")&&($NF!="/bin/bash") {print $0}' passwd 
root:123456
#输出第1个字段中包含root且最后一个字段不是/bin/bash的行
！表示取反

 通过管道、双引号调用 Shell 命令

以：分隔PATH变量的行数

[root@cx ~]# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
[root@cx ~]# echo $PATH | awk 'BEGIN {RS=":"} {print NR,$0}'
1 /usr/local/sbin
2 /usr/local/bin
3 /usr/sbin
4 /usr/bin
5 /root/bin

设置行分隔符RS为冒号，打印输出

 内存使用百分比

[root@cx ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:           1963         708         195           4        1059        1046
Swap:          4095           8        4087
[root@cx ~]# free -m | awk '/Mem/ {print $3}'
708
[root@cx ~]# free -m | awk '/Mem/ {print $3/$2}'
0.360672
[root@cx ~]# free -m | awk '/Mem/ {print $3/$2"%"}'
0.360672%
[root@cx ~]# free -m | awk '/Mem/ {print $3/$2 * 100}'
36.0672
[root@cx ~]# free -m | awk '/Mem/ {print $3/$2 * 100"%"}'
36.0672%
[root@cx ~]# free -m | awk '/Mem/ {print ($2-$3)/$2 * 100"%"}'
63.9328%
  #查看当前内存使用百分比

进程查看 

 

 cpu空闲率

[root@cx ~]# top -b -n1 | awk -F, '/%Cpu/ {print $4}' | awk '{print $1}'
93.8
[root@cx ~]# top -b -n1 | awk -F, '/%Cpu/ {print $4}' | awk '{print 100-$1}'
6.2
[root@cx ~]# top -b -n1 | awk -F, '/%Cpu/ {print $4}' | awk '{print 100-$1"%"}'
6.2%


#查看当前CPU空闲率，（-b -n 1 表示只需要1次的输出结果）

 挂载使用率

 date作用

[root@cx ~]# date
2023年 05月 15日 星期一 15:26:34 CST
[root@cx ~]# date +%Y%m%d
20230515
[root@cx ~]# date +%Y-%m-%d
2023-05-15
[root@cx ~]# date +%F
2023-05-15
[root@cx ~]# date +%D
05/15/23
[root@cx ~]# date +"%Y%m%d %H:%M:%S"
20230515 15:29:36
[root@cx ~]# date +"%Y%m01"
20230501
[root@cx ~]# date +"%Y%m%d"
20230515
[root@cx ~]# date -d "1 month" +"%Y%m%d"
20230615
[root@cx ~]# date -d "-1 month" +"%Y%m%d"
20230415
[root@cx ~]# date -d "-1 month" +"%Y%m01"
20230401
[root@cx ~]# date -d "1 month ago" +"%Y%m01"
20230401
[root@cx ~]# date -d "-1 month ago" +"%Y%m01"
20230601
[root@cx ~]# date -d "yesterday" +"%Y%m%d"
20230514



[root@cx ~]# date -d "$(date +%Y%m01) -1 day" +%Y%m%d
20230430  上个月最后一天
[root@cx ~]# date -d "$(date -d "1 month" +%Y%m01) -1 day" +%Y%m%d
20230531    这个月最后一天

显示系统上次重启时间

date -d      #显示字符串所指的日期与时间。字符串前后必须加上双引号

date +"%Y-%m-%d"      #注意 ：+ 和格式之间没有空格

常用格式：

%F：完整日期格式，等价于%Y-%m-%d

%Y：年份

%m：月份

%d：按月计的日期

%T：时间，等于%H:%M:%S

%H： 小时，24小时制（00~23）

%M：分钟

%S：秒

[root@cx ~]# date -d "$(cat /proc/uptime | awk -F. '{print $1}') second ago"
2023年 05月 15日 星期一 20:18:49 CST
[root@cx ~]# date -d "$(cat /proc/uptime | awk -F. '{print $1}') second ago" +"%Y%m%d %H:%M:%S"
20230515 20:18:49
[root@cx ~]# date -d "$( awk -F. '{print $1}' /proc/uptime) second ago" +"%Y%m%d %H:%M:%S"
20230515 20:18:49

getline的使用

当getline左右无重定向符“<”或“|”时，awk首先读取到了第一行，就是1，然后getline，就得到了1下面的行，就是2，因为getline之后，awk会改变对应的NF，NR，FNR和$0等内部变量，所以此时的$0的值就不再是1，而是2了，即隔行输出。然后将它打印出来。
当getline左右有重定向符“<”或“|”时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。

#当有重定向符号或 “|” 时，只会输出第1行
awk 'BEGIN {"cat a.txt" |getline; {print }}'
one
 
#当有重定向符号或 “|” 时，输出奇数行
cat a.txt | awk '{print $0;getline}'
one
three
five
seven
nine
eleven
#输出偶数行
cat a.txt | awk '{getline;print $0}'
two
four
six
eight
ten
twelve
[root@cx ~]# w
 20:49:50 up 31 min,  4 users,  load average: 0.00, 0.01, 0.05
USER     TTY      FROM             LOGIN@   IDLE   JCPU   PCPU WHAT
root     :0       :0               20:19   ?xdm?  29.01s  0.19s /usr/libexec/gnome-session-binary --ses
root     pts/0    :0               20:20   29:32   0.05s  0.05s bash
root     pts/1    192.168.47.1     20:20    6.00s  0.10s  0.00s w
root     pts/2    192.168.47.1     20:35    8:38   0.04s  0.04s -bash
[root@cx ~]# awk 'BEGIN{n=0;while("w" | getline) n++; {print n-2}}'
4

FNR：awk当前读取的记录数，其变量值小于等于NR（比如当读取第二个文件时，FNR是从0开始重新计数，而NR不会）。
NR==FNR：用于在读取两个或两个以上的文件时，判断是不是在读取第一个文件
 

awk数组

#BEGIN中的命令只执行一次
awk 'BEGIN{a[0]=1;a[1]=2;a[2]=3;print a[2]}'
3
#awk数组的下标除了数字，还可以使用字符串，字符串需要使用双引号
awk 'BEGIN{a["q"]="aaa";a["m"]="bbb";a["y"]="ccc";print a["q"]}'
aaa
 
awk 'BEGIN{a["q"]=1;a["m"]=2;a["y"]=3;for(i in a){print i,a[i]}}'
y 3
m 2
q 1

过滤文本中重复行数

cat b.txt
aaa
bbb
ccc
aaa
aaa
aaa
bbb
bbb
ccc
#将文本的内容作为数组下标，a[$1]++表示出现相同的行，就自加1
awk '{a[$1]++}END{for (i in a){print i,a[i]}}' b.txt
aaa 4
ccc 2
bbb 3

过滤访问本机密码输入失败的命令

#过滤密码输出错误的IP地址及输入次数
[root@cx log]# awk '/Failed password/{ip[$11]++}END{for(i in ip){print i,ip[i]}}' /var/log/secure
192.168.47.10 2
192.168.47.100 3

#过滤输入次数大于4次的IP地址
[root@cx log]# awk '/Failed password/{ip[$11]++}END{for(i in ip){print i,ip[i]}}' /var/log/secure | awk '$2>2{print $1}'
192.168.47.100

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/530001.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

做网工10年，没人在30岁前和我讲这些（一）

做网工10年，没人在30岁前和我讲这些（一）

晚上好&#xff0c;我是老杨。 23年才刚过几天&#xff0c;我就感觉自己又上了点年纪&#xff0c;时常面对年纪比较小的粉丝&#xff0c;无意识的面露慈爱的笑容。 还是每次小冬提醒我&#xff0c;我才发现我的表情不对劲。 我对年轻人的包容度是很强的&#xff0c;尤其是一…
阅读更多...
VMware、CentOS、XShell、Xftp的安装

VMware、CentOS、XShell、Xftp的安装

第 1 章 VMware 1.1 VMware 安装 一台电脑本身是可以装多个操作系统的&#xff0c;但是做不到多个操作系统切换自如&#xff0c;所以我们 需要一款软件帮助我们达到这个目的&#xff0c;不然数仓项目搭建不起来。 推荐的软件为 VMware&#xff0c;VMware 可以使用户在一台计…
阅读更多...
DNS正反向解析

DNS正反向解析

正向解析 1.准备工作 关闭Selinux服务和firewalld服务 [rootserver ~]# setenforce 0 [rootserver ~]# systemctl stop firewalld 修改服务器与客户端的IP为静态IP地址 [rootserver ~]# nmcli connection modify ens160 ipv4.method manual ipv4.address …
阅读更多...
剑指offer 19. 正则表达式匹配

剑指offer 19. 正则表达式匹配

文章目录 1. 题目描述2. 解题思想3. 设置dp初始值4.代码实现 1. 题目描述 2. 解题思想 定义dp数组 dp[i][j]&#xff1a;表示当字符串长度i&#xff0c;j是&#xff0c;s与p是否匹配 确定递推公式 核心是s[i]要与p[j]进行比较&#xff0c;比较的结果来确定 dp数组的值&#xf…
阅读更多...
STM32-ADC多通道输入实验

STM32-ADC多通道输入实验

之前已经介绍了几个ADC的笔记和实验了&#xff0c;链接如下&#xff1a; 关于ADC的笔记1_Mr_rustylake的博客-CSDN博客 STM32-ADC单通道采集实验_Mr_rustylake的博客-CSDN博客 STM32-单通道ADC采集&#xff08;DMA读取&#xff09;实验_Mr_rustylake的博客-CSDN博客 接下来…
阅读更多...
NodeJs基础之NRM与NPM

NodeJs基础之NRM与NPM

nrm nrm can help you easy and fast switch between different npm registries, now include: npm, cnpm, taobao, nj(nodejitsu). 译文&#xff1a;nrm可以帮助您在不同的npm注册表之间轻松快速地切换&#xff0c;现在包括&#xff1a;npm、cnpm、taobao、nj&#xff08;no…
阅读更多...
编译安装及yum安装

编译安装及yum安装

一、编译安装 源码包&#xff1a;是由程序员按照特定格式和语法编写的包 二进制包:源码包经过成功编译之后产生的包 1.tar -xf httpd-2.4.29.tar.bz #解压源码包 2.安装依赖环境 3.配置安装路径 4.编译make并安装 5.关闭防火墙&#xff0c;和安全机制 6.开启服务器 7.…
阅读更多...
全电发票时代，记账凭证不用再打印了！

全电发票时代，记账凭证不用再打印了！

—政策通告— 为进一步推进电子发票应用和推广实施工作&#xff0c;助力国家数字经济发展&#xff0c;国家档案局会同财政部、商务部、国家税务总局总结三批增值税电子发票电子化报销、入账、归档试点经验&#xff0c;依据国家相关法律法规和标准规范&#xff0c;编制形成了《…
阅读更多...
KMP匹配算法

KMP匹配算法

目录 一、暴力匹配法动画演示代码实现 二、KMP算法的概念三、KMP算法的应用题目代码实现 一、暴力匹配法 动画演示 时间复杂度为&#xff1a; O ( m ∗ n ) O(m * n) O(m∗n) 代码实现 #define _CRT_SECURE_NO_WARNINGS #include <iostream> using namespace std;int…
阅读更多...
Revit API：ErrorHandling

Revit API：ErrorHandling

前言 本文介绍 Revit 的错误处理机制。 内容 程序员对错误处理的定义和理解 程序的错误处理机制可以分为两种类型&#xff1a;错误返回码和异常捕捉。 错误返回码是指在程序中遇到错误时&#xff0c;通过函数返回值来表明错误的类型和信息。错误返回码可以在程序中被预测和…
阅读更多...
分段存储管理方式

分段存储管理方式

目录 一、分段存储管理方式的引入的需求: 1.方便编程 2.信息共享 3.信息保护 4.动态增长 5.动态链接 二、分段系统的基本原理 1.分段 2.段表 3.地址变换机构 4.分页与分段的主要区别 三、信息共享 四、段页式存储管理方式 1.基本原理 2.地址变换过程 分段与分页…
阅读更多...
Spring实现IOC和DI入门案例(XML版)

Spring实现IOC和DI入门案例(XML版)

文章目录 1 IOC入门案例(XML版)1.1 思路分析1.2 代码实现步骤1:创建Maven项目步骤2:添加Spring的依赖jar包步骤3:添加案例中需要的类步骤4:添加spring配置文件步骤5:在配置文件中完成bean的配置步骤6:获取IOC容器步骤7:从容器中获取对象进行方法调用步骤8:运行程序 2 DI入门案例…
阅读更多...
AltTab for Mac 像Windows一样的窗口快速切换工具

AltTab for Mac 像Windows一样的窗口快速切换工具

AltTab for Mac AltTab for Mac 是一款非常好用的窗口快速切换工具&#xff0c;AltTab将Windows的 “Alt-Tab” 窗口切换器的功能引入到了macOS。可以让您更快的在各个程序之间自由切换&#xff0c;大大提高您的工作效率。 AltTab for Mac下载 AltTab for Mac AltTab for Ma…
阅读更多...
哈工大软件过程与工具作业2

哈工大软件过程与工具作业2

云原生技术云原生技术 哈尔滨工业大学 计算机科学与技术学院/国家示范性软件学院 2022年秋季学期 《软件过程与工具》课程 作业报告 作业 2&#xff1a;需求分析UML建模 姓名 学号 联系方式 石卓凡 120L021011 944613709qq.com/18974330318 目 录 1 需求概述...........…
阅读更多...
Vue3——简易版个人空间(上半部分)

Vue3——简易版个人空间(上半部分)

创建项目 使用vue 的图形化界面创建一个新的vue3项目如下图所示 装两个新的插件——router和vuex插件 该过程的可能有点久&#xff0c;需要耐心等待。 再装一些需要的依赖 需要用到的依赖: boostrap和poperjs/core&#xff08;bootstrap是提供给不会做美工的程序员的一个新的…
阅读更多...
物联网|uart串口相关寄存器|波特率设置及计算|发送处理代码|串口接收中断处理函数|物联网之蓝牙4.0 BLE基础-学习笔记（7）

物联网|uart串口相关寄存器|波特率设置及计算|发送处理代码|串口接收中断处理函数|物联网之蓝牙4.0 BLE基础-学习笔记（7）

文章目录 13 uart串口基础开发基本电路图&#xff1a;实验相关寄存器波特率设置及计算计算过程&#xff1a;设置中断发送处理代码串口接收中断处理函数main.c 13 uart串口基础开发 基本电路图&#xff1a; 实验相关寄存器 相关寄存器UxCSR、UxCSR、UxGCR、UxBUF、UxBAUD、CLK…
阅读更多...
大厂设计师青睐的十大设计网站

大厂设计师青睐的十大设计网站

设计绝对是薪酬差距最大的职业之一&#xff0c;有些人年薪100万&#xff0c;有些人月薪3000。 你有没有想过普通人和高薪设计师之间的差距在哪里&#xff1f; 在这篇文章中&#xff0c;我们将解密大厂设计师青睐的十大设计网站。让我们看看&#xff01; 1.即时设计 即时设计…
阅读更多...
眺望高阶智能驾驶的远方，北醒驶入新“平台”

眺望高阶智能驾驶的远方，北醒驶入新“平台”

从4月到5月&#xff0c;关于2023上海国际车展的话题热度始终不减。 这次车展既让外界感受到了车企们的“卷”&#xff0c;也把智能汽车产业发展的蓝图更加清晰地呈现了出来——智能汽车正在进入产业布局的关键期&#xff0c;产业链上下游发展不断提速。 作为推动汽车产业的“…
阅读更多...
基于边缘的图像分割

基于边缘的图像分割

文章目录 基于边缘的图像分割基本原理常用的算法实现步骤示例代码结论 基于边缘的图像分割 基于边缘的图像分割是数字图像处理中常用的一种方法&#xff0c;它通过检测图像中的边缘信息来实现图像的分割。边缘通常代表着图像中不同区域之间的边界或目标的轮廓&#xff0c;因此…
阅读更多...
Java 8 腰斩，Java 17 暴涨 430% （文末惊喜福利）

Java 8 腰斩，Java 17 暴涨 430% （文末惊喜福利）

文末送出惊喜赠书福利一份&#xff0c;绝对high到爆&#xff01; 预约视频号&#xff1a;《Java核心技术》新书发布会暨"Java核心技术大会2023"启动仪式 New Relic 最新发布了一份 “2023 年 Java 生态系统状况报告”&#xff0c;旨在提供有关当今 Java 生态系统状态…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023