linux中awk命令
看这里放声嘶吼谁也不舍得沉默
宽阔也抓不住我下一秒钟的echo
——《暂时失控》苏打绿
awk命令简介
AWK 是一种处理文本文件的语言，是一个强大的文本分析工具。
之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符
linux中有三剑客之称：
三剑客之首就是 AWK
三剑客功能:
- grep ： 过滤文本
- sed : 修改文本
- awk : 处理文本
awk的语法格式
awk [参数] [处理内容] [操作对象]
awk关键字
print : 打印
$ : 取值
结合作用:
$配合NF使用 : NF内存储统计文件内每行的总字段，$存储NF内的值
NF ：相当于 变量值 $ ：相当于 变量名
print相当于打印 $ 内的内容
options 参数说明：
-F <分隔符> 或 --field-separator=<分隔符>： 指定输入字段的分隔符，默认是空格。使用这个选项可以指定不同于默认分隔符的字段分隔符。
-v <变量名>=<值>： 设置 awk 内部的变量值。可以使用该选项将外部值传递给 awk 脚本中的变量。
-f <脚本文件>： 指定一个包含 awk 脚本的文件。这样可以在文件中编写较大的 awk 脚本，然后通过 -f 选项将其加载。
-v 或 --version： 显示 awk 的版本信息。
-h 或 --help： 显示 awk 的帮助信息，包括选项和用法示例。
以下是一些常见的 awk 命令用法
打印整行：
awk '{print}' file
打印特定列：
awk '{print $1, $2}' file
使用分隔符指定列：
awk -F',' '{print $1, $2}' file
打印行数：
awk '{print NR, $0}' file
打印行数满足条件的行：
awk '/pattern/ {print NR, $0}' file
计算列的总和：
awk '{sum += $1} END {print sum}' file
打印最大值：
awk 'max < $1 {max = $1} END {print max}' file
格式化输出：
awk '{printf "%-10s %-10s\n", $1, $2}' file
awk常见的内建变量
- FS：列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
- NF：当前处理的行的字段个数。
- NR：当前处理的行的行号（序数）。 $0：当前处理的行的整行内容。 $n：当前处理行的第n个字段（第n列）。
- FILENAME：被处理的文件名。
- RS：行分隔符。awk从文件上读取资料时,将根据RS的定义把读取的资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\n’
按行输出文本:
awk '{print}' name.txt #输出所有内容
awk '{print $0}' name.txt #输出所有内容
awk 'NR==1,NR==3 {print}' name.txt #输出第 1~3 行内容
awk 'NR==1;NR==3 {print}' name.txt #输出第 1和第3 行内容
awk '(NR>=1)&&(NR<=3) {print}' name.txt #输出第 1~3 行内容
awk 'NR==1||NR==3{print}' name.txt #输出第1行、第3行内容
awk '(NR%2)==1{print}' name.txt #输出所有奇数行的内容
awk '(NR%2)==0{print}' name.txt #输出所有偶数行的内容
awk '/^root/{print}' /etc/passwd #输出以 root 开头的行
awk '/nologin$/{print}' /etc/passwd #输出以 nologin 结尾的行
使用正则，字符串匹配
# 输出第二列包含 "th"，并打印第二列与第四列
$ awk '$2 ~ /th/ {print $2,$4}' log.txt
---------------------------------------------
this a
OFS : 指定打印分隔符(默认空格)
案例:(输出的意思 分隔符会打印出来)
awk -F: 'BEGIN{OFS=" >>> "}{print $NF, $1}' /etc/passwd
awk脚本
关于 awk 脚本，我们需要注意两个关键词 BEGIN 和 END。
BEGIN{ 这里面放的是执行前的语句 }
END {这里面放的是处理完所有的行后要执行的语句 }
{这里面放的是处理每一行时要执行的语句}
计算文件大小
$ ls -l *.txt | awk '{sum+=$5} END {print sum}'
--------------------------------------------------
666581
从文件中找出长度大于 80 的行：
awk 'length>80' log.txt
流程控制
简介:
流程控制只存在循环之中
if：
awk -F: '{if($3>$4){print "大于"}else{print "小于或等于"}}' /etc/passwd
解析:
判断文件 第三列大于第四列的话打印(大于) 不大于 else
if 使用格式:
if(){} : 但分支
if(){}else{} : 双分支
if(){}else if(){}else{} : 多分支
for每一行打印10次
for 使用格式
awk -F: '{for(i=10;i>0;i--){print $0}}' /etc/passwd
解析:
i-- 相当于python中的 i-=1 : i=i-1
减到条件不成立为止
格式:
fro(i="初始值":条件判断：游标){}
while每一行打印10次
while 使用格式
awk -F: '{i=1; while(i<10){print $0, i++}}' /etc/passwd
解析:
i++ 相当于python中的 i+=1
加到条件不成立为止
格式:
while(条件判断){}
