一、awk
1.1.awk工作原理
逐行读取文本,默认以空格或tab键为分隔符进行分隔,将分隔所得的各个字段保存到内建变量中,并按模式或者条件执行编辑命令。
awk倾向于将一行分成多个"字段"然后再进行处理。
awk信息的读入也是逐行读取的,执行结果可以通过print的功能将字段数据打印显示。
使用awk命令的过程中,可以使用逻辑操作符"&&"表示"与"、"|"表示"或"、"!"表示"非",还可以进行简单的数学运算,如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。
1.2.awk命令格式
-
awk 选项 '模式或条件 {操作}' 文件1 文件2 ....
- awk -f 脚本文件 文件1 文件2
1.3.awk常见的内建变量(可以直接使用)
内建变量 | 作用 |
$0 | 当前处理的行的整行内容 |
NR | 当前处理的行的行号(序数) |
$n | 当前处理行的第n个字段(第n列) |
FS | 列分割符。指定每行文本的字段分隔符,默认为空格或制表位。与"-F"作用相同 |
OFS | 输出内容的列分隔符 |
NF | 当前处理的行的字段个数 $NF代表最后一个字段 |
FILENAME | 被处理的文件名 |
RS | 行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录, 而awk一次仅读入一条记录进行处理。预设值是'\n ' |
1.4.NR 处理指定行内容
1.5.使用字符串处理文件内容
1.6.打印行号
使用BEGIN输出包含指定字符的行并统计有多少行
格式:awk 'BEGIN{ ..};{..} ;END{.. .}' 文件
- BEGIN模式表示,在处理指定的文本之前,需要先执行BEGIN模式中指定的动作;
- awk再处理指定的文本,之后再执行END模式中指定的动作;
- END{ } 语句块中,往往会放入打印结果等语句。
先输出查看到的语句 再输出x的值,继续执行操作直到匹配不到相应的语句后执行END语句 打印最后的x值
1.7. $n 当前处理行的第n个字段
-
$n ~ "字符串" 代表打印出第n个字段中包含某字符的行
-
$n =="字符串" 代表打印出第n个字段中为某字符串的行
-
$n != "字符串" 代表打印出第n个字段中不为某字符的串行
1.8.FS(-F)列分割符,指定每行文本的字段分隔符
格式:awk -F 分隔符 '{操作}'
!用法
与if语句或者while或三目运算符等一起使用时需要再嵌套一个大括号{ }
三元运算符:
-
(条件表达式)?(A表达式或者值):(B表达式或者值)
-
条件表达式成立为真时会取:号前面的A的值
- 条件表达式不成立为假时会取:号后面的B的值
1.9.OFS输出内容的列分隔符
将空格换为“|”
1.10.NF当前处理的行的字段个数
打印第一个字段与最后一个字段