目录

1、sed

1.1、基本用法

1.2、sed脚本格式

1.3、搜索与替换

1.4、变量

2、awk

2.1、基础用法

2.2、常见的内置变量

2.3、模式

2.4、判断

2.5、for计算

2.6、数组

3、grep

---

1、sed

sed 即 Stream EDitor，和 vi 不同，sed是行编辑器

Sed是从文件或管道中读取一行，处理一行，输出一行；再读取一行，再处理一行，再输出一行，直到最后一行。每当处理一行时，把当前处理的行存储在临时缓冲区中，称为模式空间

1.1、基本用法

sed [option]... 'script;script;...' [input  file...]

常用选项：
-n 不输出模式空间内容到屏幕，即不自动打印
-e 多点编辑[root@www data]#sed -n -e '/^r/p'  -e'/^b/p' /etc/passwd
-f FILE 从指定文件中读取编辑脚本
-r, -E 使用扩展正则表达式
-i.bak 备份文件并原处编辑
-s  将多个文件视为独立文件，而不是单个连续的长文件流

1.2、sed脚本格式

命令
p 打印当前模式空间内容，追加到默认输出之后

a [\]text 在指定行后面追加文本，支持使用\n实现多行追加
i  [\]text 在行前面插入文本
c [\]text 替换行为单行或多行文本

! 模式空间中匹配行取反处理

seq 10 | sed -n 'p'

seq 10 | sed -n '3p'

sed -n '/root/p' /etc/passwd

seq 10|sed -n '3,6p'

seq 10|sed -n '3,+4p'

1.3、搜索与替换

  s/pattern/string/   

修饰符 查找替换,支持使用其它分隔符，可以是其它形式：s@@@，s###
替换修饰符：
g 行内全局替换
p 显示替换成功的行
w   /PATH/FILE 将替换成功的行保存至文件中
I,i   忽略大小写

echo 123xyzabc |sed -r 's/(123)(xyz)(abc)/\1\2/'
只要1和2（123）（xyz）

1.4、变量

sed可以使用通过变量搜索

name=root
sed -nr "/$name/p" /etc/passwd

2、awk

awk：Aho, Weinberger, Kernighan，报告生成器，格式化文本输出

2.1、基础用法

awk 'patterm{action}'

awk '{print}'

awk '{print "hello"}'

df|awk '{print $5}'

cat /etc/passwd|awk -F: '{print $1,$3}'

cat /etc/passwd|awk -F: '{print $1":"$3}'

awk '/^root/{print}' /etc/passwd

2.2、常见的内置变量

• FS :指定每行文本的字段分隔符，缺省为空格或制表符（tab）。与 “-F”作用相同 -v "FS=:"

• OFS：输出时的分隔符

• NF：当前处理的行的字段个数

• NR：当前处理的行的行号（序数）

• $0：当前处理的行的整行内容

• $n：当前处理行的第n个字段（第n列）

• FILENAME:被处理的文件名

• RS：行分隔符。awk从文件上读取资料时，将根据RS的定义就把资料切割成许多条记录，而awk一次仅读入一条记录进行处理。预设值是\n

2.3、模式

gender         正则表达式

/pat1/           匹配pat1 的行

/pat1/,/pat2/         正则表达式1   到正则表达式2  之间的行       如果匹配不到2的表达式  会一直匹配到文末

pat1   正则表达式1
pat2   正则表达式2

#模糊匹配，用~表示包含，!~表示不包含
比较操作符：==, !=, >, >=, <, <=

逻辑：与：&&，并且关系    或：||，或者关系     非：!，取反

seq 10 |awk 'NR>=3 && NR<=6'

awk 'NR>=3 && NR<=6{print NR,$0}' /etc/passwd

2.4、判断

if语句：awk的if语句也分为单分支、双分支和多分支
单分支为if(){}
双分支为if(){}else{}
多分支为if(){}else if(){}else{}

awk -F: '{if($3>1000)print $1,$3}' /etc/passwd

2.5、for计算

awk 'BEGIN{i=0;print i++,i}'

2.6、数组

awk 'BEGIN{students[1]="qqq";students[2]="www";students[3]="eee";for(x in students){print x":"students[x]}}'

3、grep

grep [选项]… 查找条件 目标文件

• -i：查找时忽略大小写

• -v：反向查找，输出与查找条件不相符的行

• -o 只显示匹配项

• -f 对比两个文件的相同行

• -c 匹配的行数（[root@localhost ky15]# grep -c root passwd 2）