正则表达式匹配的是文本内容，linux的文本三剑客都是针对文本内容，按行进行匹配
文本三剑客：
grep 过滤文本内容
sed 针对文本内容进行增删改查
awd 按行取列
一.grep命令
作用就是使用正则表达式来匹配文本内容
-m +数字：匹配几次之后停止
-v ：取反
-n ：显示匹配的行号
-c ：只统计匹配的行数
-o ：仅显示匹配的结果
-q ：静默模式，不输出任何信息
-A +数字 ：显示包括匹配行的后几行
-B +数字 ：显示包括匹配行的前几行
-C +数字 ：显示包括匹配行的前后各几行
-e ：或者
-E ：匹配扩展正则表达式
-f ：匹配两个文件相同的内容，以第一个文件为准
-r ：递归目录，目录下的文件内容，软连接不包含在内
-R ：递归目录，目录下的文件内容，包含软连接
sort
排序：
以行为单位，对文件的内容进行排序
sort 选项 参数
cat file | sort 选项
-f ：忽略大小写，默认会把大写字母排在前面
-b ：忽略每行之前的空格（不是把空格删除，只是依然按照数字和字母的顺序排列）
-n ：按照数字进行排序
-r ：反向排序
-u ：表示相同的数据仅显示一行
-o ：把排序后的结果转存到指定的文件
uniq
去除连续重复的行
-c ：统计连续重复的行的次数，合并连续重复的行
-u ：显示仅出现一次的行（包括不是连续出现的重复行）
-d ：仅显示连续重复的行（不包括非连续出现的行）
tr
用来对标准输出字符进行替换，压缩和删除
tr 选项 参数
-c ：保留字符集1的字符，其他字符用字符集2来进行替换
默认会多输出一次替换的字符集2
-d ：删除字符集中一部分
-s ：①把连续重复出现的字符压缩成一个，②把字符集1的部分替换成字符集2的部分
cut
快速裁剪，对字段进行截取和裁剪
-d ：指定分割符（默认的分割符是tab键）
-f ：对字段进行截取，指定输出段的内容
截取字段1到3段：
截取字段1和3段：
-complement ：输出的时候排除指定的字段
截取除第二段外字段：
截取除第1到第6字段外字段
截取除第1和第3字段外字段
-output-delimiter ：更改输出内容的分割符
将截取的1到5字段中分割符： 替换成@
-b ：以字节为单位进行截取
-c ：以字符为单位进行截取
文件的拆分：
split
大文件拆分成若干小的文件
-l ：按行进行拆分
将文件test2.txt按每20行拆分，拆分后文件前缀名为xy102
-b ：按照大小来进行拆分
将文件xshell7.rar已每份21M大小拆分，拆分后文件名前缀为xshell
面试题：现在有一个日志文件，5G，能不能快速的打开
答：拆分，两种方法 split -l按行拆分和 split -b按大小拆分
这种文件推荐使用按大小拆分，split -b
文件合并
paste
cat
面试题：cat合并和paste合并之间的区别
答：cat是上下合并，paste是左右合并
面试题：统计当前主机的连接状态
答：ss -antp | grep -v 'State' | cut -d ' ' -f 1 | sort | uniq -c
正则表达式：
由一类特殊字符以及文本字符所编写的一个模式，模式又来匹配文件当中内容（字符）
校验我们输入的内容是否满足规定，格式，长度等待要求
主要用来匹配文件内容，命令的结果
通配符：只能用于匹配文件名的目录名，不能匹配文件的内容和命令结果
正则表达式分为：
1.基本正则表达式
元字符（字符匹配）
. 任意单个字符，也可以是一个汉字
\ 转义符 恢复其本意
[] 匹配指定范围内的任意单个字符或数字
[^] 取反
^ 匹配开头
*匹配前面的字符任意次，0次也可以
.* 匹配前面的任意字符，至少要有一次
\? 匹配前面的字符0次或1次，可有可无
\ + 匹配前面的字符，至少要出现一次
\ {n\ } 匹配前面的字符=n次，可以小于n，但是不能大于n，而且前面的字符必须要是连续出现
\ (m，n\ )匹配前面的字符至少m次 ，最多n次，必须的连续出现，超出的不在匹配范围
\ {,n\ } 匹配前面的字符最多n次
\ {n,\ } 匹配前面的字符最少n次
位置锚顶：
^ ：以什么开始，行尾锚定
$ ：以什么为结尾，行尾锚定
\ <或\b 词首锚定，匹配单词的左侧（连续的数字，字母，下划线都算单词内部）
\ > 或\b 词尾锚定，用于匹配单词的右侧
\broot\b 匹配整个单词，空格隔开的也算整个单词
^root$ 整个一行只有这个单词
区别
分组和逻辑关系
分组 :（）
或者 : \ |
扩展正则表达式
grep -E ，不用加\号，其他与正则表达式基本一样
二.sed命令
sed是一种流编器，一次处理一行内容，针对文本内容进行增删改查
如果只是展示，会放在缓冲区（模式空间），展示结束之后，会从模式空间把操作结果删除
一行一行处理，处理完当前行，才会处理下一行，直到文件末尾
sed的命令格式和操作选项：
-e ：表示可以跟多个操作符，只有一个操作符 -e 可以省略
sed -e '操作符' -e '操作符' 文件1 文件2
sed -e '操作符1;操作符2;'文件1 文件2
选项
-e ：用于执行多个操作命令
-f ： 在脚本中定义好了操作符，然后根据脚本内容的操作符对文件进行操作
-i ： 直接修改目标文件（慎用）
-n ：仅显示script处理后的结果（不加 -n，sed会有两个输出结果，加了 -n后会把默认输出屏蔽，只显示一个结果）
操作符：
p ：打印结果
r ：使用扩展正则表达式
s ：替换，替换字符串
c ：替换，替换指定行
y ：替换，替换单个字符；多个字符必须和替换内容的字符长度保持一致
d ：删除，删除行
a ：增加，在指定行的下一行插入内容
i ：增加，在指定行的上一行插入内容
r ：读取其他文件的内容，在行后增加文本内容
$a ：在最后一行插入新的内容
$i ：在倒数第二行插入新的内容
$r ：读取其他文件的内容，插入到目标文件的最后一行
打印功能：
寻址打印，按照指定行打印
sed -n '$p' 文件名 ：，打印最后行
sed -n '数字p' 文件名 ：打印指定行
sed -n '数字p；数字p' 文件名 ：打印指定的两行
sed -n '2，4p' ：打印2-4行
sed -n 'p；n' ：打印奇数行
sed -n 'n；p' ：打印偶数行 ‘n’的作用，跳过一行，打印下一行
sed -n ‘/a/p’ ： 过滤并打印包含a的行
使用正则表达式对文本内容进行过滤
sed -n '/^root/p' /etc/passwd ：打印出以root开头的所有行
sed -n '42,/bash$/p' /etc/passwd ：从指定42行打印到第一个以bash结尾的行
sed -rn '/(99:){2,}/p' /etc/passwd ：
sed -rn '/^root|bash$/p' /etc/passwd ：打印出要么以root开头要么以bash结尾的行
面试题
如何免交互删除文件：
答：两种方法
①cat /dev/null > test1.txt
②sed -i 'd' test1.txt
sed的删除操作
sed -n ‘3d;p’ 文件名 ：删除第三行，打印剩余的行
sed -n '4d;6d;p' 文件名 ：删除第四和第六行，打印剩余行
匹配字符串删除行
sed '/o/d' ：删除所有包含o的行
ed '/222/,/444/d' ：删除包含222到444中间的所有行
ed '/222/！d' ：删除除了包含222的所有行
面试题：
如何用免交互方式删除空行
grep -v ‘^$’
cat test.txt | tr -s ‘\n’
sed ‘/^$/d’ test.txt
s替换字符串
sed -n 's/root/test/p' /etc/passwd ：每行第一个root替换成test
sed -n ’s/root/test/2p‘ /etc/passwd ：每行第二个root替换成test
sed -n ’s/root/test/gp‘ /etc/passwd：所有的root替换成test
sed -n '4,6s/^/#/p' test.txt ：注释第4到6行
sed -n '4s/^/#/p;6s/^/#/p' test.txt ：注释第4和第6行
sed 's/[a-z]/\u&/' test.txt：转换首字母小写为大写
sed 's/[a-z]/\u&/g' test.txt：所有的小写变为大写
u&：转换首字母为大写的特殊符号。
ed 's/[A-Z]/\l&/' test1.txt ：转换首字母大写为小写
sed 's/[A-Z]/\l&/g' test1.txt ：所有的大写变为小写
l& ：转换首字母为小写的特殊符号。
整行替换
sed '/a/c shuai' test.txt ：把a开头的行 替换成 shuai
y单字符替换
sed '/abc/123/' test.txt ：将文件内字符abc分别替换成123，
位置替换
使用sed对字符串和字符的位置进行互换
echo wenzeshao | sed -r 's/(wen)(ze)(shao)/\3\1\2/'
对单个字符的位置进行互换
echo oahs | sed -r 's/(.)(.)(.)(.)/\4\3\2\1/'
sed主要作用是对文本的内容进行增删改查
最好用的是：改和增功能
