文章目录
- 学习目标
- 一、什么是三剑客
- 1.三剑客grep
- 2.三剑客sed
- 3.三剑客awk
- 4.正则过滤例子1
- 5.正则过滤例子2
- 总结
学习目标
1.学会使用 grep
2.学会使用 sed
3.学会使用 awk
4.学会使用正则表达式
一、什么是三剑客
正则三剑客:grep sed awk
1.三剑客grep
# 擅长过滤
# grep参数
-n 行号
-c 对结果行计数
-i 不区分大小写
-v 反向搜索,取反
-w 精准匹配
-o 只显示匹配的结果
-A1 同时打印搜索结果行的后一行
-B3 同时打印搜索结果行的前三行
-C2 同时打印搜索结果行的上下各两行
-E 扩展正则表达式
2.三剑客sed
# 擅长修改
用法:sed [-nri] [动作] 目标文本文件
选项与参数:
-n:使用安静(silent)模式。在一般sed的用法中,
所有来自STDIN的数据一般都会被列出到终端上。但如果
加上-n参数后,则只有经过sed特殊处理的那一行(或者动作)才会被列出来。
-r:sed的动作支持的是延伸型正规表示法的语法(默认是基础正规表示法语法)
-i:直接修改读取的文件内容,而不是输出到终端。
动作说明:[n1[,n2]]funciton
n1,n2一般表示为行号
function:
a:指定行后面插入一行
d:删除
i:指定行前面插入一行
p:打印,#一般和前面的-n参数一起用
s:替换 需要I忽略大小写,全局替换需要g
3.三剑客awk
#擅长取列
用法:取列
eg1:取列
awk '{print $1}' 1.txt
awk '{print $1,$7}' /etc/passwd
eg2:指定分割符
awk -F ":" '{print $1,$7}' /etc/passwd
#[ /]+空格 和斜杠/为分隔符,+代表合并连续的分隔符
awk -F "[ /]+" '{print $2}' 1.txt
eg3:拼凑指定文本,双引号之间原样输出
awk -F ":" '{print $1":123:"$7}' /etc/passwd
eg4:过滤文本
awk -F "[ /]+" '$2~/^47/' 1.txt
eg5:根据行号筛选内容
awk 'NR<=3{print $0}' 1.txt
# 大于> 小于< 等于== 大于等于>= 小于等于<=
awk:$0代表整行,$1代表第一列,$2代表第二列...第十列$10
最后一列$NF
NR代表行号
过滤文本
文本拼凑
4.正则过滤例子1
1.什么是正则表达式
简单的说,正则表达式就是一套处理大量的字符串而定义的规则和方法。
例如:假设 @代表12345
通过正则表达式这些特殊符号,我们可以快速的过滤、替换需要的内容。
linux正则一般以行为单位处理的。
2.正则表达式
1) ^word 表示搜索以word开头的内容
2) word$ 表示搜索以word结尾的内容
3) ^$ 表示空行,不是空格
4) . 代表且只能代表任意一个字符
5) \ 转义字符,让有着特殊身份意义的字符,脱掉马甲,还原原型
6) * 重复0个或多个前面的一个字符。不代表所有了
7) .* 匹配所有的字符。 ^.* 任意多个字符开头
8) [abc] 匹配字符集内任意一个字符[a-z]
9) [^abc] ^在中括号里面表示非,不包含a或b或c
10) {n,m} 重复n到m次,前一个字符
举个例子:
再举一个例子:
规则没有写好导致没有下载到大部分图片,
但是基本步骤就是这样,重点是规则写好匹配得上才能下载大部分图片。
grep -Eo 'https[a-z.:/\-]+img.com.cn/t_s[0-9a-zA-Z/_-]+\.jpg'
url.txt |awk '{print "wget "$1}' |/bin/bash
查IP
5.正则过滤例子2
正则表达式练习
1.从phpone.txt文本中的手机号码过滤出所有联通130/131/132号段的手机号码
2.找出手机靓号(如带连续3个以上连续相同数字的,如有8888或者9999)
grep -E '^1[0-9]{10}$' phone.txt|grep -E
'000+|111+|222+|333+|444+|555+|666+|777+|888+|999'
grep -E '^1[0-9]{10}$' phone.txt|grep -E
'000+$|111+$|222+$|333+$|444+$|555+$|666+$|777+$|888+$|999+$'
3.将下列文本中的手机号码提取出来
http://so.qqdna.com/nub/15912345678.html
http://so.qqdna.com/nub/13711223344.html
http://so.qqdna.com/nub/13511223344.html
http://so.qqdna.com/nub/13311223344.html
http://so.qqdna.com/nub/13911223344.html
http://so.qqdna.com/nub/13312345678.html
4.找出弱密码,密码长度低于8或者只有纯数字或者纯字母的为弱密码
答案:
grep -E '^.{1,7}$|^[0-9]+$|^[a-z]+$|^[A-Z]+$' mima.txt
5.过滤出正确的邮箱地址
答案:
grep -E '^[0-9a-zA-Z]+@.*\.[a-z]+$' mail.txt
6.批量下载页面上的jpg图片,给出详细命令
答案:
grep -E 'src="https:[^"]+' tupian.txt
grep -Eo 'src="https:[^"]+' tupian.txt |grep 'jpg$'|sed 's#src="##g'
grep -Eo 'src="https:[^"]+' tupian.txt |grep
-E 'jpg$|png$'|sed 's#src="##g'
grep -Eo 'src="https:[^"]+' tupian.txt |grep -E
'jpg$|png$'|sed 's#src="##g' |awk '{print "wget "$1}' |/bin/bash
grep -Eo 'src="https:[^"]+' tupian.txt |grep -E
'\.jpg|\.png'|sed 's#src="##g' |awk '{print "wget "$1}' |/bin/bash
grep -Eo 'src="https:[^"]+'
curl "https://desk.zol.com.cn/fengjing/1920x1080/"
|grep -E 'jpg$|png$'|sed 's#src="##g'
|awk '{print "wget "$1}' |/bin/bash
菜鸟教程-正则表达式
总结
以上就是今天要讲的内容,三剑客和正则表达式要学习的知识点非常多,而且这一块知识比较绕,容易让人感到云里雾里的,要把每句的意思理解了才能运用自如,还远远不够,需要经常反复练习。