Shell脚本文本三剑客之awk编辑器

news2025/1/24 0:45:34

目录

一、sed编辑器简介

二、sed工作流程

三、sed命令

四、sed命令的使用

1.sed打印文件内容(p)

(1)打印文件所有行

(2)打印文件指定行

2.sed增加、插入、替换行(a、i、c)

(1)a操作在指定行下增加行内容

(2)i操作在指定行上插入行内容

(3)c操作指定行替换为一行内容

4.sed删除文件内容(d)

5.sed替换文件内容(s)

6.sed使用命令文件执行(-f)

7.sed直接修改文件内容(-i)

8.sed扩充操作

(1)替换处&代表需要替换内容处中正则表达式的内容

(2)替换处\1...\n\ 对应需要替换内容处每个括号中子表达式(可以是字符串和正则)

(3)大小写转换

(4)将多个文件内容放在一个文件中

(5)复制、剪切粘贴行内容


一、sed编辑器简介

sed是一种流编辑器,流编辑器会在编辑器处理数据前基于预先提供的一组规则来编辑数据。

sed编辑器可以根据命令来处理数据流中的数据,通过多种转换修改流经它的文本,这些命令要么从命令行中输入,要么存储在一个命令文本文件中。

sed是一个面向字符流的非交互式编辑器,也就是说 sed 不允许用户与它进行交互操作。

二、sed工作流程

1.读取

sed从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的内存缓冲区中(又称模式空间,pattern space)。

2.执行

默认情况下,所有的sed命令都在模式空间中顺序地执行,除非指定了行的地址,否则sed命令将会在所有的行上依次执行。

3.显示

发送修改后的内容到输出流。在发送数据后,模式空间将会被清空。在所有的文件内容都被处理完成之前,上述过程将重复执行,直至所有内容被处理完。

注:默认情况下所有的sed命令都是在模式空间内执行的,不会影响到文件中的内容,除非是用重定向输出到文件或使用-i选项。

三、sed命令

sed [选项] 操作 文件名...

常用选项

选项作用
-e表示用指定命令来处理输入的文本文件,一般在执行多个操作命令使用(只有一个操作命令时可省略)。
-f表示用指定的脚本文件来处理输入的文本文件。
-n禁止sed编辑自动输出,但可以与p命令一起使用完成输出。
-i直接修改目标文本文件

常用操作

操作作用
a插入,在当前行下面增加一行指定内容。
i插入,在选定行上面插入一行指定内容。
d删除,删除指定的行
s替换,替换选定的字符
c替换,将选定行替换为指定内容
p打印,如果同时指定行,表示打印指定行,如果不指定行,则表示打印所有内容,如果有非打印字符,则以ASCII码输出。其通常与"-n"选项一起使用
=打印行号
l打印数据流中的文本和不可打印的ASCII码字符(比如结束符$、制表符\t)。

执行多个操作的方法

  • sed -e '操作1' -e '操作2' ... 文件名

  • sed -e '操作1;操作2;...' 文件名

四、sed命令的使用

1.sed打印文件内容(p)

(1)打印文件所有行

sed本身有执行操作后自动打印的效果,-n禁用,p操作也可以打印,并且可以限定条件

sed ' ' 文件名

sed -n 'p' 文件名

//使用sed自动打印
[root@localhost1 sedtest]#sed '' file1
one
two
three
four
five
six
seven
eight
nine
ten
​
//使用sed的p操作打印
[root@localhost1 sedtest]#sed -n 'p' file1
one
two
three
four
five
six
seven
eight
nine
ten

(2)打印文件指定行

sed -n '指定条件p' 文件名

sed -n '/字符串或正则表达式/p' 文件名

//1.打印指定行(根据行号)
[root@localhost1 sedtest]#sed -n '2p' file1    //打印第2行
two
​
//2.打印指定的多行(根据行号)
[root@localhost1 sedtest]#sed -n '7,$p' file1    //打印从第7行到末尾行
seven
eight
nine
ten
​
//3.打印多行后退出
[root@localhost1 sedtest]#sed '3q' file1    //从头打印3行后退出
one
two
three
​
//4.打印指定行(根据字符串)
[root@localhost1 sedtest]#sed -n '/ve/p' file1    //根据字符串s
five
seven
​
//5.从指定行打印到包含指定字符串的行(根据字符串)    
[root@localhost1 sedtest]#sed -n '7,/nobody/p' /etc/passwd    //打印7到包含nobody的行
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
​
​
//6.打印奇偶行
[root@localhost1 sedtest]#sed -n 'n;p' file1    //n表示跳到下一行,先n实现输出偶数行
two
four
six
eight
ten
[root@localhost1 sedtest]#sed -n 'p;n' file1    //后n实现奇数行
one
three
five
seven
nine
​
//7.正则表达式表示
//根据root开头或包含mail的输出行(包含扩展正则时sed一定需要加-r选项)
[root@localhost1 sedtest]#sed -nr '/^root|mail/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
​
//从第8行打印到包含(r 至少有一个a t)的字符串的行
[root@localhost1 sedtest]#sed -nr '8,/ra{1,}t/p' /etc/passwd
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin

2.sed增加、插入、替换行(a、i、c)

(1)a操作在指定行下增加行内容

sed '指定行范围a 指定内容' 文件名

​
//指定第2行下增加行内容
[root@localhost1 ~]#sed '2a ABC' file1
One Two Three
Four Five Six
ABC
Seven Eight Nine
Ten Eleven Twelve
​
//指定2到4行每行下增加行内容
[root@localhost1 ~]#sed '2,4a ABC' file1
One Two Three
Four Five Six
ABC
Seven Eight Nine
ABC
Ten Eleven Twelve
ABC


​

(2)i操作在指定行上插入行内容

sed '指定行范围i 指定内容' 文件名

//指定第2行上插入行内容
[root@localhost1 ~]#sed '2i ABC' file1
One Two Three
ABC
Four Five Six
Seven Eight Nine
Ten Eleven Twelve
​
//指定第1到3行上插入行内容
[root@localhost1 ~]#sed '1,3i ABC' file1
ABC
One Two Three
ABC
Four Five Six
ABC
Seven Eight Nine
Ten Eleven Twelve

(3)c操作指定行替换为一行内容

sed '指定行范围c 指定内容' 文件名

//指定第3行替换为指定行内容
[root@localhost1 ~]#sed '3c ABC' file1
One Two Three
Four Five Six
ABC
Ten Eleven Twelve
​
//指定第3到4行替换为指定行内容(多行变为一行)
[root@localhost1 ~]#sed '3,4c ABC' file1
One Two Three
Four Five Six
ABC
​
//指定包含ve的行替换为指定行内容
[root@localhost1 ~]#sed '/ve/c ABC' file1
One Two Three
ABC
ABC
ABC

4.sed删除文件内容(d)

sed '指定条件d' 文件名

sed '/字符串或正则表达式/d' 文件名

//1.删除所有行(根据行号)
[root@localhost1 sedtest]#sed 'd' file1
​
//2.删除指定行(根据行号)
[root@localhost1 sedtest]#sed '1d' file1    //删除第1行
two
three
four
five
six
seven
eight
nine
ten
​
//3.删除指定的多行(根据行号)
[root@localhost1 sedtest]#sed '2,8d' file1    //删除2到8行
one
nine
ten
​
//4.删除空行
[root@localhost1 sedtest]#sed '/^$/d' /etc/fstab
#
# /etc/fstab
# Created by anaconda on Fri Jul 29 21:42:19 2022
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=552d20a1-63f1-4209-af23-7bcdb31d1c84 /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0
​
//5.删除指定的多行(根据字符串)
[root@localhost1 sedtest]#sed '/ve/d' file1    //删除包含ve的行
one
two
three
four
six
eight
nine
ten
​
//6.正则表达式表示
//删除结尾为bash或nologin的行
[root@localhost1 sedtest]#sed -r '/bash$|nologin$/d' /etc/passwd
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
​
//7.从包含第1个字符串的行开始删除,到包含第2个字符串的位置停止删除
//(如果找不到第2个字符串的行,则删到最后一行)
[root@localhost1 sedtest]#sed '/one/,/five/d' file1    //从含one的行删到含five的行
six
seven
eight
nine
ten
​
[root@localhost1 sedtest]#sed '/thr/,/no/d' file1    //从含thr的行开始删,匹配不到含no的行,则删到最后
one
two
​
​
//8.反向删除(删除除了包含指定内容的行)
[root@localhost1 sedtest]#sed '/ve/d' file1    //删除除包含ve的行
five
seven

5.sed替换文件内容(s)

sed [选项] '行范围 s/旧字符串/新字符串/替换标记' 文件名

4种替换标记

替换标记作用
数字n表明新字符串将替换第n处匹配的地方
g表明新字符串将会替换所有匹配的地方
p打印与替换命令匹配的行,需要在前面加 -n选项
w将替换的结果写到文件中
//1.不加范围,替换每行查找到的字符串
[root@localhost1 ~]#sed -n 's/root/admin/p' /etc/passwd
admin:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/admin:/sbin/nologin
​
//2.指定范围行,在指定行中替换n次(默认1次)
[root@localhost1 ~]#sed -n '/^root/ s/root/abc/p' /etc/passwd
abc:x:0:0:root:/root:/bin/bash
[root@localhost1 ~]#sed -n '/^root/ s/root/abc/2p' /etc/passwd
root:x:0:0:abc:/root:/bin/bash
​
//3.替换行中所有,使用g
[root@localhost1 ~]#sed -n '/^root/ s/root/abc/gp' /etc/passwd
root:x:0:0:root:/abc:/bin/bash
​
//4.指定行s/^/#/可以实现注释行内容
[root@localhost1 ~]#sed '2 s/^/#/' file1
one two three
#four five six
seven eight nine
ten eleven twelve
​
//5.指定行范围替换
[root@localhost1 ~]#sed '1,3 s/^/#/' file1
#one two three
#four five six
#seven eight nine
ten eleven twelve
​
//指定替换除为空可以实现将指定字符串删除
[root@localhost1 ~]#sed 's/#//' /etc/fstab
​
 /etc/fstab
 Created by anaconda on Fri Jul 29 21:42:19 2022
​
 Accessible filesystems, by reference, are maintained under '/dev/disk'
 See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
​
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=552d20a1-63f1-4209-af23-7bcdb31d1c84 /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0

6.sed使用命令文件执行(-f)

//编写文件包含sed的操作
[root@localhost1 ~]#vim script.txt
/^$/d
/e$/ s/^/#/
1,3 s/#//
​
//测试用文件
[root@localhost1 ~]#vim file2
#one
#two
#three
four
five
​
​
six
seven
eight
​
nine
ten
​
//sed指定文件操作
[root@localhost1 ~]#sed -f script.txt file2
#one
two
#three
four
five
six
seven
eight
#nine
ten

7.sed直接修改文件内容(-i)

​
//加-i直接对文件进行操作
[root@localhost1 ~]#sed -i '/swap/ s/^/#/' /etc/fstab
​
//注释文件中包含swap的行
[root@localhost1 ~]#vim /etc/fstab
# /etc/fstab
# Created by anaconda on Fri Jul 29 21:42:19 2022
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                        xfs     defaults        0 0
UUID=552d20a1-63f1-4209-af23-7bcdb31d1c84 /boot  xfs     defaults        0 0
#/dev/mapper/centos-swap swap                    swap    defaults        0 0


​

8.sed扩充操作

(1)替换处&代表需要替换内容处中正则表达式的内容

sed [选项] '行范围 s/正则表达式/&/替换标记' 文件名

//这里的&代表.*swap.*匹配到的内容(即包含swap的行内容),在前面加上#可以实现注释行
[root@localhost1 ~]#sed -n 's/.*swap.*/#&/' /etc/fstab
#/dev/mapper/centos-swap swap                    swap    defaults        0 0

(2)替换处\1...\n\ 对应需要替换内容处每个括号中子表达式(可以是字符串和正则)

sed [选项] 's/(表达式1)..(表达式n)/\1\2...\n/' 文件名

//原文件
[root@localhost1 ~]#cat file3
123456abcdef
​
//字符串子表达示,"\数字" 一一对应
[root@localhost1 ~]#sed 's/(123)(456)(abc)/\3\2\1/' file3
abc456123def
​
//正则子表达示,"\数字" 一一对应
[root@localhost1 ~]#sed -r 's/([0-9]{6})([a-z]{6})/\2\1/' file3
abcdef123456

(3)大小写转换

sed 's/[a-z]/\u&/g' 文件名 (原字符范围前\b实现首字母转大写)

sed 's/[A-Z]/\l&/g' 文件名

//原文件
[root@localhost1 ~]#cat file1
one two three
four five six
seven eight nine
ten eleven twelve
​
//1.全部转为大写
[root@localhost1 ~]#sed 's/[a-z]/\u&/g' file1
ONE TWO THREE
FOUR FIVE SIX
SEVEN EIGHT NINE
TEN ELEVEN TWELVE
​
[root@localhost1 ~]#sed -i 's/[a-z]/\u&/g' file1
​
//2.全部转为小写
[root@localhost1 ~]#sed 's/[A-Z]/\l&/g' file1
one two three
four five six
seven eight nine
ten eleven twelve
​
//3.锚定首字母,实现首字母大小写转换
[root@localhost1 ~]#sed 's/\b[a-z]/\u&/g' file1
One Two Three
Four Five Six
Seven Eight Nine
Ten Eleven Twelve

/U/对应子表达式位置数/E (结合第2条操作实现部分转大小写)

//部分转大小写,实现修改文件前缀名小写转大写
[root@localhost1 ~]#ls *.txt | sed -r 's/(.+)(\.txt)/\u\1\E\2/'    //u转开头
Abc.txt
A.txt
B.txt
Efg.txt
Number.txt
Script.txt
​
[root@localhost1 ~]#ls *.txt | sed -r 's/(.+)(\.txt)/\U\1\E\2/'    //U转全部
ABC.txt
A.txt
B.txt
EFG.txt
NUMBER.txt
SCRIPT.txt

(4)将多个文件内容放在一个文件中

sed -i '$r 文件1' 文件2

//往fa、fb文件输入内容
[root@localhost1 ~]#echo 12345678 > fa
[root@localhost1 ~]#echo abcdefgh > fb
​
//合并文件内容到fb文件中
[root@localhost1 ~]#sed -i '$r fa' fb
[root@localhost1 ~]#cat fb
abcdefgh
12345678

(5)复制、剪切粘贴行内容

H 复制 ; G 粘贴

​
//原文件
[root@localhost1 ~]#cat file2
zhang san
li si
wang wu
zhao liu
qian qi
zhu ba
​
//1.复制粘贴到末尾
[root@localhost1 ~]#sed '1,2H;$G' file2
zhang san
li si
wang wu
zhao liu
qian qi
zhu ba
​
zhang san
li si
​
//2.剪切粘贴到末尾
[root@localhost1 ~]#sed '1,2{H;d};$G' file2
wang wu
zhao liu
qian qi
zhu ba
​
zhang san
li si


​

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/632515.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Shell脚本之正则表达式详解

目录 一、正则表达式简介 二、正则表达式的组成 三、正则表达式分类 四、正则表达式字符用法 1.基础正则表达式常见元字符(支持grep、egrep、sed、awk) 2. 扩展正则表达式元字符(支持:egrep、grep -E、awk、sed -r&#xff…

C语言之数据在内存中的存储(2)

本章重点:浮点数在内存中的存储 浮点数:数学中的小数 eg.123.45 12.345*10^1 1.2345*10^2 1E10:1.0*10^10 整型家族的类型,表示范围:limits.h 浮点数:float.h 大家可以猜测一下打印的这四个数字…

Unity中动画系统的性能优化

降低骨骼数,减少面片数。 方法: 1.勾选Optimize Game Objects,以剔除骨骼节点对应的Transform节点 2.开启多线程渲染选项 主要影响的函数调用开销,可以在profiler中查看: Animators.Update MeshSkinning.Update C…

【TCP/IP】多进程服务器的实现(进阶) - 信号处理及signal、sigaction函数

目录 信号 signal函数 sigaction函数 尝试用信号来处理僵尸进程 我们在之前学习了如何处理“僵尸进程”,但也会有疑问:调用wait和waitpid函数时我们关注的始终是在子进程上,那么父进程上的管控(对于子进程)该如何实…

STM32——05-按键、时钟控制、中断复位 点亮LED灯

如何点亮一颗LED灯 编程实现点灯 常用的 GPIO HAL 库函数: void HAL_GPIO_Init ( GPIO_TypeDef * GPIOx , GPIO_InitTypeDef * GPIO_Init ); void HAL_GPIO_WritePin ( GPIO_TypeDef * GPIOx , uint16_t GPIO_Pin , GPIO_PinState PinState ); void HAL_GPIO_Togg…

chatgpt赋能python:Python如何创建新项目

Python如何创建新项目 Python已经成为了全球最受欢迎的编程语言之一。如果您是一个有经验的Python工程师,您可能已经知道如何在命令行上创建新项目。但是,如果您是一个新手或初学者,您可能需要一些指导来开始创建新的项目。在本篇文章中&…

Vue中如何进行样式绑定?

Vue中如何进行样式绑定? 在Vue中,我们可以很方便地进行样式绑定。样式绑定是将CSS样式与Vue组件中的数据进行关联的一种技术。通过样式绑定,我们可以根据组件的状态动态地修改其外观。本文将介绍Vue中的样式绑定,包括类绑定、内联…

chatgpt赋能python:Python如何进行升序排列?

Python如何进行升序排列? Python是一门广泛应用于Web开发、数据科学、人工智能、机器学习等领域的编程语言。在这个快速发展的世界中,如何高效地排序数据是非常重要的。本文将介绍Python中如何进行升序排序。 基本排序方法 Python提供了一个内置函数s…

Vue 中的列表渲染

Vue 中的列表渲染 在 Vue 中,列表渲染是非常常见的操作。它允许我们将一个数组中的数据渲染为一个列表,从而实现数据的展示和交互。在本文中,我们将探讨 Vue 中的列表渲染的基本原理和用法,并给出一些实例代码来帮助读者更好地理…

【模块三:职业成长】38|能力维度三:如何提升解决跨领域冲突的能力?

你好,我是郭东白。今天我们来讨论架构师核心能力的第三个层次——解决跨领域冲突。 上节课我们讲了从程序员到兼职架构师的跨越,也就是如何搭建解决横向问题的能力。 不过,在兼职架构师这个角色中,架构能力是一个加分项&#xff…

chatgpt赋能python:如何使用Python升序排列一个列表?

如何使用Python升序排列一个列表? 在Python编程中,我们经常需要对列表进行排序。列表排序是一种常见的操作,可以帮助我们对数据进行分析和管理。在这篇文章中,我们将学习如何使用Python对一个列表进行升序排列。 什么是升序排列…

时间同步/集群时间同步/在线/离线

目录 一、能够连接外网 二、集群不能连接外网--同步其它服务器时间 一、能够连接外网 1.介绍ntp时间协议 NTP(Network Time Protocol)网络时间协议,是用来使计算机时间同步的一种协议,它可以使计算机对其服务器或时钟源做同步…

【python】【Word】用正则表达式匹配正文中的标题(未使用样式)并通过win32com指定相应样式

标题的格式 二级标题: 数字.数字. 文字 三级标题:数字.数字.数字 文字 python代码 使用方法 只保留一个需要应用的WORD文档运行程序,逐行匹配 使用效果 代码 import win32com.client import redef compile_change_Word_titlestyle():#…

shell脚本语句控制命令(exit、break、continue)

一、exit exit用于直接退出shell脚本程序并返回状态码(状态码可在执行命令执行后用$?查看) 如果不在exit后添加状态码,会默认返回最后一条命令执行后的状态码 exit 加状态码,代表退出程序并向系统指定状态码 状态码…

基于zinx的go tcp通信案例

基于zinx的go tcp通信示例 一、zinx简介:(https://gitee.com/Aceld/zinx/) Zinx是一个基于Golang的轻量级tcp服务框架,根据官方的定位,zinx是在游戏领域或者其他长链接的领域的轻量级企业框架,其使用简单,性能高效,能…

Baumer工业相机堡盟工业相机如何使用BGAPISDK的相机图像时间戳计算运行时间以及时间差(C#)

Baumer工业相机堡盟工业相机如何使用BGAPISDK的相机图像时间戳计算运行时间以及时间差(C#) Baumer工业相机Baumer工业相机BGAPI SDK和图像时间戳的技术背景Baumer工业相机使用BGAPISDK控制相机数据流的方式1.引用合适的类文件2.使用BGAPISDK获取时间戳的…

Vue中如何进行条件渲染

Vue中如何进行条件渲染 Vue是一款流行的前端框架,它提供了许多方便的功能来处理数据和视图。其中一个非常有用的功能是条件渲染。条件渲染可以根据条件来控制视图的显示和隐藏。在本文中,我们将介绍Vue中如何进行条件渲染,并提供一些示例代码…

异常数据检测 | Python实现k-means时间序列异常数据检测

文章目录 文章概述模型描述源码分享学习小结文章概述 异常数据检测 | Python实现k-means时间序列异常数据检测 模型描述 k-means是一种广泛使用的聚类算法。它创建了k个具有相似特性的数据组。不属于这些组的数据实例可能会被标记为异常。在我们开始k-means聚类之前,我们使用e…

spring.expression 随笔0 概述

0. 我只是个普通码农,不值得挽留 Spring SpEL表达式的使用 常见的应用场景:分布式锁的切面借助SpEL来构建key 比较另类的的应用场景:动态校验 个人感觉可以用作控制程序的走向,除此之外,spring的一些模块的自动配置类,也会在Cond…

chatgpt赋能python:Python如何判断输入数据类型

Python如何判断输入数据类型 Python是一种动态类型语言,它可以在运行时自动识别数据的类型。但是,有时候我们需要在代码中判断输入数据的类型,以便进行相应的操作。 判断数据类型的内置函数 Python有一些内置函数可以用于判断数据类型&…