Shell脚本文本三剑客之sed编辑器

news2024/11/24 22:40:26

目录

一、sed编辑器简介

二、sed工作流程

三、sed命令

四、sed命令的使用

1.sed打印文件内容(p)

(1)打印文件所有行

(2)打印文件指定行

2.sed增加、插入、替换行(a、i、c)

(1)a操作在指定行下增加行内容

(2)i操作在指定行上插入行内容

(3)c操作指定行替换为一行内容

4.sed删除文件内容(d)

5.sed替换文件内容(s)

6.sed使用命令文件执行(-f)

7.sed直接修改文件内容(-i)

8.sed扩充操作

(1)替换处&代表需要替换内容处中正则表达式的内容

(2)替换处\1...\n\ 对应需要替换内容处每个括号中子表达式(可以是字符串和正则)

(3)大小写转换

(4)将多个文件内容放在一个文件中

(5)复制、剪切粘贴行内容


一、sed编辑器简介

sed是一种流编辑器,流编辑器会在编辑器处理数据前基于预先提供的一组规则来编辑数据。

sed编辑器可以根据命令来处理数据流中的数据,通过多种转换修改流经它的文本,这些命令要么从命令行中输入,要么存储在一个命令文本文件中。

sed是一个面向字符流的非交互式编辑器,也就是说 sed 不允许用户与它进行交互操作。

二、sed工作流程

1.读取

sed从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的内存缓冲区中(又称模式空间,pattern space)。

2.执行

默认情况下,所有的sed命令都在模式空间中顺序地执行,除非指定了行的地址,否则sed命令将会在所有的行上依次执行。

3.显示

发送修改后的内容到输出流。在发送数据后,模式空间将会被清空。在所有的文件内容都被处理完成之前,上述过程将重复执行,直至所有内容被处理完。

注:默认情况下所有的sed命令都是在模式空间内执行的,不会影响到文件中的内容,除非是用重定向输出到文件或使用-i选项。

三、sed命令

sed [选项] 操作 文件名...

常用选项

选项作用
-e表示用指定命令来处理输入的文本文件,一般在执行多个操作命令使用(只有一个操作命令时可省略)。
-f表示用指定的脚本文件来处理输入的文本文件。
-n禁止sed编辑自动输出,但可以与p命令一起使用完成输出。
-i直接修改目标文本文件

常用操作

操作作用
a插入,在当前行下面增加一行指定内容。
i插入,在选定行上面插入一行指定内容。
d删除,删除指定的行
s替换,替换选定的字符
c替换,将选定行替换为指定内容
p打印,如果同时指定行,表示打印指定行,如果不指定行,则表示打印所有内容,如果有非打印字符,则以ASCII码输出。其通常与"-n"选项一起使用
=打印行号
l打印数据流中的文本和不可打印的ASCII码字符(比如结束符$、制表符\t)。

执行多个操作的方法

  • sed -e '操作1' -e '操作2' ... 文件名

  • sed -e '操作1;操作2;...' 文件名

四、sed命令的使用

1.sed打印文件内容(p)

(1)打印文件所有行

sed本身有执行操作后自动打印的效果,-n禁用,p操作也可以打印,并且可以限定条件

sed ' ' 文件名

sed -n 'p' 文件名

//使用sed自动打印
[root@localhost1 sedtest]#sed '' file1
one
two
three
four
five
six
seven
eight
nine
ten
​
//使用sed的p操作打印
[root@localhost1 sedtest]#sed -n 'p' file1
one
two
three
four
five
six
seven
eight
nine
ten

(2)打印文件指定行

sed -n '指定条件p' 文件名

sed -n '/字符串或正则表达式/p' 文件名

//1.打印指定行(根据行号)
[root@localhost1 sedtest]#sed -n '2p' file1    //打印第2行
two
​
//2.打印指定的多行(根据行号)
[root@localhost1 sedtest]#sed -n '7,$p' file1    //打印从第7行到末尾行
seven
eight
nine
ten
​
//3.打印多行后退出
[root@localhost1 sedtest]#sed '3q' file1    //从头打印3行后退出
one
two
three
​
//4.打印指定行(根据字符串)
[root@localhost1 sedtest]#sed -n '/ve/p' file1    //根据字符串s
five
seven
​
//5.从指定行打印到包含指定字符串的行(根据字符串)    
[root@localhost1 sedtest]#sed -n '7,/nobody/p' /etc/passwd    //打印7到包含nobody的行
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
​
​
//6.打印奇偶行
[root@localhost1 sedtest]#sed -n 'n;p' file1    //n表示跳到下一行,先n实现输出偶数行
two
four
six
eight
ten
[root@localhost1 sedtest]#sed -n 'p;n' file1    //后n实现奇数行
one
three
five
seven
nine
​
//7.正则表达式表示
//根据root开头或包含mail的输出行(包含扩展正则时sed一定需要加-r选项)
[root@localhost1 sedtest]#sed -nr '/^root|mail/p' /etc/passwd
root:x:0:0:root:/root:/bin/bash
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
​
//从第8行打印到包含(r 至少有一个a t)的字符串的行
[root@localhost1 sedtest]#sed -nr '8,/ra{1,}t/p' /etc/passwd
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin

2.sed增加、插入、替换行(a、i、c)

(1)a操作在指定行下增加行内容

sed '指定行范围a 指定内容' 文件名

​
//指定第2行下增加行内容
[root@localhost1 ~]#sed '2a ABC' file1
One Two Three
Four Five Six
ABC
Seven Eight Nine
Ten Eleven Twelve
​
//指定2到4行每行下增加行内容
[root@localhost1 ~]#sed '2,4a ABC' file1
One Two Three
Four Five Six
ABC
Seven Eight Nine
ABC
Ten Eleven Twelve
ABC


​

(2)i操作在指定行上插入行内容

sed '指定行范围i 指定内容' 文件名

//指定第2行上插入行内容
[root@localhost1 ~]#sed '2i ABC' file1
One Two Three
ABC
Four Five Six
Seven Eight Nine
Ten Eleven Twelve
​
//指定第1到3行上插入行内容
[root@localhost1 ~]#sed '1,3i ABC' file1
ABC
One Two Three
ABC
Four Five Six
ABC
Seven Eight Nine
Ten Eleven Twelve

(3)c操作指定行替换为一行内容

sed '指定行范围c 指定内容' 文件名

//指定第3行替换为指定行内容
[root@localhost1 ~]#sed '3c ABC' file1
One Two Three
Four Five Six
ABC
Ten Eleven Twelve
​
//指定第3到4行替换为指定行内容(多行变为一行)
[root@localhost1 ~]#sed '3,4c ABC' file1
One Two Three
Four Five Six
ABC
​
//指定包含ve的行替换为指定行内容
[root@localhost1 ~]#sed '/ve/c ABC' file1
One Two Three
ABC
ABC
ABC

4.sed删除文件内容(d)

sed '指定条件d' 文件名

sed '/字符串或正则表达式/d' 文件名

//1.删除所有行(根据行号)
[root@localhost1 sedtest]#sed 'd' file1
​
//2.删除指定行(根据行号)
[root@localhost1 sedtest]#sed '1d' file1    //删除第1行
two
three
four
five
six
seven
eight
nine
ten
​
//3.删除指定的多行(根据行号)
[root@localhost1 sedtest]#sed '2,8d' file1    //删除2到8行
one
nine
ten
​
//4.删除空行
[root@localhost1 sedtest]#sed '/^$/d' /etc/fstab
#
# /etc/fstab
# Created by anaconda on Fri Jul 29 21:42:19 2022
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=552d20a1-63f1-4209-af23-7bcdb31d1c84 /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0
​
//5.删除指定的多行(根据字符串)
[root@localhost1 sedtest]#sed '/ve/d' file1    //删除包含ve的行
one
two
three
four
six
eight
nine
ten
​
//6.正则表达式表示
//删除结尾为bash或nologin的行
[root@localhost1 sedtest]#sed -r '/bash$|nologin$/d' /etc/passwd
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
​
//7.从包含第1个字符串的行开始删除,到包含第2个字符串的位置停止删除
//(如果找不到第2个字符串的行,则删到最后一行)
[root@localhost1 sedtest]#sed '/one/,/five/d' file1    //从含one的行删到含five的行
six
seven
eight
nine
ten
​
[root@localhost1 sedtest]#sed '/thr/,/no/d' file1    //从含thr的行开始删,匹配不到含no的行,则删到最后
one
two
​
​
//8.反向删除(删除除了包含指定内容的行)
[root@localhost1 sedtest]#sed '/ve/d' file1    //删除除包含ve的行
five
seven

5.sed替换文件内容(s)

sed [选项] '行范围 s/旧字符串/新字符串/替换标记' 文件名

4种替换标记

替换标记作用
数字n表明新字符串将替换第n处匹配的地方
g表明新字符串将会替换所有匹配的地方
p打印与替换命令匹配的行,需要在前面加 -n选项
w将替换的结果写到文件中
//1.不加范围,替换每行查找到的字符串
[root@localhost1 ~]#sed -n 's/root/admin/p' /etc/passwd
admin:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/admin:/sbin/nologin
​
//2.指定范围行,在指定行中替换n次(默认1次)
[root@localhost1 ~]#sed -n '/^root/ s/root/abc/p' /etc/passwd
abc:x:0:0:root:/root:/bin/bash
[root@localhost1 ~]#sed -n '/^root/ s/root/abc/2p' /etc/passwd
root:x:0:0:abc:/root:/bin/bash
​
//3.替换行中所有,使用g
[root@localhost1 ~]#sed -n '/^root/ s/root/abc/gp' /etc/passwd
root:x:0:0:root:/abc:/bin/bash
​
//4.指定行s/^/#/可以实现注释行内容
[root@localhost1 ~]#sed '2 s/^/#/' file1
one two three
#four five six
seven eight nine
ten eleven twelve
​
//5.指定行范围替换
[root@localhost1 ~]#sed '1,3 s/^/#/' file1
#one two three
#four five six
#seven eight nine
ten eleven twelve
​
//指定替换除为空可以实现将指定字符串删除
[root@localhost1 ~]#sed 's/#//' /etc/fstab
​
 /etc/fstab
 Created by anaconda on Fri Jul 29 21:42:19 2022
​
 Accessible filesystems, by reference, are maintained under '/dev/disk'
 See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
​
/dev/mapper/centos-root /                       xfs     defaults        0 0
UUID=552d20a1-63f1-4209-af23-7bcdb31d1c84 /boot                   xfs     defaults        0 0
/dev/mapper/centos-swap swap                    swap    defaults        0 0

6.sed使用命令文件执行(-f)

//编写文件包含sed的操作
[root@localhost1 ~]#vim script.txt
/^$/d
/e$/ s/^/#/
1,3 s/#//
​
//测试用文件
[root@localhost1 ~]#vim file2
#one
#two
#three
four
five
​
​
six
seven
eight
​
nine
ten
​
//sed指定文件操作
[root@localhost1 ~]#sed -f script.txt file2
#one
two
#three
four
five
six
seven
eight
#nine
ten

7.sed直接修改文件内容(-i)

​
//加-i直接对文件进行操作
[root@localhost1 ~]#sed -i '/swap/ s/^/#/' /etc/fstab
​
//注释文件中包含swap的行
[root@localhost1 ~]#vim /etc/fstab
# /etc/fstab
# Created by anaconda on Fri Jul 29 21:42:19 2022
#
# Accessible filesystems, by reference, are maintained under '/dev/disk'
# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info
#
/dev/mapper/centos-root /                        xfs     defaults        0 0
UUID=552d20a1-63f1-4209-af23-7bcdb31d1c84 /boot  xfs     defaults        0 0
#/dev/mapper/centos-swap swap                    swap    defaults        0 0


​

8.sed扩充操作

(1)替换处&代表需要替换内容处中正则表达式的内容

sed [选项] '行范围 s/正则表达式/&/替换标记' 文件名

//这里的&代表.*swap.*匹配到的内容(即包含swap的行内容),在前面加上#可以实现注释行
[root@localhost1 ~]#sed -n 's/.*swap.*/#&/' /etc/fstab
#/dev/mapper/centos-swap swap                    swap    defaults        0 0

(2)替换处\1...\n\ 对应需要替换内容处每个括号中子表达式(可以是字符串和正则)

sed [选项] 's/(表达式1)..(表达式n)/\1\2...\n/' 文件名

//原文件
[root@localhost1 ~]#cat file3
123456abcdef
​
//字符串子表达示,"\数字" 一一对应
[root@localhost1 ~]#sed 's/(123)(456)(abc)/\3\2\1/' file3
abc456123def
​
//正则子表达示,"\数字" 一一对应
[root@localhost1 ~]#sed -r 's/([0-9]{6})([a-z]{6})/\2\1/' file3
abcdef123456

(3)大小写转换

sed 's/[a-z]/\u&/g' 文件名 (原字符范围前\b实现首字母转大写)

sed 's/[A-Z]/\l&/g' 文件名

//原文件
[root@localhost1 ~]#cat file1
one two three
four five six
seven eight nine
ten eleven twelve
​
//1.全部转为大写
[root@localhost1 ~]#sed 's/[a-z]/\u&/g' file1
ONE TWO THREE
FOUR FIVE SIX
SEVEN EIGHT NINE
TEN ELEVEN TWELVE
​
[root@localhost1 ~]#sed -i 's/[a-z]/\u&/g' file1
​
//2.全部转为小写
[root@localhost1 ~]#sed 's/[A-Z]/\l&/g' file1
one two three
four five six
seven eight nine
ten eleven twelve
​
//3.锚定首字母,实现首字母大小写转换
[root@localhost1 ~]#sed 's/\b[a-z]/\u&/g' file1
One Two Three
Four Five Six
Seven Eight Nine
Ten Eleven Twelve

/U/对应子表达式位置数/E (结合第2条操作实现部分转大小写)

//部分转大小写,实现修改文件前缀名小写转大写
[root@localhost1 ~]#ls *.txt | sed -r 's/(.+)(\.txt)/\u\1\E\2/'    //u转开头
Abc.txt
A.txt
B.txt
Efg.txt
Number.txt
Script.txt
​
[root@localhost1 ~]#ls *.txt | sed -r 's/(.+)(\.txt)/\U\1\E\2/'    //U转全部
ABC.txt
A.txt
B.txt
EFG.txt
NUMBER.txt
SCRIPT.txt

(4)将多个文件内容放在一个文件中

sed -i '$r 文件1' 文件2

//往fa、fb文件输入内容
[root@localhost1 ~]#echo 12345678 > fa
[root@localhost1 ~]#echo abcdefgh > fb
​
//合并文件内容到fb文件中
[root@localhost1 ~]#sed -i '$r fa' fb
[root@localhost1 ~]#cat fb
abcdefgh
12345678

(5)复制、剪切粘贴行内容

H 复制 ; G 粘贴

​
//原文件
[root@localhost1 ~]#cat file2
zhang san
li si
wang wu
zhao liu
qian qi
zhu ba
​
//1.复制粘贴到末尾
[root@localhost1 ~]#sed '1,2H;$G' file2
zhang san
li si
wang wu
zhao liu
qian qi
zhu ba
​
zhang san
li si
​
//2.剪切粘贴到末尾
[root@localhost1 ~]#sed '1,2{H;d};$G' file2
wang wu
zhao liu
qian qi
zhu ba
​
zhang san
li si


​

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/644447.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

CVPR 2023 | 视频AIGC,预测/插帧/生成/编辑

1、A Dynamic Multi-Scale Voxel Flow Network for Video Prediction 视频预测(video prediction)的性能已经通过先进的深度神经网络大幅提高。然而,大多数当前的方法存在着大的模型尺寸和需要额外的输入(如,语义/深度…

【Instruction Tuning】ChatGLM 微调实战(附源码)

在之前的文章中,我们已经讲过了 ChatGPT 的三个主要流程: SFT:通过 Instruction Tuning 来微调一个监督学习模型。Reward Model:通过排序序列来训练一个打分模型。Reinforcement Learning:通过强化学习来进一步优化模…

【MySQL新手入门系列一】:手把手教你入门MySQL

如果您是一位刚刚开始学习MySQL的新手,本文将为您提供一些实用的入门知识和技巧,帮助您快速上手。 本篇文章将以windows为例,介绍MySQL的基础知识,以及如何安装、卸载、配置和使用它。 导读 一、概览1.1 MySQL是什么1.2 为什么要学…

一文掌握linux网络相关命令

欢迎关注博主 Mindtechnist 或加入【Linux C/C/Python社区】一起学习和分享Linux、C、C、Python、Matlab,机器人运动控制、多机器人协作,智能优化算法,滤波估计、多传感器信息融合,机器学习,人工智能等相关领域的知识和…

阿里企业邮箱登录入口

阿里企业邮箱登录入口:https://qiye.aliyun.com/ 阿里企业邮箱可以使用邮箱账号登录,也可以使用钉钉账号登录,打开登录入口,如下图: 阿里企业邮箱登录入口 企业邮箱购买页面:aliyunbaike.com/go/mail免费企…

归并排序和快速排序(C++)

归并排序是一种经典的排序算法,也被称为“归并算法”。它的基本思想是将待排序数组分成若干个子数组,每个子数组都是有序的,然后将这些子数组合并成一个大的有序数组。 具体实现过程如下: 将待排序数组不断划分为左右两个子数组&…

IMX6ULL裸机篇之SPI实验-SPI主控代码实现

一. SPI 实验 SPI实验:学习如何使用 I.MX6U 的 SPI 接口来驱动 ICM-20608,读取 ICM-20608 的六轴数据。 本文学习 SPI主控芯片的代码编写。其中,包括SPI工作模式设置,主从模式设置,时钟配置等实现。 二. SPI 主控芯…

光学介质材料——光学膜

手机、平板、智能电视等设备之所以能够发光发亮离不开一个重要的组成材料——光学膜。那光学膜是什么回事呢? 光学膜是指在光学元件或独立基板上,制镀或涂布一层或多层介电质膜或金属膜或这两类膜的组合,以改变光波的传递特性,包…

MySQL索引:让你的数据库查询快到起飞!

💕世界上最美好的东西之一,就是你每天都有机会开始全新的一天。💕 🐼作者:不能再留遗憾了🐼 🎆专栏:MySQL学习🎆 🚗本文章主要内容:详细介绍如何查…

SSD、内存和 L1 Cache 相比速度差多少倍

一道面试题:SSD、内存和 L1 Cache 相比速度差多少倍? 其实比起复杂的技术问题,我更喜欢在面试中提问这种像生活常识一样的简单问题。因为我觉得,复杂的问题是由简单的问题组成的,如果你把简单的问题学扎实了&#xff…

自动化运维工具—Ansible

一、Ansible概述 1.1 Ansible是什么 Ansible是一个基于Python开发的配置管理和应用部署工具,现在也在自动化管理领域大放异彩。它融合了众多老牌运维工具的优点,Pubbet和Saltstack能实现的功能,Ansible基本上都可以实现。 Ansible能批量配…

面试问题总结---嵌入式部分和项目部分

1、本栏用来记录社招找工作过程中的内容,包括基础知识学习以及面试问题的记录等,以便于后续个人回顾学习; 暂时只有2023年3月份,第一次社招找工作的过程; 2、个人经历: 研究生期间课题是SLAM在无人机上的应用,有接触SLAM、Linux、ROS、C/C++、DJI OSDK等; 3、参加工作后…

面试问题总结----ROS部分

1、本栏用来记录社招找工作过程中的内容,包括基础知识学习以及面试问题的记录等,以便于后续个人回顾学习; 暂时只有2023年3月份,第一次社招找工作的过程; 2、个人经历: 研究生期间课题是SLAM在无人机上的应用,有接触SLAM、Linux、ROS、C/C++、DJI OSDK等; 3、参加工作后…

Python3.9使用最新版pyinstaller将项目或程序打包成exe或者mac中的可执行文件

1、pyinstaller的说明: pyinstaller 能够在 Windows、Linux、Mac 等操作系统下将 Python 源文件打包,通过对源文件打包, Python 程序可以在没有安装 Python 的环境中运行,也可以作为一个独立文件方便传递和管理。 PyInstaller 支…

NLP-基于bertopic工具的新闻文本分析与挖掘

NLP-基于bertopic工具的新闻文本分析与挖掘 一,前言 最近简单接触了一些NLP的内容,练一下如何结合ChatGPT进行学习。 二,具体过程 (1)预处理文本,记录处理过程。 在使用Bertopic进行主题建模之前&…

【数据库一】MySQL数据库初体验

MySQL数据库初体验 1.数据库基本概念1.1 数据Data1.2 表1.3 数据库1.4 数据库管理系统1.5 数据库系统 2.数据库的发展3.主流的数据库介绍3.1 SQL Server(微软公司产品)3.2 Oracle (甲骨文公司产品)3.3 DB2(IBM公司产品…

MySQL-索引详解(五)

♥️作者:小刘在C站 ♥️个人主页: 小刘主页 ♥️努力不一定有回报,但一定会有收获加油!一起努力,共赴美好人生! ♥️学习两年总结出的运维经验,以及思科模拟器全套网络实验教程。专栏&#xf…

【K8S系列】深入解析k8s网络之—网络故障

序言 你只管努力,其他交给时间,时间会证明一切。 文章标记颜色说明: 黄色:重要标题红色:用来标记结论绿色:用来标记一级论点蓝色:用来标记二级论点 Kubernetes (k8s) 是一个容器编排平台&#x…

FasterTransformer 005 初始化:如何将参数传给模型?

cpp的例子 device_malloc cpp没有用具体数值初始化 float *d_from_tensor NULL;device_malloc(&d_from_tensor, batch_size * seq_len * hidden_dim);https://github1s.com/NVIDIA/FasterTransformer/blob/v1.0/sample/cpp/transformer_fp32.cc#L35-L38 直接用的cudaMal…

【电子学会】2023年03月图形化四级 -- 绘制直尺

绘制直尺 编写一段程序,绘制一段7厘米的直尺。 1. 准备工作 (1)保留小猫角色,隐藏; (2)白色背景。 2. 功能实现 (1)点击绿旗,设置笔的颜色为红色&#…