【linux】文本处理命令-grep、awk、sed使用(1)

news2025/1/14 20:47:12

作用:

  1. grep数据查找定位
  2. awk数据切片
  3. sed数据修改

类比SQL:

  1. grep=select *from table
  2. awk=select field from table
  3. sed=update table set field=new where field=old

一、grep

1.1 grep*

Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。
linux使用GNU版本的grep。它功能更强,可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。

grep [options] [pattern] [files]

[options]:

  • -a,--text:将二进制文件作为文本文件处理。
  • -c,--count:显示匹配行数,而不是行本身。
  • -e pattern,--regexp=pattern:查找指定的模式,支持多个模式。
  • -f file,--file=file:从文件中读取模式,每个模式占一行。
  • -i,--ignore-case:忽略大小写。
  • -l,--files-with-matches:只打印文件名,而不是行本身。
  • -n,--line-number:在每行的前面打印行号。·-r,--recursive:遍历子目录中的文件。
  • -v,--invert-match:输出不匹配的行。
  • -x,--line-regexp:仅匹配整行。
  • -w,--word-regexp:仅匹配整个单词。

[pattern] 通常是一个正则表达式,用于匹配指定的文本模式。
[files] 可以是若干个文件,也可以是目录。

例如:从目录下的文件搜索字符串所在目录和文件名

 例如:从目录下的递归搜索 字符串所在目录和文件名

1.2 扩展grep(grep -E 或者 egrep)*

三种方法:grep -E  或 egrep    或 在扩展元字符前面加\

 1.2 fgrep

二种方法:grep -F  或 fgrep 

fgrep 查询速度比grep命令快,但是不够灵活:它只能找固定的文本,而不是规则表达式。

fgrep 命令于 grep 和 egrep 命令不同,因为它搜索字符串而不是搜索匹配表达式的模式。fgrep 命令使用快速的压缩算法。

例如:如果你想在一个文件或者输出中找到包含root字符的行

二、awk

-awk运行处理规则的执行流程

1. BEGIN{}    : 最开始执行

2. //        : 正则

3. {}        : 循环体

4. END{} : 最后执行

这里面最少有一个,最多有四个!内置变量

-以下为awk内置变量:
          ARGC        命令行参数个数
          FILENAME    当前输入文档的名称
          FNR        当前输入文档的当前记录编号,尤其当有多个输入文档时有用
          NR        输入流的当前记录编号
          NF        当前记录的字段个数
          FS        字段分隔符
          OFS        输出字段分隔符,默认为空格
          ORS        输出记录分隔符,默认为换行符\n
          RS        输入记录分隔符,默认为换行符\n

例:指定多个字段分隔符(
# echo 'hello the:word,!' | >awk 'BEGIN {FS="[:, ]"} {print $1,$2,$3,$4}'

例: 取出建立mysql连接最多的IP地址
netstat -an|grep "10.0.10.176:3306" | grep ESTABLISHED | awk '{print $5}' | awk -F: '{print $1}'  | sort|uniq -c | more

例:取HTML标签head内容, 
awk -F' ' '/<head>.*<\/head>/{print $0}' 0420.txt     
HTML标签head 开始和结束必须在 同一行 ,才可以完整输出,   awk 每次只读一行
例:获取请求返回的状态
curl -i -m 5 -s -w "%{http_code}\n"  http://192.168.120.119:8001 |awk -F' ' '/HTTP\/1.1 [0-9]{3} OK/{print $2}'

例:取出passwd.copy 文件里的root

awk -F: 'BEGIN{OFS=" | "}/root/{printf "|%-5d|%-15s|%-15s|\n",NR, $NF, $1}' passwd.copy 

注意陷阱: 一个awk 或其他命令 无法执行的时候,一定要注意特殊字符 
注意陷阱: 一个awk 或其他命令 无法执行的时候,一定要注意特殊字符
注意陷阱: 一个awk 或其他命令 无法执行的时候,一定要注意特殊字符 

三、sed

待补充…… 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1423290.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

房屋租赁系统-java

思维导图&#xff1a;业务逻辑 类的存放&#xff1a; 工具类 Utility package study.houserent.util; import java.util.*; /***/ public class Utility {//静态属性。。。private static Scanner scanner new Scanner(System.in);/*** 功能&#xff1a;读取键盘输入的一个菜单…

STM32 RTC中断处理和低功耗模式优化技巧

在基于STM32的RTC应用中&#xff0c;中断处理和低功耗模式优化是非常重要的&#xff0c;可以提高系统的效率和节能。下面&#xff0c;我将介绍STM32 RTC中断处理和低功耗模式优化的技巧。 ✅作者简介&#xff1a;热爱科研的嵌入式开发者&#xff0c;修心和技术同步精进 ❤欢迎关…

【蓝桥杯冲冲冲】进阶搜索 Anya and Cubes

蓝桥杯备赛 | 洛谷做题打卡day22 文章目录 蓝桥杯备赛 | 洛谷做题打卡day22Anya and Cubes题面翻译输入格式输出题目描述输入格式输出格式样例 #1样例输入 #1样例输出 #1 样例 #2样例输入 #2样例输出 #2 样例 #3样例输入 #3样例输出 #3 提示题解代码我的一些话 Anya and Cubes …

yolov8训练自己的关键点检测模型

参考&#xff1a; https://blog.csdn.net/weixin_38807927/article/details/135036450 标注数据集 安装labelme pip install labelme -i https://pypi.tuna.tsinghua.edu.cn/simple如果报错 $ labelme 2024-01-31 03:16:20,636 [INFO ] __init__:get_config:67- Loading …

Roxlabs全球IP代理服务:解锁高效数据采集与网络应用新境界

引言 在这个数字化迅速发展的时代&#xff0c;数据采集和网络应用的重要性显得愈发突出。江苏阿克索网络科技有限公司旗下的Roxlabs&#xff0c;以其卓越的全球IP代理服务&#xff0c;正引领着这一领域的创新和发展。Roxlabs不仅提供遍及200多个国家和地区的高质量动态住宅IP资…

第26讲:顺序表的应用(通讯录)

好&#xff0c;现在我们来做通讯录 上代码 文件1&#xff1a;SeqList.h #define _CRT_SECURE_NO_WARNINGS #include <stdio.h> #include <assert.h> #include <stdlib.h> #include <string.h> typedef struct SLcdatatype {char name[10];int age;ch…

过去AIGC赋能教育有了哪些成果?未来教育又会出现哪些新趋势?

随着科技的飞速发展&#xff0c;人工智能生成内容&#xff08;AIGC&#xff09;技术已经在教育领域取得了显著的成果&#xff0c;AIGC技术正在以前所未有的速度推动教育领域的变革。 然而&#xff0c;这只是开始&#xff0c;未来AIGC技术将继续深入教育领域&#xff0c;带来更…

AI工具POE两个月付费体验

2023年12月1号,在半年前付费100美金购买了GitHub Copilot之后,我又付费200美金购买了一年的POE。 下一次续费的日期是今年的12月2日。 我是被洗脑了吗?为啥不断的掏钱买AI服务呢? 今天来说说,我都用poe来做了什么?有什么感受和收获。 依旧是这个流程,我会按照以下的问…

PCB设计10条重要布线原则(学习笔记)

文章目录 一、连线精简二、避免走直角线三、差分走线四、蛇形走线五、圆滑走线六、数字与模拟分开七、3W原则八、20H原则九、铜箔承载电流十、过孔承载电流 一、连线精简 尽量用最短的路径去布线 1、可以省资源 2、信号差损少 3、线能不拐弯就不拐弯 4、能不换层就不换层 二…

Java项目:基于SSM框架实现的家纺用品销售管理系统(ssm+B/S架构+源码+数据库+毕业论文)

一、项目简介 本项目是一套ssm814基于SSM框架实现的家纺用品销售管理系统&#xff0c;主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的Java学习者。 包含&#xff1a;项目源码、数据库脚本等&#xff0c;该项目附带全部源码可作为毕设使用。 项目都经过严格调试…

农业植保无人机行业研究:预计2025年市场规模可达115亿元

农业植保无人机行业市场投资前景现状如何?农业植保无人机市场&#xff0c;包括无人机自身技术、性能标准和植保标准。农业植保无人机应用植保机喷洒农药对我国而言&#xff0c;不仅具有很大的经济价值&#xff0c;还具有社会价值&#xff1a;农业植保机作业不仅有超高的工作效…

Python中的递归函数是什么

Python 递归函数 递归的特性&#xff1a; 1.调用自身函数 2.有一个结束条件 3.递归效率不高&#xff0c;可能会导致栈溢出(函数调用是通过栈这种数据结构实现的&#xff0c;每进入一个函数调用&#xff0c;栈就会增加一层栈帧&#xff0c;函数每返回&#xff0c;栈就会减少…

单例模式有几种写法?请谈谈你的理解?

为什么有单例模式&#xff1f; 单例模式&#xff08;Singleton&#xff09;&#xff0c;也叫单子模式&#xff0c;是一种常用的软件设计模式。在应用这个模式时&#xff0c;单例对象的类必须保证只有一个实例存在。许多时候整个系统只需要拥有一个全局对象&#xff0c;这样有利…

【C语言】探索数据结构:单链表和双链表

目录 &#x1f4a1;链表的概念和结构 &#x1f4a1;链表的分类 &#x1f4a1;无头单向非循环链表&#xff08;单链表&#xff09;的实现 定义节点结构 单链表的尾部插入 单链表的头部插入 单链表的尾部删除 单链表的头部删除 在指定位置插入前数据 在指定位置之后插入数…

如何发布一款移动 App?

如何发布一款移动 App&#xff1f; 本文转自 公众号 ByteByteGo&#xff0c;如有侵权&#xff0c;请联系&#xff0c;立即删除 今天来聊聊如何发布一款移动 App。 移动 App 的发布流程不同于传统方法。下图简化了这一过程&#xff0c;以帮助您理解。 移动应用程序发布流程的典…

基于simulink的模糊PID控制器建模与仿真,并对比PID控制器

目录 1.课题概述 2.系统仿真结果 3.核心程序与模型 4.系统原理简介 4.1PID控制器原理 4.2 模糊PID控制器原理 5.完整工程文件 1.课题概述 在simulink&#xff0c;分别建模实现一个模糊PID控制器和一个PID控制器&#xff0c;然后将PID控制器的控制输出和模糊PID的控制输出…

TCP四次握手

TCP 协议在关闭连接时&#xff0c;需要进行四次挥手的过程&#xff0c;主要是为了确保客户端和服务器都能正确地关闭连接。 # 执行流程 四次挥手的具体流程如下&#xff1a; 客户端发送 FIN 包&#xff1a;客户端发送一个 FIN 包&#xff0c;其中 FIN 标识位为 1&#xff0c…

x2openEuler 升级实操(centos7.8 to openEuler 20.03)

通过 x2openEuler 工具&#xff0c;将 centos 7.8 迁移至 OpenEuler 上&#xff0c;实际感受迁移过程。x2openEuler https://docs.openeuler.org/zh/docs/20.03_LTS_SP1/docs/x2openEuler/x2openEuler.html 环境准备 下载 x2openEuler 安装包 wget https://repo.oepkgs.net/o…

Spring AOP原理的常见面试题

Spring AOP原理的常见面试题 .Spring AOP是怎么实现的什么是代理模式静态代理动态代理怎么实现的JDK动态代理CGLIB动态代理引入依赖 JDK与CJLIB的区别什么时候使用JDK与CJLIB . Spring AOP是怎么实现的 答:Spring AOP是通过动态代理来实现AOP的 什么是代理模式 答:代理模式也…

C++数据结构与算法——链表

C第二阶段——数据结构和算法&#xff0c;之前学过一点点数据结构&#xff0c;当时是基于Python来学习的&#xff0c;现在基于C查漏补缺&#xff0c;尤其是树的部分。这一部分计划一个月&#xff0c;主要利用代码随想录来学习&#xff0c;刷题使用力扣网站&#xff0c;不定时更…