【Linux】文本处理三剑客：grep、sed 和 awk

news2024/12/13 2:38:07

🌈个人主页：人不走空

💖系列专栏：算法专题

⏰诗词歌赋：斯是陋室，惟吾德馨

🌈个人主页：人不走空

💖系列专栏：算法专题

⏰诗词歌赋：斯是陋室，惟吾德馨

1. grep - 快速查找

基本用法

示例

2. sed - 流编辑器

基本用法

示例

3. awk - 强大的文本处理语言

基本用法

示例

如何高效组合使用它们

示例：日志分析

总结

作者其他作品：

在日常的开发、运维、数据分析等工作中，我们经常需要处理大量的文本数据。无论是日志分析、配置文件修改，还是数据提取与格式化，命令行工具 grep、sed 和 awk 都是不可或缺的得力助手。它们被戏称为“文本处理三剑客”，为我们提供了高效且灵活的方式来处理和操作文本数据。

1. grep - 快速查找

grep 是 Linux 系统中最常用的文本查找工具，常用于在文件中搜索指定的字符串或正则表达式。它的名字来源于 "Global Regular Expression Print"。

基本用法

grep 'pattern' file.txt # 查找文件中包含 'pattern' 的行
grep -i 'pattern' file.txt # 忽略大小写，查找 'pattern'
grep -r 'pattern' /path/to/dir # 递归查找指定目录下所有文件
grep -v 'pattern' file.txt # 查找不包含 'pattern' 的行
grep -l 'pattern' *.txt # 显示包含 'pattern' 的文件名

示例

假设我们有一个日志文件 logs.txt，想查找所有包含错误信息的行：

grep 'error' logs.txt

这个命令会返回所有包含 error 字符串的行。如果我们想查找所有大小写不敏感的错误信息，可以加上 -i 选项：

grep -i 'error' logs.txt

2. sed - 流编辑器

sed（Stream Editor）是一个功能强大的文本流编辑工具，主要用于文本替换、删除、插入、转换等任务。与 grep 主要用于查找不同，sed 允许我们直接修改文本内容。

基本用法

sed 's/old/new/' file.txt # 替换文件中的第一个 'old' 为 'new'
sed -i 's/old/new/' file.txt # 直接修改文件，将 'old' 替换为 'new'
sed '2d' file.txt # 删除第 2 行
sed '1,3d' file.txt # 删除第 1 到第 3 行
sed 's/^\s*//g' file.txt # 删除每行开头的空格

示例

假设我们要将文件 config.txt 中所有的 localhost 替换为 127.0.0.1：

sed -i 's/localhost/127.0.0.1/g' config.txt

如果想删除文件的第一行，可以使用：

sed '1d' file.txt

而如果想删除每行开头的多余空格，则可以使用：

sed 's/^\s*//g' file.txt

3. awk - 强大的文本处理语言

awk 是一种功能强大的编程语言，专门用于文本和数据处理。与 grep 和 sed 主要处理文本行不同，awk 允许我们按照字段来处理文本，非常适合格式化、筛选和汇总数据。

基本用法

awk '{print $1}' file.txt # 打印文件每行的第一个字段 awk '{print $1, $3}' file.txt # 打印每行的第 1 和第 3 字段 awk '/pattern/ {print $0}' file.txt # 查找包含 'pattern' 的行 awk '{if ($1 > 100) print $1}' file.txt # 如果第 1 列大于 100，打印该列