shell编程——AWK 从入门到精通

news2025/3/12 8:59:06

1. 前言

在日常运维、数据分析和开发工作中，处理文本数据是不可避免的任务。无论是从日志中提取关键信息，还是批量处理数据表，效率和灵活性都至关重要。AWK 是 UNIX/Linux 环境中一款轻量级却功能强大的文本处理工具，它以简洁的语法、强大的模式匹配功能和灵活的操作能力闻名，广泛用于日志分析、数据处理、自动化脚本等领域。

本篇文章将带你从零开始掌握 AWK，涵盖基础用法、进阶操作、高级技巧及常见应用场景，帮助你成为一名文本处理专家。

2. AWK 基本概念

什么是 AWK？

AWK 是一种专门用于处理文本的脚本语言，得名于三位开发者 Alfred Aho、Peter Weinberger 和 Brian Kernighan 的姓氏首字母。它设计的初衷是简化对结构化文本的处理任务。

核心理念：逐行读取文件，按指定的模式匹配进行操作，最终输出处理结果。
优势：
- 简洁的语法适合快速开发；
- 支持复杂的逻辑和计算；
- 与其他命令工具（如 grep、sed、sort）无缝结合。

基本语法结构

AWK 程序的基本结构如下：

awk '模式 {动作}' 文件

模式：用于匹配输入的行。例如匹配特定字符串或满足某些条件的行。
动作：对匹配到的行执行指定的操作，如打印、计算或替换。

示例：

ps | awk '{print $1}'

上述命令中，{print $1} 是动作，表示输出每行的第一个字段。

字段分隔符

AWK 默认将空格或制表符作为字段分隔符，但可以通过 -F 选项自定义分隔符。例如：

awk -F ":" '{print $1}' /etc/passwd

这里的 -F ":" 将 : 设置为字段分隔符，输出 /etc/passwd 文件中每行的第一个字段（即用户名）。

内置工作流

AWK 程序有三个主要的处理阶段：

BEGIN 块：在读取任何输入文件之前执行，用于初始化。
主程序块：逐行处理输入文件中的内容。
END 块：在处理完所有行后执行，用于汇总计算或输出最终结果。

例如：

awk 'BEGIN {print "开始处理..."} {print $1} END {print "处理结束"}' 文件

3. 基础用法

3.1 提取文本信息

提取文本中的某些字段或行是 AWK 最常见的操作之一：

获取系统中所有运行的进程 ID：
```
ps | awk '{print $1}'
```
从 /etc/passwd 中提取用户名：
```
awk -F ":" '{print $1}' /etc/passwd
```

3.2 条件筛选

提取行长度大于 7 的文本：
```
awk 'length($0) > 7' /etc/shells
```

筛选 /etc/shells 中内容等于 /bin/bash 的行：

awk '{if ($0=="/bin/bash") print $0}' /etc/shells

3.3 脚本特性

AWK 支持控制流和简单计算，例如输出 1 到 10 的平方：

awk 'BEGIN{for(i=1;i<=10;i++) print "数字",i,"的平方为",i*i}'

4. 进阶使用

4.1 管道操作

AWK 通常与其他命令结合，处理复杂任务。例如：

启动 Docker 中的所有容器：

docker ps -a | awk '{print $1}' | tail -n +2 | xargs docker start

停止 Docker 中的所有容器：

docker ps -a | awk '{print $1}' | tail -n +2 | xargs docker stop

4.2 字符匹配

筛选字段末尾不包含 test 的 Docker 容器：

docker ps | awk '!match($NF,/^test/) {print NR,$NF}'

上述命令通过正则表达式匹配字段，并排除特定条件。

4.3 字段统计

打印 /etc/shells 的最后一个字段并排序去重：

awk -F "/" '/^\// {print $NF}' /etc/shells | sort -u

/^\// 是一个正则表达式，用于匹配以斜杠 / 开头的行。

5. 高级技巧

5.1 嵌套条件

通过复杂逻辑筛选数据，例如从日志中筛选错误条目：

awk '{if ($3=="ERROR" && $5>10) print $0}' server.log

5.2 自定义函数

AWK 支持定义函数，以实现复杂计算：

awk 'function fib(n) {if (n<=2) return 1; else return fib(n-1)+fib(n-2)} BEGIN {for(i=1;i<=10;i++) print fib(i)}'

5.3 多文件处理

合并两个文件并根据字段匹配：

awk 'NR==FNR{a[$1]=$2; next} $1 in a {print $1, $2, a[$1]}' file1 file2

将 file1 和 file2 的第一个字段匹配，输出关联字段。

6. 性能优化

减少重复计算：

awk '{sum+=$2} END {print "总和：", sum}' data.txt

逐行处理大文件：
使用 getline 避免一次性加载大文件，节省内存：
```
awk '{while (getline < "file.txt") print $0}'
```

7. 常用内建变量

变量	描述
`$0`	当前整行内容
`$1,$2...`	当前行的第 N 个字段
`NF`	当前行的字段数
`NR`	当前行号（全局累计）
`FNR`	当前行号（当前文件）
`FS`	输入字段分隔符
`OFS`	输出字段分隔符