windows ubuntu sed,awk,grep篇，8，Awk 语法和基础命令

51.Awk 命令语法

52.Awk 程序结构(BEGIN,body,END)区域

53.打印命令

54.模式匹配

Awk 是一个维护和处理文本数据文件的强大语言。在文本数据有一定的格式，即每行数据包

含多个以分界符分隔的字段时，显得尤其有用。即便是输入文件没有一定的格式，你仍然可

以使用 awk 进行基本的处理。 Awk 当然也可以没有输入文件，那不是必须的。简言之， AWK

是一种能处理从琐碎的小事到日常例行公事的强大语言。

学习 AWK 的难度要比学习其他任意语言的难度都小。如果你已经掌握了 C 语言，那么你会

发现学习 AWK 将会是如此简单和容易。 AWK 最开始由三个人开发—— A.Aho 、 B.W.Kernighan 和 P.Weinberger 。所有 AWK 的名字来

自他们名字的第一个字母。

下面是 AWK 的几个变种：

AWK 是最原始的 AWK 。

NAWK 是 new AWK

GAWK 是 GNU AWK 。所有 linux 发行版都默认使用 GAWK ，它和 AWK 以及 NAWK

完全兼容。

本书包含了原始 AWK 的所有基础功能，以及 GAWK 特有的一些高级功能。在安装了 NAWK

或 GAWK 的操作系统上，你仍然可以直接使用 awk 命令，它会根据情况调用 nawk 或 gawk 。

以 linux 系统为例，你会看到 awk 是一个指向 gawk 的符号链接，所以在 linux 上执行 awk 或

gawk 将会调用 gawk ：

$ ls -l /bin/awk /bin/gawk

lrwxrwxrwx 1 root root 4 Apr 8 2011 /bin/awk -> gawk

-rwxr-xr-x 1 root root 319336 Dec 3 2008 /bin/gawk

本书示例将用到下面三个文件，请先建立它们，然后用它们来运行所有示例。

employee.txt 文件

employee.txt 文件以逗号作为字段分界符，包含 5 个雇员的记录，其格式如下：

employee-number,employee-name,employee-title

建立该文件 :

$ vi employee.txt

101,John Doe,CEO

102,Jason Smith,IT Manager

103,Raj Reddy,Sysadmin

104,Anand Ram,Developer

105,Jane Miller,Sales Manager

items.txt 文件

items.txt 是一个以逗号作为字段分界符的文本文件，包含 5 条记录，其格式如下：

items-number,item-description,item-category,cost,quantity-available

建立该文件 :

$ vi items.txt

101,HD Camcorder,Video,210,10

102,Refrigerator,Appliance,850,2

103,MP3 Player,Audio,270,15

104,Tennis Racket,Sports,190,20

105,Laser Printer,Office,475,5

items-sold.txt 文件 items-sold.txt 是一个以空格作为字段分界符的文本文件，包含 5 条记录。每条记录都是特定

商品的编号以及当月的销售量 (6 个月 ) 。因此每条记录有 7 个字段。第一个字段是商品编号，

第二个字段到第七个字段是 6 个月内每月的销售量。其格式如下：

item-number qty-sold-month1 qty-sold-month2 qty-sold-month3 qty-sold-month4

qty-sold-month5 qty-sold-month6

建立该文件 :

$ cat items-sold.txt

101 2 10 5 8 10 12

102 0 1 4 3 0 2

103 10 6 11 20 5 13

104 2 3 4 0 6 5

105 10 2 5 7 12 6

51.Awk 命令语法

Awk 基础语法 :

Awk –Fs ‘/pattern/ {action}’ input-file

(或者)

Awk –Fs ‘{action}’ input-file

上面语法中：

z -F 为字段分界符。如果不指定，默认会使用空格作为分界符。

z /pattern/ 和 {action} 需要用单引号引起来。

z /pattern/ 是可选的。如果不指定， awk 将处理输入文件中的所有记录。如果指定一

个模式， awk 则只处理匹配指定的模式的记录。

z {action} 为 awk 命令，可以是单个命令，也可以多个命令。整个 action( 包括里面的

所有命令 ) 都必须放在 { 和 } 之间。

z Input-file 即为要处理的文件

下面是一个演示 awk 语法的非常简单的例子 :

$ awk -F: '/mail/ {print $1}' /etc/passwd

mail

mailnull

这个例子中 :

z -F 指定字段分界符为冒号，即各个字段以冒号分隔。请注意，你也可以把分界符

用双引号引住， -F”:” 也是正确的。

z /mail/ 指定模式， awk 只会处理包含关键字 mail 的记录

z {print $1} 动作部分，该动作只包含一个 awk 命令，它打印匹配 mail 的每条记录的

第 1 个字段

z /etc/passwd 即是输入文件

把 awk 命令放入单独的文件中(awk 脚本)当需要执行很多 awk 命令时，可以把/pattern/{action}这一部分放到单独的文件中，然后调用它:

awk –Fs –f myscript.awk input-file

myscript.awk 可以使用任意扩展名(或者不用扩展名)。但是加上扩展名.awk 便于维护，也可

以在这个文件中设置字段分界符(后面详述)，然后调用:

awk –f myscript.awk input-file

52.Awk 程序结构(BEGIN,body,END)区域

典型的 awk 程序包含下面三个区域 :

1. BEGIN 区域

Begin 区域的语法 :

BEGIN { awk-commands }

BEGIN 区域的命令只最开始、在 awk 执行 body 区域命令之前执行一次。

z BEGIN 区域很适合用来打印报文头部信息，以及用来初始化变量。

z BEGIN 区域可以有一个或多个 awk 命令

z 关键字 BEGIN 必须要用大写

z BEGIN 区域是可选的

2. body 区域

body 区域的语法 :

/pattern/ {action}

body 区域的命令每次从输入文件读取一行就会执行一次

z 如果输入文件有 10 行，那 body 区域的命令就会执行 10 次 ( 每行执行一次 )

z Body 区域没有用任何关键字表示，只有用正则模式和命令。

3. END block

END 区域的语法 :

END { awk-commands }

END 区域在 awk 执行完所有操作后执行，并且只执行一次。

z END 区域很适合打印报文结尾信息，以及做一些清理动作

z END 区域可以有一个或多个 awk 命令

z 关键字 END 必须要用大写

z END 区域是可选的

Awk 的执行流程

下面的例子包含上上述的三个区域：

$ awk 'BEGIN { FS=":";print "----header----" } \

/mail/ {print $1} \

END {print "----footer----"}' /etc/passwd

----header----

mail

mailnull

----footer----

提示：如果命令很长，即可以放到单行执行，也可以用 \ 折成多行执行。上面的例子用 \ 把命

令折成了 3 行。

在这个例子中： z BEGIN { FS=”:”;print “----header----“ } 为 BEGIN 区域，它设置了字段分界符变量 FS( 下

文详述 ) 的值，然后打印报文头部信息。这个区域仅在 body 区域循环之前执行一次。

z /mail/{print $1} 是 body 区域，包含一个正则模式和一个动作，即在输入文件中搜索

包含关键字 mail 的行，并打印第一个字段。

z END {print “----footer----“ } 是 END 区域，打印报文尾部信息。

z /etc/passwd 是输入文件，每行记录都会执行一次 body 区域里的动作。

上面的例子中，除了可以在命令行上执行外，还可以通过脚本执行。

首先建立下面的文件 myscript.awk, 它包含了 begin,body 和 end ：

$vi myscript.awk

BEGIN {

FS=":"

print "---header---"

}

/mail/ {

print $1

}

END {

print "---footer---"

}

然后，如下所示，在 /etc/passwd 上执行 myscript.awk 文件：

$awk -f myscript.awk /etc/passwd

---header---

mail

---footer---

请注意， awk 脚本中，注释以 # 开头。如果要编写复杂的 awk 脚本，最后接受下面的建议：

在 *awk 文件中写上足够多的注释，这样以后再次使用该脚本时，更易于读懂。

下面是随机列出的一些简单的例子，用例演示 awk 各个区域的不同组合方式：

只有 body 区域 :

awk –F: ‘{ print $1 }’ /etc/passwd

同时具有 begin,body 和 end 区域 :

awk –F: ‘BEGIN{printf “username\n-------\n”}\

{ print $1 }\

END {print “----------“ }’ /etc/passwd

只有 begin 和 body 区域 :

Awk –F: ‘BEGIN {print “UID”} {print $3}’ /etc/passwd

关于使用 BEGIN 区域的提示 :

只使用 BEGIN 区域在 awk 中是符合语法的。在没有使用 body 区域时，不需要指定输入文件，

因为 body 区域只在输入文件上执行。所以在执行和输入文件无关的工作时，可以只使用

BEGIN 区域。下面的不少例子中，只包含 BEGIN 区域，用来说明 awk 的不同部分是如何执行

的。你可以因地制宜地使用下面的例子。

只包含 BEGIN 的简单示例 :

$awk ‘BEGIN { print “Hello,World!” }’

Hello World!

多个输入文件 :

注意，可以为 awk 指定多个输入文件。如果指定了两个文件，那么 body 区域会首先在第一

个文件的所有行上执行，然后在第二个文件的所有行上执行。

多个输入文件示例 :

$awk 'BEING { FS=":";print "---header---" }\

/mail/ {print $1}\

END { print "---footer---"}' /etc/passwd /etc/group

mail:x:8:12:Mailer

mail:x:12:

maildrop:!:59:

---footer---

注意，即是指定了多个文件， BEGIN 和 END 区域，仍然只会执行一次。

53.打印命令

默认情况下， awk 的打印命令 print( 不带任何参数 ) 会打印整行数据。下面的例子等价于 ”cat

employee.txt” 命令 .

$awk '{print}' employee.txt

101,John Doe,CEO

102,Jason Smith,IT Manager

103,Raj Reddy,Sysadmin

104,Anand Ram,Developer

105,Jane Miller,Sales Manager

也可以通过传递变量 ”$ 字段序号 ” 作为 print 的参数来指定要打印的字段。我们猜想例子应该

只打印雇员名称 ( 第 2 个字段 )

$awk '{print $2}' employee.txt

Doe,CEO

Smith,IT

Reddy,Sysadmin

Ram,Developer

Miller,Sales

等等，这个输出好像和预期不符。它打印了从姓氏开始直到记录结尾的所有内容。这是因为

awk 默认的字段分隔符是空格， awk 准确地执行了我们要求的动作，它以空格作为分隔符，

打印第 2 个字段。当使用默认的空格作为字段分隔符时， 101,Johne 变成了第一条记录的第

一个字段， Doe,CEO 变成了第二个字段。因此上面例子中， awk 把 Doe,CEO 作为第二个字段

打印出来了。

要解决这个文件，应该使用-F 选项为 awk 指定一个逗号”,”最为字段分隔符。

$awk -F ',' '{print $2}' employee.txt

John Doe Jason Smith

Raj Reddy

Anand Ram

Jane Miller

当字段分隔符是单个字符时，下面的所有写法都是争取的，即可以把它放在单引号或双引号

中，或者不使用引号：

awk –F ‘,’ ‘{print $2}’ employee.txt

awk –F “,” ‘{print $2}’ employee.txt

awk –F , ‘{print $2}’ employee.txt

ᨀ示 : 也可使用 FS 变量来达到同样的目的。后面会介绍这个 awk 内置变量的用法。

一个简单的例子，用来输出雇员姓名，职位，同时附带 header 和 footer 信息 :

$awk 'BEGIN{FS=",";print "---------\nName Title\n------------\n";}\

{print $2,"\t",$3}\

END {print "-------------------"}' employee.txt

---------

Name Title

------------

John Doe CEO

Jason Smith IT Manager

Raj Reddy Sysadmin

Anand Ram Developer

Jane Miller Sale

这个例子中，输出结果各字段并没有很好地对齐，后面章节将会介绍如何处理这个问题。这

个例子还展示了如何使用 BEGIN 来打印 header 以及如何使用 END 来打印 footer.

请注意， $0 代表整条记录。下面两个命令是等价的，都打印 employee.txt 的所有行 :

awk ‘{print}’ employee.txt

awk ‘{print $0}’ employee.txt

54.模式匹配

你可以只在匹配特殊模式的行数执行 awk 命令。

下面的例子只打印管理者的姓名和职位：

$awk -F ',' '/Manager/ {print $2,$3}' employee.txt

Jason Smith IT Manager

Jane Miller Sales Manager

下面的例子只打印雇员 id 为 102 的雇员的信息：

$awk -F ',' '/^102/{print "Emp id 102 is",$2}' \

> employee.txt

Emp id 102 is Jason Smith

资料来源于《SedandAwk101Hacks》，大家有兴趣可以买一本，也可以关注我，我更新完它。

曾经，我花费大半月将它们跑完，现在啥都忘了，还是要常用。

只为学习交流，不为获利，侵权联系立删。