awk实战案例

news2025/1/12 3:42:41

插入新字段

例：在“a b c d”中b的后面插入“e f g”

echo "a b c d" | awk '{$2=$2" e f g";print}'

格式化空白

移除每行的前缀、后缀空白，并将各部分左对齐

[root@localhost ~]# cat 1.txt
aaaa         bbb      ccccc
bbbb      eeee      gggg
aa   dddd   ee gg cc hh
[root@localhost ~]# awk '{$1=$1;print}' 1.txt
aaaa bbb ccccc
bbbb eeee gggg
aa dddd ee gg cc hh
[root@localhost ~]# awk 'BEGIN{OFS="\t"}{$1=$1;print}' 1.txt
aaaa    bbb ccccc
bbbb    eeee    gggg
aa  dddd    ee  gg  cc  hh

筛选IPVv4地址

从ifconfig命令的结果中筛选出除了lo网卡的所有IPv4地址

---方法一：
ifconfig | awk '/inet/ && !($2~/^127/){print $2}'
---方法二:(按段落读取)
ifconfig | awk 'BEGIN{RS=""}/lo/{print $6}'
---方法三：
ifconfig | awk 'BEGIN{RS="";FS="\n"}!/lo/{$0=$2;FS=" ";$0=$0;print $2}'

读取.ini配置文件中的某段

[base]
name=os_repo
baseurl=https://xxx/centos/$releasever/os/$basearch
gpgcheck=0
​
enable=1
​
[mysql]
name=mysql_repo
baseurl=https://xxx/mysql-repo/yum/mysql-5.7-community/el/$releasever/$basearch
​
gpgcheck=0
enable=1
​
[epel]
name=epel_repo
baseurl=https://xxx/epel/$releasever/$basearch
gpgcheck=0
enable=1
[percona]
name=percona_repo
baseurl = https://xxx/percona/release/$releasever/RPMS/$basearch
enabled = 1
gpgcheck = 0

 

根据某字段去重

例：去掉uid=xxx重复的行。

[root@localhost ~]# cat 2.txt
2019-01-13_12:00_index?uid=123
2019-01-13_13:00_index?uid=123
2019-01-13_14:00_index?uid=333
2019-01-13_15:00_index?uid=9710
2019-01-14_12:00_index?uid=123
2019-01-14_13:00_index?uid=123
2019-01-15_14:00_index?uid=333
2019-01-16_15:00_index?uid=9710
[root@localhost ~]# awk -F"?" '!arr[$2]++{print}' 2.txt
2019-01-13_12:00_index?uid=123
2019-01-13_14:00_index?uid=333
2019-01-13_15:00_index?uid=9710

次数统计

[root@localhost ~]# cat 3.txt
portmapper
portmapper
portmapper
portmapper
portmapper
portmapper
status
status
mountd
mountd
mountd
mountd
mountd
mountd
nfs
nfs
nfs_acl
nfs
nfs
nfs_acl
nlockmgr
nlockmgr
nlockmgr
nlockmgr
nlockmgr
[root@localhost ~]# awk '{arr[$1]++}END{OFS="\t";for(idx in arr){printf arr[idx],idx}}' 3.txt
425626

统计TCP连接状态数量

$ netstat -tnap
Proto Recv-Q Send-Q Local Address   Foreign Address  State       PID/Program name
tcp        0      0 0.0.0.0:22      0.0.0.0:*        LISTEN      1139/sshd
tcp        0      0 127.0.0.1:25    0.0.0.0:*        LISTEN      2285/master
tcp        0     96 192.168.2.17:22 192.168.2.1:2468 ESTABLISHED 87463/sshd: root@pt
tcp        0      0 192.168.2017:22 192.168.201:5821 ESTABLISHED 89359/sshd: root@no
tcp6       0      0 :::3306         :::*             LISTEN      2289/mysqld
tcp6       0      0 :::22           :::*             LISTEN      1139/sshd
tcp6       0      0 ::1:25          :::*             LISTEN      2285/master

统计得到的结果：

5: LISTEN
2: ESTABLISHED

 

一行式：

netstat -tna | awk '/^tcp/{arr[$6]++}END{for(state in arr){print arr[state] ": " state}}'
netstat -tna | /usr/bin/grep 'tcp' | awk '{print $6}' | sort | uniq -c

统计日志中各IP访问非200状态码的次数

日志示例数据：

111.202.100.141 - - [2019-11-07T03:11:02+08:00] "GET /robots.txt HTTP/1.1" 301 169

统计非200状态码的IP，并取次数最多的前10个IP：

# 法一
awk '$8!=200{arr[$1]++}END{for(i in arr){print arr[i],i}}' access.log | sort -k1nr | head -n 10
​
# 法二：
awk '
    $8!=200{arr[$1]++}
    END{
        PROCINFO["sorted_in"]="@val_num_desc";
        for(i in arr){
            if(cnt++==10){exit}
            print arr[i],i
        }
}' access.log

统计独立IP

? url 访问IP 访问时间 访问人

a.com.cn|202.109.134.23|2015-11-20 20:34:43|guest
b.com.cn|202.109.134.23|2015-11-20 20:34:48|guest
c.com.cn|202.109.134.24|2015-11-20 20:34:48|guest
a.com.cn|202.109.134.23|2015-11-20 20:34:43|guest
a.com.cn|202.109.134.24|2015-11-20 20:34:43|guest
b.com.cn|202.109.134.25|2015-11-20 20:34:48|guest

需求：统计每个URL的独立访问IP有多少个(去重)，并且要为每个URL保存一个对应的文件，得到的结果类似：

a.com.cn  2
b.com.cn  2
c.com.cn  1

并且有三个对应的文件：

a.com.cn.txt
b.com.cn.txt
c.com.cn.txt

代码：

 

处理字段缺失的数据

ID  name    gender  age  email          phone
1   Bob     male    28   abc@qq.com     18023394012
2   Alice   female  24   def@gmail.com  18084925203
3   Tony    male    21                  17048792503
4   Kevin   male    21   bbb@189.com    17023929033
5   Alex    male    18   ccc@xyz.com    18185904230
6   Andy    female       ddd@139.com    18923902352
7   Jerry   female  25   exdsa@189.com  18785234906
8   Peter   male    20   bax@qq.com     17729348758
9   Steven          23   bc@sohu.com    15947893212
10  Bruce   female  27   bcbd@139.com   13942943905

gawk提供了FIELDWIDTHS变量。

awk '{print $4}' FIELDWIDTHS="2 2:6 2:6 2:3 2:13 2:11" a.txt

处理字段中包含了字段分隔符的数据

下面是CSV文件中的一行，该CSV文件以逗号分隔各个字段。

Robbins,Arnold,"1234 A Pretty Street, NE",MyTown,MyState,12345-6789,USA

需求：取得第三个字段"1234 A Pretty Street, NE"。

当字段中包含了字段分隔符时，直接使用FS划分字段来处理会非常棘手。gawk为了解决这种特殊需求，提供了FPAT变量。

FPAT可以收集正则匹配的结果，并将它们保存在各个字段中。（就像grep匹配成功的部分会加颜色显示，而使用FPAT划分字段，则是将匹配成功的部分保存在字段$1 $2 $3...中）。

echo 'Robbins,Arnold,"1234 A Pretty Street, NE",MyTown,MyState,12345-6789,USA' |\
awk 'BEGIN{FPAT="[^,]+|\".*\""}{print $1,$3}'

取字段中指定字符数量

16  001agdcdafasd
16  002agdcxxxxxx
23  001adfadfahoh
23  001fsdadggggg

得到：

16  001
16  002
23  001
23  002
awk '{print $1,substr($2,1,3)}'
awk 'BEGIN{FIELDWIDTH="2 2:3"}{print $1,$2}' a.txt

行列转换

[root@localhost ~]# cat 8.awk
name age
alice 21
ryan 30
转换得到：
name alice ryan
age 21 30
awk '
    {
      for(i=1;i<=NF;i++){
        if(!(i in arr)){
          arr[i]=$i
        } else {
            arr[i]=arr[i]" "$i
        }
      }
    }
    END{
        for(i=1;i<=NF;i++){
            print arr[i]
        }
    }
' a.txt

筛选给定时间范围内的日志

grep/sed/awk用正则去筛选日志时，如果要精确到小时、分钟、秒，则非常难以实现。

但是awk提供了mktime()函数，它可以将时间转换成epoch时间值。

# 2019-11-10 03:42:40转换成epoch
$ awk 'BEGIN{print mktime("2019 11 10 03 42 40")}'
1573328560

借此，可以取得日志中的时间字符串部分，再将它们的年、月、日、时、分、秒都取出来，然后放入mktime()构建成对应的epoch值。因为epoch值是数值，所以可以比较大小，从而决定时间的大小。

下面strptime1()实现的是将2019-11-10T03:42:40+08:00格式的字符串转换成epoch值，然后和which_time比较大小即可筛选出精确到秒的日志。

BEGIN{
    # 要筛选上面时间的日志，将其时间构建成epoch值
    which_time = mktime("2019 11 10 03 42 40")
}
​
{
    # 取出日志中的日期时间字符串部分
    match($0,"^.*\\[(.*)\\].*",arr)
    # 将日期时间字符串转换为epoch值
    tmp_time = strptime1(arr[1])
    #通过比较epoch值来比较时间大小
    if(tmp_time > which_time){print}
}
​
# 构建的时间字符串格式为：“2019-11-10T03:42:40+08:00”
function strptime1(str ,arr,Y,M,D,H,m,S) {
    patsplit(str,arr,"[0-9]{1，4}")
    Y=arr[1]
    M=arr[2]
    D=arr[3]
    H=arr[4]
    m=arr[5]
    S=arr[6]
    return mktime(sprintf("%s %s %s %s %s %s",Y,M,D,H,m,S))
}

下面strptime2()实现的是将10/Nov/2019:23:53:44+08:00格式的字符串转换成epoch值，然后和which_time比较大小即可筛选出精确到秒的日志。

BEGIN{
  # 要筛选什么时间的日志，将其时间构建成epoch值
  which_time = mktime("2019 11 10 03 42 40")
}
​
{
  # 取出日志中的日期时间字符串部分
  match($0,"^.*\\[(.*)\\].*",arr)
  
  # 将日期时间字符串转换为epoch值
  tmp_time = strptime2(arr[1])
  
  # 通过比较epoch值来比较时间大小
  if(tmp_time > which_time){
    print 
  }
}
​
# 构建的时间字符串格式为："10/Nov/2019:23:53:44+08:00"
function strptime2(str   ,dt_str,arr,Y,M,D,H,m,S) {
  dt_str = gensub("[/:+]"," ","g",str)
  # dt_sr = "10 Nov 2019 23 53 44 08 00"
  split(dt_str,arr," ")
  Y=arr[3]
  M=mon_map(arr[2])
  D=arr[1]
  H=arr[4]
  m=arr[5]
  S=arr[6]
  return mktime(sprintf("%s %s %s %s %s %s",Y,M,D,H,m,S))
}
​
function mon_map(str   ,mons){
  mons["Jan"]=1
  mons["Feb"]=2
  mons["Mar"]=3
  mons["Apr"]=4
  mons["May"]=5
  mons["Jun"]=6
  mons["Jul"]=7
  mons["Aug"]=8
  mons["Sep"]=9
  mons["Oct"]=10
  mons["Nov"]=11
  mons["Dec"]=12
  return mons[str]
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/598701.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

opencv笔记：高斯滤波和中值滤波对椒盐噪声的处理

opencv笔记：高斯滤波和中值滤波对椒盐噪声的处理

目录 1. 椒盐噪声简介 2. 高斯滤波的原理和实现 2.1. 高斯滤波的原理 2.2. 高斯滤波的API 3. 中值滤波的原理和实现 3.1. 中值滤波的原理 3.2. 中值滤波的API 4. 高斯滤波和中值滤波对椒盐噪声的处理结果 数字图像处理中&#xff0c;噪声会导致图像质量下降和信息的丢失&a…
阅读更多...
SpringMVC第九阶段：Restful风格实现的CRUD

SpringMVC第九阶段：Restful风格实现的CRUD

Restful风格实现的CRUD图书 把前面的传统请求方式的图书的CRUD换成刚刚讲的Restful风格的图书模块的CRUD。只需要修改页面端的请求方式和地址&#xff0c;以及服务器端Controller的接收。 1、列表功能实现 Controller中的修改: RequestMapping(value "/book",me…
阅读更多...
C++ 后台开发面试时一般考察什么？

C++ 后台开发面试时一般考察什么？

总体来说&#xff0c;C面试中&#xff0c;对这门语言本身内容的考察并不多&#xff0c;更多考察的是 C 背后的技术栈&#xff0c;更多倾向考察一些原理性和基础性的问题&#xff0c;高级岗位会考察一些工作经历和经验。 总结起来一句话&#xff1a;初级看基础&#xff0c;高级…
阅读更多...
hashlib和hmac模块

hashlib和hmac模块

目录 ❤ hashlib模块 hash是什么? 撞库破解hash算法加密 python从小白到总裁完整教程目录:https://blog.csdn.net/weixin_67859959/article/details/129328397?spm1001.2014.3001.5502 ❤ hashlib模块 hash是什么? hash是一种算法&#xff08;Python3.版本里使用has…
阅读更多...
DAY07_HTMLCSS

DAY07_HTMLCSS

目录 1 HTML1.1 介绍1.1.1 WebStrom中基本配置 1.2 快速入门1.3 基础标签1.3.1 标题标签1.3.2 hr标签1.3.3 字体标签1.3.4 换行标签1.3.5 段落标签1.3.6 加粗、斜体、下划线标签1.3.7 居中标签1.3.8 案例 1.4 图片、音频、视频标签1.5 超链接标签1.6 列表标签1.6.1 列表中图表类…
阅读更多...
供应链|供应商库存服务水平对零售商需求的影响

供应链|供应商库存服务水平对零售商需求的影响

作者&#xff1a;Nathan Craig, Nicole DeHoratius, Ananth Raman 引用&#xff1a;Craig N, DeHoratius N, Raman A. The impact of supplier inventory service level on retailer demand[J]. Manufacturing & Service Operations Management, 2016, 18(4): 461-474. 文…
阅读更多...
漏洞复现 CVE-2018-2894 weblogic文件上传

漏洞复现 CVE-2018-2894 weblogic文件上传

vulhub weblogic CVE-2018-2894 1、 搭建好靶场&#xff0c;按提示访问 http://192.168.137.157:7001/console 按照给出的文档&#xff0c;会查看容器的日志&#xff0c;找到管理员用户名/密码为 weblogic / h3VCmK2L&#xff0c;暂时用不到&#xff0c;不需要登录 2、未授权…
阅读更多...
【轻量级网络】华为诺亚：VanillaNet

【轻量级网络】华为诺亚：VanillaNet

文章目录 0. 前言1. 网络结构2. VanillaNet非线性表达能力增强策略2.1 深度训练2.2 扩展激活函数 3. 总结4. 参考 0. 前言 随着人工智能芯片的发展&#xff0c;神经网络推理速度的瓶颈不再是FLOPs或参数量&#xff0c;因为现代GPU可以很容易地进行计算能力较强的并行计算。相比…
阅读更多...
校园失物招领系统的设计与实现

校园失物招领系统的设计与实现

摘 要 随着社会的发展&#xff0c;社会的各行各业都在利用信息化时代的优势。计算机的优势和普及使得各种信息系统的开发成为必需。 校园失物招领系统&#xff0c;主要的模块包括首页、个人中心、公告信息管理、用户管理、物品类别管理、失物信息管理、招领信息管理、留言板…
阅读更多...
速查-嵌入式物联网开发中常用的网络转换函数

速查-嵌入式物联网开发中常用的网络转换函数

速查-嵌入式物联网开发中常用的网络转换函数 常用的字节序转换函数-网络字节序与主机字节序的转换 如在 一文读懂大端、小端、字节序、MSB、LSB、MSBs、LSBs 中讲述的那样&#xff0c;主机字节序有大小端的区分&#xff0c;有些设备是大端&#xff08;Big Endian&#xff09;…
阅读更多...
OJ题训练（二）

OJ题训练（二）

文章目录 反转链表题目来源题目描述知识点题解题解一&#xff08;递归实现&#xff09;图解 题解二&#xff08;双指针&#xff09;图解 反转链表 题目来源 牛客网 题目描述 给定一个单链表的头结点pHead(该头节点是有值的&#xff0c;比如在下图&#xff0c;它的val是1)&…
阅读更多...
Nginx通过SplitClient进行AB测试以及负载均衡分流

Nginx通过SplitClient进行AB测试以及负载均衡分流

文章目录 前言一、Split Clients是什么&#xff1f;二、使用步骤2.1 根据User-Agent进行分流2.2 根据Cookie进行分流2.3 根据IP地址进行分流2.4 根据时间进行分流2.5 根据随机数进行分流 总结 前言 Nginx是一个被广泛应用的Web服务中间件&#xff0c;今天分享一下如何用它做AB…
阅读更多...
js获取html input 单选框值的问题

js获取html input 单选框值的问题

测试代码&#xff1a; ratio.html <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><title>Title</title><script src"ratio.js"></script> </head> <body><input…
阅读更多...
一文回顾 Boundless Hackathon at Stanford 首期 Workshop

一文回顾 Boundless Hackathon at Stanford 首期 Workshop

由Stanford Blockchain Accelerator、Zebec Protocol、Nautilus Chain、Rootz Lab共同主办的“ Boundless Hackathon Stanford ”主题的黑客松活动&#xff0c;即将开启。该活动旨在帮助更多的优质开发者参与到Web3世界的发展中&#xff0c;推动链上设施的创新与应用。 在5月26…
阅读更多...
常见的递归

常见的递归

⭐️前言⭐️ 本篇文章分享一些常见的递归题目&#xff0c;为后边的动态规划篇章做铺垫。 &#x1f349;欢迎点赞 &#x1f44d; 收藏 ⭐留言评论 &#x1f4dd;私信必回哟&#x1f601; &#x1f349;博主将持续更新学习记录收获&#xff0c;友友们有任何问题可以在评论区留言…
阅读更多...
设计模式(三)：创建型之原型模式

设计模式(三)：创建型之原型模式

设计模式系列文章 设计模式(一)&#xff1a;创建型之单例模式 设计模式(二)&#xff1a;创建型之工厂方法和抽象工厂模式 设计模式(三)&#xff1a;创建型之原型模式 目录 一、设计模式分类二、原型模式1、概述2、结构2、实现3、扩展&#xff08;深克隆&#xff09; 一、设计…
阅读更多...
SSM编程---Day 07

SSM编程---Day 07

目录 SpringMVC 一、概念 二、springMVC的请求处理流程 三、mvc:annotation-driven 标签的作用 四、HandlerMapping、Handler和HandlerAdapter的介绍 五、SpringMVC 体系结构 六、SpringMVC的常用注解 七、view和controller之间的传值 SpringMVC 一、概念 1、 Spring…
阅读更多...
ThreadLocal和局部变量的区别

ThreadLocal和局部变量的区别

ThreadLocal为线程提供一个线程级别的储物柜&#xff0c;可以往里面存数据&#xff0c;取数据。数据是专属于线程的。 而局部变量&#xff0c;也是专属于线程的。这样来看&#xff0c;两者似乎功能上是一样的&#xff0c;也确实是一样的。 不过局部变量只能通过显示传参的方式…
阅读更多...
C++MFC 面向对象程序设计 小型通讯录管理程序设计

C++MFC 面向对象程序设计 小型通讯录管理程序设计

课程名称&#xff1a;面向对象程序设计 实验名称&#xff1a;小型通讯录管理程序设计 1.实验目的 深入理解面向对象技术的封装性、继承性和多态性&#xff0c;掌握面向对象程序设计方法。综合应用C基础知识实现小型应用程序开发。掌握使用C流类库实现数据文件访问的操作方…
阅读更多...
LabVIEWCompactRIO 开发指南第七章47 EtherCAT RIO

LabVIEWCompactRIO 开发指南第七章47 EtherCAT RIO

LabVIEWCompactRIO 开发指南第七章47 EtherCAT RIO 在某些应用中&#xff0c;主I/O和扩展I/O系统需要紧密同步--所有输入和输出必须同时更新。使用确定性总线&#xff0c;主控制器不仅可以知道扩展I/O何时更新&#xff0c;还可以确切地知道数据到达需要多长时间。可以使用NI …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023