awk命令

发表于

linux的awk在数据筛选、统计等方面经常用到，在此做个简单的记录

什么是awk

awk是行处理器,通常用来格式化文本信息

使用方式

基本用法

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
awk [-F|-f|-v] 'BEGIN{} //{command1; command2} END{}' file
-F指定分隔符
-f调用脚本
-v定义变量 var=value
BEGIN   初始化代码块，在对每一行进行处理之前，初始化代码，主要是引用全局变量，设置FS分隔符
//           匹配代码块，可以是字符串或正则表达式
{}           命令代码块，包含一条或多条命令
；          多条命令使用分号分隔
END      结尾代码块，在对每一行进行处理之后再执行的代码块，主要是进行最终计算或输出结尾摘要信息
特殊的
$0					表示整个当前行
$1					每行第一个字段
NF          字段数量变量
NR          每行的记录号，多文件记录递增
FNR         与NR类似，不过多文件记录不递增，每个文件都从1开始
\t          制表符
\n          换行符
FS          BEGIN时定义分隔符
RS          输入的记录分隔符， 默认为换行符(即文本是按一行一行输入)
~           匹配，与==相比不是精确比较
!~          不匹配，不精确比较
==          等于，必须全部相等，精确比较
!=          不等于，精确比较
&&　        逻辑与
||          逻辑或
+           匹配时表示1个或1个以上
/[0-9][0-9]+/    两个或两个以上数字
/[0-9][0-9]*/    一个或一个以上数字
FILENAME 文件名
OFS      输出字段分隔符， 默认也是空格，可以改为制表符等
ORS        输出的记录分隔符，默认为换行符,即处理结果也是一行一行输出到屏幕
-F'[:#/]'   定义三个分隔符

打印

1
2
print 是awk打印指定内容的主要命令
awk -F ':' '{print $1}'  /etc/passwd

-F指定分隔符

1
2
3
4
5
6
7
8
9
10
awk -F'[:#]' '{print NF}'  helloworld.sh                                 //指定多个分隔符: #
//指定以单个逗号,为分隔符
awk -F ',' '...'
//指定以a或b为分隔符
awk -F 'a|b' '...'
//指定以`],[`为分隔符，不能直接匹配的特殊符号需以反斜线\\转义
awk -F '\\[,\\]' '...'

匹配代码块

1
2
3
4
//纯字符匹配 /|/纯字符匹配  !//纯字符不匹配   ~//字段值匹配    !~//字段值不匹配   ~/a1|a2/字段值匹配a1或a2
awk '/mysql|user/ {print $0}' /etc/passwd               //输出匹配mysql或user的行
awk '!/mysql/ {print $0}' /etc/passwd                  //输出不匹配mysql的行

条件表达式

1
2
3
4
5
6
7
8
==   !=   >   >=  
awk -F":" '$1=="mysql"{print $3}' /etc/passwd  
awk -F":" '{if($1=="mysql") print $3}' /etc/passwd          //与上面相同
awk -F":" '$1!="mysql"{print $3}' /etc/passwd                 //不等于
awk -F":" '$3>1000{print $3}' /etc/passwd                      //大于
awk -F":" '$3>=100{print $3}' /etc/passwd                     //大于等于
awk -F":" '$3<1{print $3}' /etc/passwd                            //小于
awk -F":" '$3<=1{print $3}' /etc/passwd                         //小于等于

逻辑运算符

1
2
3
4
5
&&　||
awk -F: '$1~/mail/ && $3>8 {print }' /etc/passwd         //逻辑与，$1匹配mail，并且$3>8
awk -F: '{if($1~/mail/ && $3>8) print }' /etc/passwd
awk -F: '$1~/mail/ || $3>1000 {print }' /etc/passwd       //逻辑或
awk -F: '{if($1~/mail/ || $3>1000) print }' /etc/passwd

数组

netstat -anp|awk ‘NR!=1{a[$6]++} END{for (i in a) print i,”\t”,a[i]}’

典型事例

筛选请求时间大于0

日志文件1秒的请求

10.85.93.250 - - [06/Jul/2018:11:12:31 +0800] "GET /intfs/category/showBatch?parent_id=0 HTTP/1.1" - 200 2562 0.048
10.85.93.155 - - [06/Jul/2018:11:12:39 +0800] "GET /intfs/category/showBatch?parent_id=1 HTTP/1.1" - 200 58 0.048
10.85.93.252 - - [06/Jul/2018:11:13:32 +0800] "GET /intfs/category/showBatch?parent_id=0 HTTP/1.1" - 200 2562 0.045
10.85.93.165 - - [06/Jul/2018:11:13:43 +0800] "GET /intfs/category/showBatch?parent_id=97 HTTP/1.1" - 200 850 1.046
10.85.93.167 - - [06/Jul/2018:11:13:49 +0800] "GET /intfs/category/showBatch?parent_id=97004 HTTP/1.1" - 200 58 0.041
10.85.93.166 - - [06/Jul/2018:11:14:00 +0800] "GET /intfs/category/showBatch?parent_id=0 HTTP/1.1" - 200 2562 0.054

cat access_log.2018-07-06-*|awk -F ‘ ‘ ‘$12>1 {print $0}’

分析access.log获得访问前10位的ip地址

awk ‘{print $1}’ access.log |sort|uniq -c|sort -nr|head -10

sort 对整体数据排序，将相同的行将在一起
uniq -c 统计数量 并在每行开始显示数量 格式: 数量 内容
sort -nr -n 将行按照数字形式比较排序，-r顺序翻转
head -10 取前10条

输出最后一列

awk ‘{print $NF}’

连接字符串

TMALL_INVENTORY_30_GROUP    my163149.cm6    3506    5683506    mysql-bin.000013 327359057  
TMALL_INVENTORY_31_GROUP    my163149.cm6    3606    5683606    mysql-bin.000017 301259529  
$1                          $2              $3      $4         $5               $6

awk ‘{print $1” : “$2}’ posi.txt
awk ‘{position=$5”:”$6”#”$4; print $1, position}’ posi.txt | awk -F ‘[.]’ ‘{print $1,$2”.”0}’ | awk ‘{print $1,$3}’

  • 注意其中postion没有加$

使用””进行字符串连接