Bash - 计算列的平均值和频率

Question

我正在运行一个对我的服务执行负载测试的 shell 脚本。在测试结束时，我得到一个如下所示的文件：

200    2.691
200    2.735
404    1.997
404    2.838
200    1.394
200    1.833

我想计算每个唯一 HTTP 响应代码的最小、最大和平均响应时间。像这样的东西——

http    min    max    mean    count
200    1.394  2.735   2.163    4
404    1.997  2.838   2.418    2

输出源自此命令(如果有帮助(：

curl -s -o /dev/null -w "%{http_code}t%{time_total}n" $SERVICE_URL

有人可以分享我如何在 bash 中实现这一目标的指示吗？我向 http://cacodaemon.de/index.php?id=11 寻找想法，但无法使任何事情发挥作用。

谢谢。

Answer 1

$ cat tst.awk
{
    min[$1] = ( ($1 in min) && (min[$1] < $2) ? min[$1] : $2 )
    max[$1] = ( ($1 in max) && (max[$1] > $2) ? max[$1] : $2 )
    sum[$1] += $2
    cnt[$1]++
}
END {
    print "http", "min", "max", "mean", "cnt"
    for (key in cnt) {
        print key, min[key], max[key], sprintf("%.3f",sum[key]/cnt[key]), cnt[key]
    }
}
$ awk -f tst.awk file | column -t
http  min    max    mean   cnt
200   1.394  2.735  2.163  4
404   1.997  2.838  2.417  2

以上内容适用于任何 UNIX 机器上任何 shell 中的任何 awk。

Answer 2

按空格进行列化 -W 按列 1 分组 -g 1 ，根据分组打印第 2 列的输出：

datamash -sW -g 1 min 2 max 2 mean 2 count 2 <dmInput

要查看更多动态，请执行以下操作：

datamash --header-out -sW -g 1 min 2 max 2 mean 2 count 2 <dmInput | column -t

和。。。如果真的想用awk，可以用它来添加列名：

awk 'BEGIN {print "HttpCode ResponseTime";} {print}' dmInput | datamash -sWH -g HttpCode min ResponseTime max ResponseTime mean ResponseTime count ResponseTime | column -t

Answer 3

这是 Ed 答案的基线 perl(不允许 CPAN，因为此时只需使用我的 datamash 答案(。 如前所述，只是在各个方面都更讨厌：

£ cat tst.pl
$min{$F[0]} = $F[1] if !(exists $min{$F[0]}) || $F[1] < $min{$F[0]};
$max{$F[0]} = $F[1] if !(exists $max{$F[0]}) || $F[1] > $max{$F[0]};
$sum{$F[0]} += $F[1]; 
$cnt{$F[0]}++;
END
{
      print "http min max mean cnt";
      for $key (keys %cnt) 
           {print "$key $min{$key} $max{$key} @{[$sum{$key}/$cnt{$key}]} $cnt{$key}";}
}
£ perl -lan tst.pl dmInput | column -t
http  min    max    mean     cnt
404   1.997  2.838  2.4175   2
200   1.394  2.735  2.16325  4

Answer 4

使用 awk 数组

cat 1.txt | nawk '{s[$1]+=$2;c[$1]++;max[$1]=max[$1]>$2?max[$1]:$2;min[$1]=min[$1]==0?$2:min[$1]>=$2?$2:min[$1]} END{for(i in s) print i","min[i]","max[i]","s[i]/c[i]","c[i]}'  | sort
200,1.394,2.735,2.16325,4
404,1.997,2.838,2.4175,2