使用 grep 或 ack 可靠地检查 wget 日志中的错误

Question

在 bash 文件中，我有logfileA.txt包含wget的输出，我想grep上运行这些输出以检查单词"错误"或"失败"等的任何实例，如下所示：

grep -ni --color=never -e "error" -e "fail" logfileA.txt | awk -F: '{print "Line "$1": "$2}'
# grep -n line number, -i ignore case; awk to add better format to the line numbers (https://stackoverflow.com/questions/3968103)

麻烦的是，我认为logfileA.txt中的wget输出充满了可能会弄乱grep输入的字符，因为我没有得到可靠的匹配。

对此进行故障排除，我什至无法可靠地cat日志文件的内容。例如，对于cat logfileA.txt，我得到的只是最后一行乱码：

FINISHED --2019-05-29 17:08:52--me@here:/home/n$ 71913592/3871913592]atmed out). Retrying.

logfileA.txt的内容是：

--2019-05-29 15:26:50--  http://somesite.com/somepath/a0_FooBar/BarFile.dat
Reusing existing connection to somesite.com:80.
HTTP request sent, awaiting response... 302 Found
Location: http://cdn.somesite.com/storage/a0_FooBar/BarFile.dat [following]
--2019-05-29 15:26:50--  http://cdn.somesite.com/storage/a0_FooBar/BarFile.dat
Resolving cdn.somesite.com (cdn.somesite.com)... xxx.xxx.xx.xx
Connecting to cdn.somesite.com (cdn.somesite.com)|xxx.xxx.xx.xx|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 3871913592 (3.6G) [application/octet-stream]
Saving to: 'a0_FooBar/BarFile.dat’
a0_FooBar/BarFile.dat   0%[                    ]       0  --.-KB/s               
a0_FooBar/BarFile.dat   0%[                    ]  15.47K  70.5KB/s               
...
a0_FooBar/BarFile.dat  49%[========>           ]   1.80G  --.-KB/s    in 50m 32s 
2019-05-29 16:17:23 (622 KB/s) - Read error at byte 1931163840/3871913592 (Connection timed out). Retrying.
--2019-05-29 16:17:24--  (try: 2)  http://cdn.somesite.com/storage/a0_FooBar/BarFile.dat
Connecting to cdn.somesite.com (cdn.somesite.com)|xxx.xxx.xx.xx|:80... connected.
HTTP request sent, awaiting response... 206 Partial Content
Length: 3871913592 (3.6G), 1940749752 (1.8G) remaining [application/octet-stream]
Saving to: 'a0_FooBar/BarFile.dat’
a0_FooBar/BarFile.dat  49%[+++++++++           ]   1.80G  --.-KB/s               
...
a0_FooBar/BarFile.dat 100%[+++++++++==========>]   3.61G  1.09MB/s    in 34m 44s 
2019-05-29 16:52:09 (909 KB/s) - 'a0_FooBar/BarFile.dat’ saved [3871913592/3871913592]
FINISHED --2019-05-29 17:08:52--

我认为问题可能是/s 或---s 或>s 或==>s 或|s？

但是，由于wget的输出可能会有所不同，我如何预测和避免grep的任何问题？

命令：

grep -ni --color=never -e "error" -e "fail" logfileA.txt | awk -F: '{print "Line "$1": "$2}'

预期产出：

Line 17: 2019-05-29 16:17:23 (622 KB/s) - Read error at byte 1931163840/3871913592 (Connection timed out). Retrying.

另外，ack生产线在这项工作上会更好吗？如果是这样，什么/如何？

Answer 1

WrtI assume the problem could be the /s or ---s or >s or ==>s or |s?- 不，这些字符/字符串中的任何一个都没有什么特别之处。听起来您可能有 DOS 行尾 (rn)，请参阅为什么我的工具输出会覆盖自身以及如何修复它？。既然你说with cat logfileA.txt, all I get is the last line which is garbled我想知道你是否只有rs 而没有ns 作为行尾。如果你这样做，那么tr 'r' 'n' < logfileA.txt > tmp && mv tmp logfileA.txt会解决这个问题。如果这是问题所在，那么您可以使用awk -v RS='r' 'script'将记录分隔符从默认n更改为r，然后您无需执行该tr步骤。

不过，当您使用 awk 时，您不需要 grep。这：

grep -ni --color=never -e "error" -e "fail" logfileA.txt |
awk -F: '{print "Line "$1": "$2}'

可以写成：

awk 'tolower($0) ~ /error|fail/{print "Line "NR":"$0}' logfileA.txt

但是仅 awk 版本更健壮，因为它会正确显示包含:s 的完整行，其中 grep+awk 版本会将它们截断到第一个:。

您可以通过将脚本调整为

：

awk 'tolower($0) ~ /error|fail/{sub(/r$/,""); print "Line "NR":"$0}' logfileA.txt

你可以让它作为独立的单词(而不是其他字符串的一部分，如terror或failles)来寻找错误或失败，方法是使用 GNU awk 执行此操作：

awk -v IGNORECASE=1 -v RS='r?n' '/<(error|fail)>/{print "Line "NR":"$0}' logfileA.txt

或者这个与任何尴尬：

awk 'tolower($0) ~ /(^|[^[:alnum:]_])(error|fail)([^[:alnum:]_]|$)/{sub(/r$/,""); print "Line "NR":"$0}' logfileA.txt