从转义的json行中获取唯一值



嗨,我有一个巨大的文件,里面有转义的json行,其中包含这样的内容:

"format":"html","other":"foo"....
"format":"txt","other":"buz"....
"format":"html","other":"bar"....

我怎样才能得到"的所有唯一值;格式"?我需要像一样的东西

"format":"html"
"format":"txt"

假设您的文件内容如您所示,即行的开头与这三个示例类似(但值在每行上都继续,如...所示(,并给定标记";awk";你用过的,怎么样:

awk -F, '{formats[$1]=1} END {for (f in formats) print f}' yourfile.dat

也就是说,将sortawk结合使用可能是优选的:

awk -F, '{print $1}' yourfile.dat | sort -u

考虑到您提供的数据,这两种方法都会产生以下结果:

"format":"html"
"format":"txt"

最新更新