正确使用awk，sort和uniq

Question

我正在处理一个大的（500MB+）.csv文件。我想一次打印出给定列的唯一值，以便于查看。

awk F, '{print $}' sort | uniq

这会产生一个快速滚动的列表，该列表切断了我感兴趣的 75% 的值。

Answer 1

尝试下面的awk命令，它将保持原始顺序以导出#1列上的唯一内容（您可以轻松调整到另一列）

awk -F, '!a[$1]++' file

如果您需要对结果进行排序，请在awk之后添加排序命令，这将为您节省大量时间。

awk -F, '!a[$1]++' file |sort