删除文件中句子中的重复单词

Question

如何从文件中的句子中删除重复的单词，每个句子都写在一行中。

谢谢

文件中有这些句子

hello every body hello
word I should remove the word
how can can i remove it ?

预期的输出应该是

hello every body
word I should remove the
how can i remove it ?

Answer 1

你可以做：

awk '{for(i=1;i<=NF;i++) if(++arr[$i]==1) print $i}' file

打印：

hello
every
body
word
I
should
remove
the
how
can
i
it
?

维护线路结构：

awk '{for(i=1;i<=NF;i++) 
if(++arr[$i]==1) 
printf "%s%s", $i, OFS
print ""}' file

打印：

hello every body 
word I should remove the 
how can i it ? 

如果重复数据消除仅基于每行：

awk '{delete arr
for(i=1;i<=NF;i++) 
if(++arr[$i]==1) printf "%s%s", $i, OFS
print ""}' file

打印：

hello every body 
word I should remove the 
how can i remove it ?