我想为研究建立一个自定义的单词列表,从而抓取特殊的网站。我想:从命令行使用Lynx与以下命令:
lynx -dump -listonly "example.com" | grep -E -o "http://example.com.*|http://www.example.com.*" | sort | uniq > output.txt
我不想写 5000 x 这个命令。我想使用带有网站的.txt文件,该文件将由lynx命令读取,所有"输出"都应放在一个文件中。你能帮我解决这个问题吗?我是 Linux/Ubuntu 的菜鸟,对编码一无所知。对不起我的语言,我是德语。
你的意思是像
cat yourdomains.txt | while read domain
do
lynx -dump -listonly "$domain" |
grep -E -o "http://${domain}.*|http://www.${domain}.*"
done | sort | uniq > output.txt
?