wget 日志仅成功下载的 URL

Question

我只想记录成功下载的网址。我尝试使用 -o log.txt，但那是记录所有内容，例如标头、ip...

我只想要一个简单的列表，例如

http://example/
http://example/toto.html
http://example/sub/tata.html

我该怎么做？

我的wget ：

wget http://example.com/ -r -v -S -R js,css,png,gif,jpg,pdf -o log.txt

Answer 1

你可以尝试这样的事情：

wget http://example.com/ -r -nv -S -R js,css,png,gif,jpg,pdf 2>&1 | perl -ne 's|^.*URL:(https?://.*?) .*|1|; print "$1n"'

请注意我使用 -nv（无详细）而不是 -v。 我还将输出从stderr重定向到stdout，因此Perl可以在管道中处理它。 断开的链接在 wget 输出中具有不同的格式，因此您只能获得成功下载的链接（这是您要求的）。