wget文件夹中的所有文件跳过前10000个文件左右



我正在使用wget将文件从一台服务器上的文件夹传输到另一台服务器。但问题是wget会被终止,当我重新运行命令时,它从第一个文件开始,尽管我使用-nc跳过存在的文件,但它仍然遍历所有文件,然后跳过存在的那些文件,因此跳过这些文件需要花费太多时间。

我想知道有没有任何方法可以让wget直接从新文件开始下载,而不是从顶部检查每个文件。

我希望我已经把我的问题说清楚了。如果不能,请原谅我。

这是我正在使用的命令:wget-H-r--级别=1-k-p-nchttp://www.example.com/images/

您可以尝试使用拒绝列表来跳过已经下载的文件。

如果你所有的文件都在同一个目录中,它可能很简单:

wget -R "`ls -1 | tr "n" ,`" <your own options>

我不确定部分下载会发生什么。

相关内容

最新更新