我正在尝试运行一个命令来并行下载 3000 个文件。我正在使用Cygwin + Windows。
在终端中通过WGET下载单个文件：
wget --no-check-certificate --content-disposition --load-cookies cookies.txt -p https://username:password@website.webpage.com/folder/document/download/1?type=file
允许我以正确的格式单独下载 ID 为 1 的文件（只要--content-disposition在命令中）。
我迭代此 REST API 调用以下载整个文件夹（3000 个文件）。这工作正常，但很慢。
FOR /L %i in (0,1,3000) do wget --no-check-certificate --content-disposition --load-cookies cookies.txt -p https://username:password@website.webpage.com/folder/document/download/%i?type=file
现在我正在尝试在Cygwin中并行运行该程序。
seq 3000 | parallel -j 200 wget --no-check-certificate --content-disposition --load-cookies cookies.txt -p https://username:password@website.webpage.com/folder/document/download/{}?type=file
它运行，但文件名和格式丢失（而不是"index.html" ，例如，我们可能会得到"4@type=file"作为文件名）。
有没有办法解决这个问题？
目前还不清楚您希望它们命名什么。让我们假设您希望将它们命名为：索引。[1-3000].html
seq 3000 | parallel -j 200 wget -O index.{}.html --no-check-certificate --content-disposition --load-cookies cookies.txt -p https://username:password@website.webpage.com/folder/document/download/{}?type=file
我的猜测是，这是由--content-disposition是实验性的引起的，CygWin使用的wget可能比FOR循环使用的wget旧。要检查该运行，请执行以下操作：
wget --version
在 CygWin 和 CygWin 之外（即运行 FOR 循环的地方）。