假设我需要通过HTTP从远程主机下载大量小文件，并且我有一个要下载的URL列表。还假设远程主机只允许K连接到我的本地网络。我的本地网络有M台计算机，我想在它们之间均匀分布文件。我所有的电脑都运行Linux。现在我想知道如何组织下载。
现在我假设一台计算机足以处理所有K连接并将所有这些文件存储在其本地文件系统中。因此，我会分配一台计算机将文件"下载"到M以本地主机命名M文件夹中。本地主机将文件从这些文件夹复制（移动）到其文件系统。有意义吗？实现它的最简单方法是什么？
您的方法很好，但假设所有文件的大小相同，并且所有计算机都具有相同的性能。如果一台计算机完成了文件，而另一台计算机仍在进行一半，会发生什么？在这种情况下，虽然您有可用的处理器，但它将处于空闲状态。但是要实现这一点，您将需要分布式计算，这将更加复杂，所以我想说，如果这是一次性任务，或者如果总时间不大，那么您的方法应该没问题，否则您需要评估分布式方法。