我想知道是否有人知道一个开源的URL同步/下载引擎，或者如果我最终会写我自己的一个。
预期功能:—提供要在本地磁盘存储上同步的HTTP url的纯格式列表-引擎照顾同步URL内容作为有效(头部请求检查更改)和高效(所有下载执行使用Gzip压缩)-最好它会足够聪明，通过识别频繁变化的url来优化其行为
有人知道这种引擎的类似实现吗?最好是用Perl?
您看过LWP附带的LWP -mirror程序吗?那可能是个不错的开始。或者，wget有更多的特性。
javascript python java c# php android html jquery c++ css ios sql mysql arrays asp.net json python-3.x ruby-on-rails .net sql-server django objective-c excel regex ruby linux ajax iphone xml vba spring asp.net-mvc database wordpress string postgresql wpf windows xcode bash git oracle list vb.net multithreading eclipse algorithm macos powershell visual-studio image forms numpy scala function api selenium