有效处理 LWP 超时

Question

我正在使用LWP从网页下载内容，我想限制它等待页面的时间。这是在 lwp 中完成的，如下所示：

my $ua = LWP::UserAgent->new;
$ua->timeout(10);
$ua->get($url);

这工作正常，除了每当超时达到其限制时，它就会死亡，我无法继续使用脚本！我真的很想正确处理此超时，以便我可以记录 url 超时，然后继续下一个超时。有谁知道如何做到这一点？谢谢！

Answer 1

LWP：：Agent 的get()返回一个 HTTP：：Response 对象，可用于检查错误：

use LWP::Agent;
use HTTP::Status ();
my $ua = LWP::UserAgent->new;
$ua->timeout(10);
my $response = $ua->get($url);
if ($response->is_error) {
    printf "[%d] %sn", $response->code, $response->message;
    # record the timeout
    if ($response->code == HTTP::Status::HTTP_REQUEST_TIMEOUT) {
        ...
    }
}

顺便说一句，现在更好的做法是使用 Try：：Tiny 而不是 eval {...} 。它给你try {...} catch {...}.它解决了检查if $@的一些问题（请参阅Try::Tiny文档中的背景部分）。

Answer 2

对于大多数目的，LWP：：UserAgent 的超时就足够了，但它确实有一些缺点......它适用于每个系统调用，而不是它们的聚合。 如果你真的需要一个固定的超时期限，这是LWPx：:P aranoidAgent需要注意的事情之一。

Answer 3

您可以使用 eval 块在 Perl 中执行相当于 try{} catch {} 的操作：

http://perldoc.perl.org/functions/eval.html