关于Perl通过HTTP在线阅读网页

Question

我有一个巨大的网页，大约是5G大小。我希望我可以直接（远程）阅读网页的内容，而无需下载整个文件。我已使用Open文件处理程序打开HTTP内容。但是给出的错误消息是 No such files or directory .我尝试使用LWP::Simple，但是如果我使用整个内容get内存不足。我想知道是否有一种方法可以远程open此内容，并逐行阅读。谢谢你的帮助。

Answer 1

您可以尝试使用 LWP：：UserAgent。request 方法允许您指定 CODE 引用，这将允许您在数据传入时对其进行处理。

#!/usr/bin/perl -w
use strict;
use warnings;
use LWP::UserAgent ();
use HTTP::Request ();
my $request = HTTP::Request->new(GET => 'http://www.example.com/');
my $ua = LWP::UserAgent->new();
$ua->request($request, sub {
        my ($chunk, $res) = @_;
        print $chunk;
        return undef;
});

从技术上讲，该函数应该返回内容而不是 undef，但如果返回 undef，它似乎有效。根据文档：

"content"函数应在调用时返回内容。 内容函数将被反复调用，直到它返回 空字符串，表示没有更多内容。

我还没有在大文件上尝试过这个，你需要编写自己的代码来处理作为任意大小的块传入的数据。

Answer 2

如果文件已经部分下载，则此Perl代码将从URL下载文件并可能继续。

此代码要求服务器在请求HEAD返回文件大小（又名 content-length），并且还要求服务器支持相关 URL 上的字节范围。

如果您想对下一个块进行一些特殊处理，只需在下面覆盖它：

use strict;
use LWP::UserAgent;
use List::Util qw(min max);
my $url  = "http://example.com/huge-file.bin";
my $file = "huge-file.bin";
DownloadUrl($url, $file);
sub DownloadUrl {
    my ($url, $file, $chunksize) = @_;
    $chunksize ||= 1024*1024;
    my $ua = new LWP::UserAgent;
    my $res = $ua->head($url);
    my $size = $res->headers()->{"content-length"};
    die "Cannot get size for $url" unless defined $size;
    open FILE, ">>$file" or die "ERROR: $!";      
    for (;;) {
        flush FILE;
        my $range1 = -s FILE;        
        my $range2 = min($range1 + $chunksize, $size);
        last if $range1 eq $range2;
        $res = $ua->get($url, Range => "bytes=$range1-$range2");
        last unless $res->is_success();
        # process next chunk:
        print FILE $res->content();
    }
    close FILE;
}