HTML:: table提取HTTPS站点

Question

我创建了一个perl脚本，使用HTML::TableExtract从站点上的表中抓取数据。

它是伟大的转储表数据为不安全的网站(即HTTP网站)，但当我尝试HTTPS网站，它不工作(tables_report行只是打印空白..它应该打印一堆表数据)。

但是，如果我获取该HTTPS页面的内容，并将其保存到html文件中，然后将其发布到一个不安全的HTTP站点(并将我的内容更改为指向该HTTP页面)，则此脚本将按预期工作。

谁知道我怎么能让这个工作在HTTPS?

#!/usr/bin/perl
use lib qw( ..); 
use HTML::TableExtract; 
use LWP::Simple; 
use Data::Dumper; 
# DOESN'T work:
my $content = get("https://datatables.net/"); 
# DOES work:
#   my $content = get("http://www.w3schools.com/html/html_tables.asp"); 
my $te = HTML::TableExtract->new();
$te->parse($content);
print $te->tables_report(show_content=>1);
print "n";
print "Endn";

上面提到的$content网站只是例子。这些不是我真正要提取的网站，但它们的工作方式就像我真正想要抓取的网站一样。

我想我的一个选择是使用perl先在本地下载页面并从中提取，但我宁愿不这样做，如果有一个更简单的方法来做到这一点(任何人帮助，请不要花费任何疯狂的时间想出一个复杂的解决方案!)。

Answer 1

问题与LWP::Simple使用的用户代理有关，该代理在该站点停止。使用LWP::UserAgent并设置允许的用户代理，如下所示:

use strict;
use warnings;
use LWP::UserAgent;
my $ua = LWP::UserAgent->new;
my $url = 'https://datatables.net/';
$ua->agent("Mozilla/5.0");  # set user agent
my $res = $ua->get($url);   # send request
# check the outcome
if ($res->is_success) {
   # ok -> I simply print the content in this example, you should parse it
   print $res->decoded_content;
}
else {
   # ko
   print "Error: ", $res->status_line, "n";
}

Answer 2

这是因为datatable .net正在阻止LWP::Simple请求。您可以使用下面的代码来确认:

#!/usr/bin/perl
use strict;
use warnings;
use LWP::Simple; 
print is_success(getprint("https://datatables.net/"));

输出:

$ perl test.pl 
403 Forbidden <URL:https://datatables.net/>

---

你可以尝试使用LWP::RobotUA。下面的代码对我来说很好。

#!/usr/bin/perl
use strict;
use warnings;
use LWP::RobotUA;
use HTML::TableExtract;
my $ua = LWP::RobotUA->new( 'bot_chankey/1.1', '[e-mail]' );
$ua->delay(5/60); # 5 second delay between requests
my $response = $ua->get('https://datatables.net/');
if ( $response->is_success ) {
    my $te = HTML::TableExtract->new();
    $te->parse($response->content);
    print $te->tables_report(show_content=>1);
}
else {
    die $response->status_line;
}

Answer 3

最后，Miguel和Chankey的回答提供了我的解决方案。Miguel构成了我的大部分代码，所以我选择它作为答案，但这里是我的"最终"代码(还有很多事情要做，但这是我无法弄清楚的…其余的应该没有问题。

我不能让米格尔/钱基提到的任何一个工作，但他们99%的方式让我…然后我只需要弄清楚如何绕过错误"证书验证失败"。我马上用Miguel的方法找到了答案，所以最后，我主要使用了他的代码，但两个回答都很棒!

#!/usr/bin/perl
use lib qw( ..); 
use strict;
use warnings;
use LWP::UserAgent;
use HTML::TableExtract; 
use LWP::RobotUA;
use Data::Dumper; 
my $ua = LWP::UserAgent->new(
   ssl_opts => { SSL_verify_mode => 'SSL_VERIFY_PEER' },
);
my $url = 'https://WebsiteIUsedWasSomethingElse.com';
$ua->agent("Mozilla/5.0");  # set user agent
my $res = $ua->get($url);   # send request
# check the outcome
if ($res->is_success) 
{   
   my $te = HTML::TableExtract->new();
   $te->parse($res->content);
   print $te->tables_report(show_content=>1);
}
else {
   # ko
   print "Error: ", $res->status_line, "n";
}

Answer 4

my $url = "https://ohsesfire01.summit.network/reports/slices";
my $user = 'xxxxxx';
my $pass = 'xxxxxx';
my $ua = new LWP::UserAgent;
my $request = new HTTP::Request GET=> $url;
# authenticate
$request->authorization_basic($user, $pass);
my $page = $ua->request($request);