这是一个有点棘手的问题。
我对javascript非常熟悉,但是我正在做一个使用PhantomJS和CasperJS自动抓取网站的项目。这些对我来说是全新的主题。
我能够弄清楚如何使用 Casper 和导航、登录页面等,但是它很不奇怪,因为一般流程似乎是:
casper.start('http://google.fr/');
casper.then(function() {
this.echo("I'm in your google.");
});
casper.then(function() {
this.echo('Now, let me write something');
});
casper.then(function() {
this.echo('Oh well.');
});
casper.run();
我的问题是我想对网站做各种各样的事情,这取决于它获得的数据。我无法预先布局导航顺序而不对其进行更改。我希望这是有道理的。
为了解决这个问题,我创建了一个带有内置函数的 Javascript Navigator 对象。我的总体概念是:
navigator.logIn(function()
{
navigator.actionA(parameters, function()
{
if (navigator.data.a == navigator.data.b) {
navigator.actionB();
} else {
navigator.actionC();
}
});
});
并且嵌入在这些函数中的每一个中都会嵌入卡斯珀函数。
这是我实际代码的缩短版本,事情开始变得时髦:
var casper = require('casper').create({
clientScripts: [ 'jquery.min.js' ],
onError: function(self, m) {
console.log('FATAL:' + m);
self.exit();
},
});
var navigator = new _Navigator();
function _Navigator() { }
_Navigator.prototype.logIn = function(aCallback)
{
var self = this;
casper.start('https://website/login.asp', function()
{
if (1 == 1) {
this.evaluate(function() {
$("input[name=blah]").val('blahblah');
});
// ... A LOT MORE CODE
aCallback();
}
});
}
_Navigator.prototype.search = function(aDataSet, aCallback)
{
var self = this;
console.log('this works');
casper.then(function(){
console.log('this works');
});
var firstName = 'foobar';
casper.then(function(){
console.log('this works');
this.evaluate(function()
{
console.log('this no longer works!!');
$('input[id=blah]').val(firstName);
aCallback();
});
});
}
navigator.logIn(function() {
// LOG IN RUNS, AND CALLS BACK SUCCESSFULLY...
navigator.search({'dataset'}, function()
{
console.log('This never runs');
});
});
casper.run();
你会注意到,在 navigator.login 函数中,我调用了 casper.start();在这种情况下,评估函数工作正常,但是我在 casper.start() 中做了一个回调函数;在我的回调中,我调用下一个函数 navigator.search,我想它在技术上仍在 casper.start 中执行?
当我尝试在第一个回调函数调用的这个新函数中运行 casper.evaluate 时,除了 casper.evaluate 不再起作用之外,一切似乎都很好!它似乎吃掉了该功能,没有打印任何控制台日志或任何东西。
我已经尝试了所有方法。我不确定如何正确执行此操作。有人对我做错了什么有任何建议吗?谢谢。
这已经很老了,但是: 这里发生的事情是两个问题的组合:
casper.evaluate()
似乎吃掉了当前堆栈中的所有错误 -onError
不会从.evaluate()
回调中运行。.evaluate
中使用的函数不是标准闭包 - 它们是沙盒化的,并且无法访问其范围之外的变量,除非作为显式参数传递给casper.evaluate
。因此,在您调用aCallback()
的评估函数中,作用域中没有aCallback
,并且该函数将失败(静默)并显示ReferenceError
。
casper.evaluate() 是无头浏览器会话的窗口。传递给评估的函数中发生的任何情况都不会显示在本地控制台上。但是,您可以记录从评估返回的任何值,也可以通过设置侦听器来打印所有输出:
casper.on('remote.message', function(message) {
console.log(message);
});