雅虎财经查询速度

Question

我目前正在做一个项目，该项目涉及查询雅虎财经的许多不同的股票代码。 瓶颈是从雅虎获取数据，所以我想知道是否有办法加快速度。

如果我使用多台计算机进行查询，然后聚合数据，这会有所帮助吗？ 我只有一台物理机器;我该怎么做呢？

谢谢！

编辑：目前，我正在使用Node.js，yahoo-finance和Q.deferred向雅虎询问历史数据。 然后，一旦所有承诺都实现了（对于每个股票代码），我正在执行 Q.all（） 来持久化数据。

    var data = [];
    tickers = ["goog", "aapl", ...];
    ...
    Q.all(_.map(tickers, function(symbol) { 
        return getYahooPromise(symbol);
     }))
    .done( function() { persistData(data) });

getYahooPromise检索股票代码的数据并将其推送到数据数组中。 解决所有承诺后，数据将保留在MySQL数据库中。

第二次编辑：更多代码：

var sequentialCalls = [];
for ( var i = 0; i < tickers.length / chunkSize; i++ ) {
    sequentialCalls.push( persistYahooChunk );
}
sequentialCalls.push( function(callback) { 
    connection.end(); 
    callback();
});
async.series( sequentialCalls )

exports.persistYahooChunk = function(callback) {
console.log("Starting yahoo query");
var currentTickers = tickers.slice(currentTickerIndex,currentTickerIndex + chunkSize);

return yahooFinance.historical( {
    symbols: currentTickers,
    from: "2015-01-28",
    to: "2015-02-05"
}).then( function(result) {
    console.log("Query " + currentTickerIndex +  "/" + tickers.length + "completed");
    currentTickerIndex += chunkSize;
    //add valid data
    var toPersist = _.map(result, function(quotes, symbol) {
            return [symbol, quotes.length != 0 ];
    });

    var query = "INSERT INTO `ticker` (`symbol`, `valid`) VALUES ?";
    connection.query(query, [toPersist], function(err, result) {
        if (err) {
            console.log (err);
        }
        //console.log(result);
        callback();
    });
});

}

Answer 1

瓶颈是因为您为每个股票代码执行一个查询。

根据您需要提取的数据，如果您可以执行包含所有股票代码的单个查询，它会快得多。

如果您需要

通过单个查询获取股票代码列表的所有当前价格，则以下示例：

http://finance.yahoo.com/webservice/v1/symbols/A,B,C,D,E/quote?format=json