将数据从Sails.js中的文件管道传输到渲染页面

Question

我的应用程序需要读取一个大型数据集，并将其传输到客户端以使用D3.js进行操作。问题是，在大型数据集上，读取/加载文件内容可能需要一段时间。我想使用流来解决这个问题。然而，我不确定如何在Sails框架的背景下做到这一点。

我想做的是读取文件的内容，并通过管道将其传输到渲染页面。然而，如果我使用res.view('somePage', { data: thePipedData });之类的东西，我不知道如何通过管道传输。

我现在有这样的东西：

var datastream = fs.createReadStream(path.resolve(DATASET_EXTRACT_PATH, datatype, dataset, dataset + '.csv'));
datastream.pipe(res); 
...
return res.view('analytics', { title: 'Analytics', data: ??? });

最好的方法是什么？

Answer 1

根据您的示例，最好的做法似乎是设置一个单独的端点来只提供数据，并通过常规的<script>标记将其包含在客户端上。

MyDataController.js

getData: function(req, res) {
    /* Some code here to determine datatype and dataset based on params */
    // Wrap the data in a Javascript string
    res.write("var theData = '");
    // Open a read stream for the file
    var datastream = fs.createReadStream(
        path.resolve(DATASET_EXTRACT_PATH, datatype, dataset, dataset + '.csv')
    );
    // Pipe the file to the response.  Set {end: false} so that res isn't closed
    // when the file stream ends, allowing us to continue writing to it.
    datastream.pipe(res, {end: false});
    // When the file is done streaming, finish the Javascript string
    datastream.on('end', function() {
        res.end("';");
    });
}

MyView.ejs

<script language="javascript" src="/mydata/getdata?datatype=<%=datatype%>&etc.."></script>

MyViewController.js

res.view('analytics', {datatype: 'someDataType', etc...});

这一策略的一个细微变化是使用JSONP风格的方法；与其在数据控制器操作中将数据包装在变量中，不如将其包装在函数中。然后，您可以通过AJAX调用端点来获取数据。无论哪种方式，您都可以快速加载页面，因为大型数据集是单独加载的，但使用JSONP变体，您也可以在等待数据时轻松显示加载指示符。