使用Node.js和SSH2从SFTP服务器读取文件

Question

我在Node.js中处理读流时遇到了一个非常奇怪的问题。我正在使用SSH2在我和sftp服务器之间创建一个sftp连接。然后，我尝试从sftp流创建一个读取流。从读取流发出的"data"事件中，我将数据附加到一个数组中。当读取流的"关闭"事件发生时，我会调用Buffer.cocat来创建concat，将我检索到的所有数据块连接到一个缓冲区中。这与在堆栈溢出时提出的其他问题中描述的技术相同。例如这里。但是，我无法使用我检索到的数据。缓冲区的大小似乎比我试图检索的文件小了32个字节(通过计算检索到的数据的长度)。这可能与我的SFTP连接有关吗？或者我如何创建我的阅读流？

如果重要的话，文件的类型是zip。当我在读取文件到缓冲区后尝试解压缩文件(在node.js中和手动)时，它不起作用。

经过调查，我发现：

1. 当我在文件上使用readdir时，文件的大小是正确的
2. 在我的开发FTP服务器上使用FTP(JSFTP)，使用上面相同的技术也可以很好地工作

如有任何建议，不胜感激！

这是我的代码：

var Client = require('ssh2').Client;
var m_ssh2Credentials = {
host: config.ftpHostName,
port: config.ftpPort,
username: config.ftpUser,
password: config.ftpPassword,
readyTimeout: 20000,
algorithms: { cipher: ["3des-cbc", "aes256-cbc", "aes192-cbc","aes128-cbc"]}
};
...
var conn = new Client();
var dataLength = 0;
conn.on('ready', function() {
conn.sftp(function(err, sftp) {
if (err) {
writeToErrorLog("downloadFile(): Failed to open SFTP connection.");
} else {
writeToLog("downloadFile(): Opened SFTP connection.");
}
var streamErr = "";
var dataLength = 0;
var stream = sftp.createReadStream(config.ftpPath + "/" + m_fileName)
stream.on('data', function(d){
data.push(d);
dataLength += d.length;
});
.on('error', function(e){
streamErr = e;
})
.on('close', function(){
if(streamErr) {
writeToErrorLog("downloadFile(): Error retrieving the file: " + streamErr);
} else {
writeToLog("downloadFile(): No error using read stream.");
m_fileBuffer = Buffer.concat(data, dataLength);
writeToLog("Data length: " + dataLength);
writeToLog("downloadFile(): File saved to buffer.");
}
conn.end();
});
})
})
.on('error', function(err) {
writeToErrorLog("downloadFile(): Error connecting: " + err);
}).connect(m_ssh2Credentials);

Answer 1

因此，经过大量调查，我终于意识到在"数据"事件中传输的最后几位数据有问题。据我所知，这似乎是读取流实现中的一个错误。我能够通过使用SSH2库中更简单的函数(open、fstat、read)来解决这个问题。这个解决方案对我有效。如果其他人遇到同样的问题，我想分享这个解决方案。

工作代码：

sftp.open(config.ftpPath + "/" + m_fileName, "r", function(err, fd) {
sftp.fstat(fd, function(err, stats) {
var bufferSize = stats.size,
chunkSize = 16384,
buffer = new Buffer(bufferSize),
bytesRead = 0,
errorOccured = false;
while (bytesRead < bufferSize && !errorOccured) {
if ((bytesRead + chunkSize) > bufferSize) {
chunkSize = (bufferSize - bytesRead);
}
sftp.read(fd, buffer, bytesRead, chunkSize, bytesRead, callbackFunc);
bytesRead += chunkSize;
}
var totalBytesRead = 0;
function callbackFunc(err, bytesRead, buf, pos) {
if(err) {
writeToErrorLog("downloadFile(): Error retrieving the file.");
errorOccured = true;
sftp.close(fd);
}
totalBytesRead += bytesRead;
data.push(buf);
if(totalBytesRead === bufferSize) {
m_fileBuffer = Buffer.concat(data);
writeToLog("downloadFile(): File saved to buffer.");
sftp.close(fd);
m_eventEmitter.emit(' downloadFile_Completed ');
}
}
})
});   

Answer 2

如果字节大小(或块大小)不是强制性的，并且您只需要获取文件，那么猜测有一种更好、更轻、更快的方法(是的…nodejs方法！)。这就是我用来复制文件的方式：

function getFile(remoteFile, localFile) {
conn.on('ready', function () {
conn.sftp(function (err, sftp) {
if (err) throw err;
var rstream = sftp.createReadStream(remoteFile);
var wstream = fs.createWriteStream(localFile);
rstream.pipe(wstream);
rstream.on('error', function (err) { // To handle remote file issues
console.log(err.message);
conn.end();
rstream.destroy();
wstream.destroy();
});
rstream.on('end', function () {
conn.end();
});
wstream.on('finish', function () {
console.log(`${remoteFile} has successfully download to ${localFile}!`);
});
});
}).connect(m_ssh2Credentials);
}

作为替代方案，您也可以尝试sftp.fastGet()，它使用并行读取来快速获取文件。fastGet()为您提供了一种显示下载进度的方法(如果需要的话)，此外还提供了配置并行读取次数和块大小的方法。要了解更多信息，请打开此SFTPStream文档并搜索fastGet。

这里有一个非常快速的代码：

sftp.fastGet(remoteFile, localFile, function (err) {
if (err) throw err;
console.log(`${remoteFile} has successfully download to ${localFile}!`);
}

嗨！