我正在使用一个库ya-csv,它需要一个文件或一个流作为输入,但我有一个字符串。
如何在 Node 中将该字符串转换为流?
正如@substack在 #node 中纠正我的那样,Node v10 中的新流 API 使这更容易:
const Readable = require('stream').Readable;
const s = new Readable();
s._read = () => {}; // redundant? see update below
s.push('your text here');
s.push(null);
。之后,您可以自由地管道或以其他方式将其传递给您的目标消费者。
它不像恢复器单行代码那样干净,但它确实避免了额外的依赖性。
(更新:到目前为止,在 v0.10.26 到 v9.2.1 中,如果您没有设置_read
,直接从 REPL 提示符调用push
将崩溃并出现not implemented
异常。它不会在函数或脚本中崩溃。如果不一致使您感到紧张,请包括noop
。
不要使用 Jo Liss 的简历答案。在大多数情况下,它可以工作,但就我而言,它使我失去了 4 或 5 小时的错误查找。不需要第三方模块来执行此操作。
新答案:
var Readable = require('stream').Readable
var s = new Readable()
s.push('beep') // the string you want
s.push(null) // indicates end-of-file basically - the end of the stream
这应该是完全兼容的可读流。有关如何正确使用流的详细信息,请参阅此处。
旧答案: 只需使用本机直通流:
var stream = require("stream")
var a = new stream.PassThrough()
a.write("your string")
a.end()
a.pipe(process.stdout) // piping will work as normal
/*stream.on('data', function(x) {
// using the 'data' event works too
console.log('data '+x)
})*/
/*setTimeout(function() {
// you can even pipe after the scheduler has had time to do other things
a.pipe(process.stdout)
},100)*/
a.on('end', function() {
console.log('ended') // the end event will be called properly
})
请注意,不会发出"close"事件(流接口不需要)。
从节点 10.17,流。可读有一个from
的方法,可以轻松地从任何可迭代对象(包括数组文本)创建流:
const { Readable } = require("stream")
const readable = Readable.from(["input string"])
readable.on("data", (chunk) => {
console.log(chunk) // will be called once with `"input string"`
})
请注意,至少在 10.17 和 12.3 之间,字符串本身就是可迭代对象,因此Readable.from("input string")
可以工作,但每个字符发出一个事件。Readable.from(["input string"])
将向数组中的每个项目发出一个事件(在本例中为一个项目)。
另请注意,在以后的节点(可能是 12.3,因为文档说函数当时已更改),不再需要将字符串包装在数组中。
https://nodejs.org/api/stream.html#stream_stream_readable_from_iterable_options
只需创建stream
模块的新实例并根据需要对其进行自定义:
var Stream = require('stream');
var stream = new Stream();
stream.pipe = function(dest) {
dest.write('your string');
return dest;
};
stream.pipe(process.stdout); // in this case the terminal, change to ya-csv
或
var Stream = require('stream');
var stream = new Stream();
stream.on('data', function(data) {
process.stdout.write(data); // change process.stdout to ya-csv
});
stream.emit('data', 'this is my string');
编辑:Garth的答案可能更好。
我的旧答案文本保留在下面。
若要将字符串转换为流,可以使用暂停的通过流:
through().pause().queue('your string').end()
例:
var through = require('through')
// Create a paused stream and buffer some data into it:
var stream = through().pause().queue('your string').end()
// Pass stream around:
callback(null, stream)
// Now that a consumer has attached, remember to resume the stream:
stream.resume()
有一个模块:https://www.npmjs.com/package/string-to-stream
var str = require('string-to-stream')
str('hi there').pipe(process.stdout) // => 'hi there'
另一种解决方案是将 read 函数传递给 Readable 的构造函数(参见 doc 流可读选项)
var s = new Readable({read(size) {
this.push("your string here")
this.push(null)
}});
您可以在使用s.pipe之后举例
说明在咖啡脚本中:
class StringStream extends Readable
constructor: (@str) ->
super()
_read: (size) ->
@push @str
@push null
使用它:
new StringStream('text here').pipe(stream1).pipe(stream2)
我厌倦了每六个月重新学习一次,所以我刚刚发布了一个 npm 模块来抽象实现细节:
https://www.npmjs.com/package/streamify-string
这是模块的核心:
const Readable = require('stream').Readable;
const util = require('util');
function Streamify(str, options) {
if (! (this instanceof Streamify)) {
return new Streamify(str, options);
}
Readable.call(this, options);
this.str = str;
}
util.inherits(Streamify, Readable);
Streamify.prototype._read = function (size) {
var chunk = this.str.slice(0, size);
if (chunk) {
this.str = this.str.slice(size);
this.push(chunk);
}
else {
this.push(null);
}
};
module.exports = Streamify;
str
是在调用时必须传递给构造函数的string
,并将由流作为数据输出。 根据文档,options
是可以传递给流的典型选项。
根据Travis CI的说法,它应该与大多数版本的节点兼容。
下面是 TypeScript 中一个整洁的解决方案:
import { Readable } from 'stream'
class ReadableString extends Readable {
private sent = false
constructor(
private str: string
) {
super();
}
_read() {
if (!this.sent) {
this.push(Buffer.from(this.str));
this.sent = true
}
else {
this.push(null)
}
}
}
const stringStream = new ReadableString('string to be streamed...')
在 NodeJS 中,您可以通过以下几种方式创建可读流:
解决方案 1
您可以使用fs
模块来做到这一点。函数fs.createReadStream()
允许您打开可读流,您所要做的就是传递文件的路径以开始流式传输。
const fs = require('fs');
const readable_stream = fs.createReadStream('file_path');
解决方案 2
如果您不想创建文件,可以创建内存中流并对其进行某些操作(例如,将其上传到某处)。您可以使用stream
模块执行此操作。您可以从模块导入Readable
stream
并且可以创建可读流。创建对象时,还可以实现read()
用于从内部缓冲区读取数据的方法。如果没有可供读取的数据,则返回null
。可选的size
参数指定要读取的特定字节数。如果未指定size
参数,则将返回内部缓冲区中包含的所有数据。
const Readable = require('stream').Readable;
const readable_stream = new Readable({
read(size) {
// ...
}
});
解决方案 3
当您通过网络获取某些内容时,可以像流一样获取(例如,您正在从某个 API 获取 PDF 文档)。
const axios = require('axios');
const readable_stream = await axios({
method: 'get',
url: "pdf_resource_url",
responseType: 'stream'
}).data;
解决方案 4
第三方包可以支持将流创建为一项功能。这是一种aws-sdk
通常用于将文件上传到S3
的软件包的方法。
const file = await s3.getObject(params).createReadStream();
JavaScript 是鸭型的,所以如果你只是复制可读流的 API,它会正常工作。实际上,您可能无法实现其中的大多数方法,或者只是将它们保留为存根;您所需要的只是库使用的内容。您也可以使用 Node 的预构建EventEmitter
类来处理事件,因此您不必自己实现addListener
之类的。
以下是在 CoffeeScript 中实现它的方法:
class StringStream extends require('events').EventEmitter
constructor: (@string) -> super()
readable: true
writable: false
setEncoding: -> throw 'not implemented'
pause: -> # nothing to do
resume: -> # nothing to do
destroy: -> # nothing to do
pipe: -> throw 'not implemented'
send: ->
@emit 'data', @string
@emit 'end'
然后你可以像这样使用它:
stream = new StringStream someString
doSomethingWith stream
stream.send()