受监视的流类

Question

我正在尝试创建一个流对象，该对象在将数据写入时触发回调函数。

class MonitoredStream():
    def __init__(self, outstream, callback):
        self.outstream = outstream
        self.callback = callback
    def write(self, s):
        self.callback(s)
        self.outstream.write(s)
    def __getattr__(self, attr):
        return getattr(self.outstream, attr)

当我直接调用 write 方法时，这工作正常，但当我将子进程的输出挂接到流时，我也希望它也能工作。 例如：

def f(s):
    print("Write")
p = sub.Popen(["sh", "test.sh"], stdout=MonitoredStream(sys.stdout, f))
p.communicate()

这只会将输出直接发送到 sys.stdout，完全绕过写入函数。 有没有办法也可以监视此输出？

Answer 1

我相信

这里的问题是subprocess.Popen不使用管道的 Python 接口 - 而是获取文件描述符，然后使用它直接写入管道，当您提供stdout管道的属性时，这意味着它使用它，绕过您的代码。

我解决这个问题的最佳猜测是制作一个新的中间管道，位于中间，让您自己处理流。我会将其实现为上下文管理器：

import sys
import os
from subprocess import Popen
from contextlib import contextmanager
@contextmanager
def monitor(stream, callback):
    read, write = os.pipe()
    yield write
    os.close(write)
    with os.fdopen(read) as f:
        for line in f:
            callback(line)
            stream.write(line)
def f(s):
    print("Write")
with monitor(sys.stdout, f) as stream:
    p = Popen(["ls"], stdout=stream)
    p.communicate()

当然，尽管您仍然可以使用类：

import sys
import os
from subprocess import Popen
class MonitoredStream():
    def __init__(self, stream, callback):
        self.stream = stream
        self.callback = callback
        self._read, self._write = os.pipe()
    def fileno(self):
        return self._write
    def process(self):
        os.close(self._write)
        with os.fdopen(self._read) as f:
            for line in f:
                self.callback(line)
                self.stream.write(line)
def f(s):
    print("Write")
stream = MonitoredStream(sys.stdout, f)
p = Popen(["ls"], stdout=stream)
p.communicate()
print(stream.process())

虽然我觉得这不太优雅。