C语言 在 python 中将标准输出设置为非阻塞

Question

事先警告：我出于好奇在这里四处闲逛。我没有具体的理由去做我在下面做的事情！

以下是在Python 2.7.13上完成的MacOS 10.12.5

我正在用python进行黑客攻击，我认为看看如果我stdout无阻塞会发生什么会很有趣

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)

呼吁fcntl绝对是成功的。然后，我尝试写入大量数据(大于 OSX 上管道的最大缓冲区大小 - 即 65536 字节)。我以各种方式做到这一点，并得到不同的结果，有时是例外，有时似乎是硬失败。

案例1

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
sys.stdout.write("A" * 65537)
except Exception as e:
time.sleep(1)
print "Caught: {}".format(e)
# Safety sleep to prevent quick exit
time.sleep(1)

这总是在Caught: [Errno 35] Resource temporarily unavailable引发异常。我认为是有道理的。更高级别的文件对象包装器告诉我写入调用失败。

案例2

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
sys.stdout.write("A" * 65537)
except Exception as e:
print "Caught: {}".format(e)
# Safety sleep to prevent quick exit
time.sleep(1)

这有时会抛出异常Caught: [Errno 35] Resource temporarily unavailable或者有时没有捕获异常，我看到以下输出：

close failed in file object destructor:
sys.excepthook is missing
lost sys.stderr

案例3

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
sys.stdout.write("A" * 65537)
except Exception as e:
print "Caught: {}".format(e)
# Safety sleep to prevent quick exit
time.sleep(1)
print "Slept"

这有时会抛出异常Caught: [Errno 35] Resource temporarily unavailable或者有时没有捕获异常，我只看到"睡了"。似乎通过print"睡着"，我没有收到案例 2 的错误消息。

案例4

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
os.write(sys.stdout.fileno(), "A" * 65537)
except Exception as e:
print "Caught: {}".format(e)
# Safety sleep to prevent quick exit
time.sleep(1)

总是没事的！

案例5

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
try:
print os.write(sys.stdout.fileno(), "A" * 65537)
except Exception as e:
print "Caught: {}".format(e)
# Safety sleep to prevent quick exit
time.sleep(1)

这有时没问题，有时打印close failed in file object destructor错误消息。

我的问题是，为什么这在 python 中会这样失败？我在这里做了什么根本上不好的事情——无论是用 python 还是在系统级别？

似乎不知何故，当写入已经失败时过早写入标准会导致错误消息。该错误似乎并不例外。不知道它来自哪里。

注：注：我可以用 C 编写等效的程序，它工作正常：

#include <stdio.h>
#include <stdlib.h>
#include <memory.h>
#include <sys/fcntl.h>
#include <unistd.h>
int main(int argc, const char * argv[])
{
const size_t NUM_CHARS = 65537;
char buf[NUM_CHARS];
// Set stdout non-blocking
fcntl(fileno(stdout), F_SETFL, O_NONBLOCK);
// Try to write a large amount of data
memset(buf, 65, NUM_CHARS);
size_t written = fwrite(buf, 1, NUM_CHARS, stdout);
// Wait briefly to give stdout a chance to be read from
usleep(1000);
// This will be written correctly
sprintf(buf, "nI wrote %zd bytesn", written);
fwrite(buf, 1, strlen(buf), stdout);
return 0;
}

Answer 1

这很有趣。到目前为止，我发现了一些事情：

案例1

这是因为sys.stdout.write要么写入所有字符串，要么抛出异常，这不是使用O_NONBLOCK时所需的行为。当对write的基础调用返回EAGAIN(OS X 上的 Errno 35)时，应使用剩余的数据再次尝试。 应改用os.write，并应检查返回值以确保写入所有数据。

此代码按预期工作：

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
def stdout_write(s):
written = 0
while written < len(s):
try:
written = written + os.write(sys.stdout.fileno(), s[written:])
except OSError as e:
pass
stdout_write("A" * 65537)

案例2

我怀疑此错误消息是由于 https://bugs.python.org/issue11380：

close failed in file object destructor:
sys.excepthook is missing
lost sys.stderr

我不确定为什么有时会调用它。这可能是因为except语句中有一个print，它试图使用写入失败的相同stdout。

案例3

这与案例 1 类似。这段代码总是对我有用：

fcntl.fcntl(sys.stdout.fileno(), fcntl.F_SETFL, os.O_NONBLOCK)
def stdout_write(s):
written = 0
while written < len(s):
try:
written = written + os.write(sys.stdout.fileno(), s[written:])
except OSError as e:
pass
stdout_write("A" * 65537)
time.sleep(1)
print "Slept"

案例4

确保检查os.write的返回值，我怀疑完整的65537字节没有成功写入。

案例5

这与案例 2 类似。