从不同的线程分离输出

Question

我所有的代码都是通过say（）将日志写入sys.stderr和错误重定向。在多线程服务器中，我希望每个线程写入单独的日志文件。我可以在不重写线程使用的所有代码的情况下完成此操作吗？

from threading import Thread
from time import sleep
def say(*args):
    print(*args, file=sys.stderr)
def worker(num):
    for _ in range(5):
        say("worker", num, "working")
        sleep(.1)
for num in range(4):
    Thread(target=worker, args=(num,)).start()

输出是混合的，目标是将其重定向到每个线程的不同日志文件：

worker 0 working
worker 1 working
worker 2 working
worker 3 working
worker 0 working
worker 1 working
worker 3 working
worker 2 working
. . .

我的理解是，如果我尝试将 stderr 重定向到线程内的文件，重定向将由所有线程共享：

def worker(num):
    sys.stderr = open('worker{}.log'.format(num), 'w')
    for _ in range(5):
        say("worker", num, "working")

结果符合预期：

$ cat worker3.log
worker 1 working
worker 1 working
worker 1 working
worker 3 working
worker 3 working
worker 3 working
worker 3 working
worker 3 working

---

更新

@Amber，我已经有一个唯一标识符，可以将其用作线程名称：

def say(*args, end='n'):
    print(currentThread().getName(), *args, file=sys.stderr, end=end)
    sys.stderr.flush()
t_worker = Thread(name=str(num), target=worker, args=(num,))

我无法为每个线程动态选择日志文件，因为 say（） 是全局的——需要在这个全局日志文件存储上放置一个信号量，或者将日志记录对象传递给记录进度的每个函数。

Answer 1

您可以使用线程本地存储（通过 threading.local 类）为每个线程存储单独的文件对象。然后，say函数可以查找正确的文件：

local = threading.local()
def say(*args):
    if not hasattr(local, "logfile"):
        local.logfile = open("logfile{}".format(threading.get_ident()), "a")
    print(*args, file=local.logfile)

我正在使用threading.get_ident来获取希望的唯一值来生成日志文件名。如果有更合乎逻辑的方式来命名程序中的文件，我建议您改用它。您甚至可能希望将文件的创建与say函数分开。例如，您可以将其作为线程启动代码的一部分：

local = threading.local()
def say(*args):
    print(*args, filename=local.logfile)
def worker1():
    local.logfile = open("logfile_worker1", "a")
    # do stuff here, including calling `say()` as necessary

Answer 2

您可以在 say() 函数中调用 threading.get_ident() 来决定在哪里写行。它并不完美（因为允许在一个线程结束并创建另一个线程后重用线程 ID 号），但是如果您的线程长时间运行，那么它可能适合您的目的。