结合Python跟踪信息和日志记录



我正在尝试编写一个高度模块化的Python日志记录系统(使用日志记录模块(,并在日志消息中包含跟踪模块的信息。

例如,我希望能够编写一行代码,如:

my_logger.log_message(MyLogFilter, "this is a message")

并使其包括";日志消息";调用,而不是实际的记录器调用本身。

除了跟踪信息来自logging.debug()调用而不是my_logger.log_message()调用之外,我几乎有以下代码在工作。

class MyLogFilter(logging.Filter):
def __init__(self):
self.extra = {"error_code": 999}
self.level = "debug"
def filter(self, record):
for key in self.extra.keys():
setattr(record, key, self.extra[key])
class myLogger(object):
def __init__(self):
fid = logging.FileHandler("test.log")
formatter = logging.Formatter('%(pathname)s:%(lineno)i, %(error_code)%I, %(message)s' 
fid.setFormatter(formatter)
self.my_logger = logging.getLogger(name="test")
self.my_logger.setLevel(logging.DEBUG)
self.my_logger.addHandler(fid)
def log_message(self, lfilter, message):
xfilter = lfilter()
self.my_logger.addFilter(xfilter)
log_funct = getattr(self.logger, xfilter.level)
log_funct(message)
if __name__ == "__main__":
logger = myLogger()
logger.log_message(MyLogFilter, "debugging")

为了进行简单的logging.debug调用,需要经历很多麻烦,但实际上,我将有一个不同日志级别的MyLogFilter的许多不同版本的列表,其中包含";错误代码";属性,并且我试图使log_message()调用尽可能简短和甜蜜,因为它将被重复多次。

我很感激任何关于如何做我想做的事情的信息,或者如果我完全偏离了错误的轨道,如果是这样的话,我应该做什么。

我想坚持使用"python"的内部python模块;日志记录";以及";trace";如果可能的话,而不是使用任何外部解决方案。

或者如果我完全偏离了错误的轨道,如果是这样,我应该做什么。

我强烈建议您将日志记录视为一个已解决的问题,并避免重新发明轮子。

如果您需要比标准库的logging模块提供的更多,那么它可能类似于structlog(pip install structlog(

Structlog会给你:

  • 数据绑定
  • 云原生结构化日志记录
  • 管道
  • 。。。以及更多

它将处理大多数本地和云用例。

下面是一个常见的配置,它将彩色日志输出到.log文件、stdout,并可以进一步扩展到日志,例如AWS CloudWatch。

请注意,包含了一个处理器:StackInfoRenderer——它将向所有具有stack_info"truthy"值的日志记录调用包含堆栈信息(这也在stdlib的日志记录btw中(。如果您只需要异常的堆栈信息,那么您可能需要对日志调用执行exc_info=True之类的操作。

main.py

from structlog import get_logger
from logging_config import configure_local_logging
configure_local_logging()
logger = get_logger()
logger.info("Some random info")
logger.debug("Debugging info with stack", stack_info=True)
try:
assert 'foo'=='bar'
catch Exception as e:
logger.error("Error info with an exc", exc_info=e)

logging_config.py

import logging
import structlog
def configure_local_logging(filename=__name__):
"""Provides a structlog colorized console and file renderer for logging in eg ING tickets"""
timestamper = structlog.processors.TimeStamper(fmt="%Y-%m-%d %H:%M:%S")
pre_chain = [
structlog.stdlib.add_log_level,
timestamper,
]
logging.config.dictConfig({
"version": 1,
"disable_existing_loggers": False,
"formatters": {
"plain": {
"()": structlog.stdlib.ProcessorFormatter,
"processor": structlog.dev.ConsoleRenderer(colors=False),
"foreign_pre_chain": pre_chain,
},
"colored": {
"()": structlog.stdlib.ProcessorFormatter,
"processor": structlog.dev.ConsoleRenderer(colors=True),
"foreign_pre_chain": pre_chain,
},
},
"handlers": {
"default": {
"level": "DEBUG",
"class": "logging.StreamHandler",
"formatter": "colored",
},
"file": {
"level": "DEBUG",
"class": "logging.handlers.WatchedFileHandler",
"filename": filename + ".log",
"formatter": "plain",
},
},
"loggers": {
"": {
"handlers": ["default", "file"],
"level": "DEBUG",
"propagate": True,
},
}
})
structlog.configure_once(
processors=[
structlog.stdlib.add_log_level,
structlog.stdlib.PositionalArgumentsFormatter(),
timestamper,
structlog.processors.StackInfoRenderer(),
structlog.processors.format_exc_info,
structlog.stdlib.ProcessorFormatter.wrap_for_formatter,
],
context_class=dict,
logger_factory=structlog.stdlib.LoggerFactory(),
wrapper_class=structlog.stdlib.BoundLogger,
cache_logger_on_first_use=True,
)

Structlog可以做的远不止这些。我建议你去看看。

事实证明,拼图中缺少的部分是使用"回溯";模块而不是";trace";一解析回溯的输出以提取"的源文件名和行号就足够简单了;。log_message(("呼叫

如果我的日志记录需求变得更加复杂,那么我肯定会研究struct_log。谢谢你提供的信息,因为我以前从未听说过。

最新更新