python

超轻量级php框架startmvc

python logging 日志轮转文件不删除问题的解决方法

更新时间:2020-04-23 03:35:01 作者:startmvc
前言最近在维护项目的python项目代码,项目使用了python的日志模块logging,设定了保存的日

前言

最近在维护项目的python项目代码,项目使用了 python 的日志模块 logging, 设定了保存的日志数目, 不过没有生效,还要通过contab定时清理数据。

分析

项目使用了 logging 的 TimedRotatingFileHandler :


#!/user/bin/env python
# -*- coding: utf-8 -*-

import logging
from logging.handlers import TimedRotatingFileHandler
log = logging.getLogger()
file_name = "./test.log"
logformatter = logging.Formatter('%(asctime)s [%(levelname)s]|%(message)s')
loghandle = TimedRotatingFileHandler(file_name, 'midnight', 1, 2)
loghandle.setFormatter(logformatter)
loghandle.suffix = '%Y%m%d'
log.addHandler(loghandle)
log.setLevel(logging.DEBUG)

log.debug("init successful")

参考 python logging 的官方文档:

https://docs.python.org/2/library/logging.html

查看其 入门 实例,可以看到使用按时间轮转的相关内容:


import logging

# create logger
logger = logging.getLogger('simple_example')
logger.setLevel(logging.DEBUG)

# create console handler and set level to debug
ch = logging.StreamHandler()
ch.setLevel(logging.DEBUG)

# create formatter
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')

# add formatter to ch
ch.setFormatter(formatter)

# add ch to logger
logger.addHandler(ch)

# 'application' code
logger.debug('debug message')

粗看下,也看不出有什么不对的地方。

那就看下logging的代码,找到TimedRotatingFileHandler 相关的内容,其中删除过期日志的内容:

logging/handlers.py


def getFilesToDelete(self):
 """
 Determine the files to delete when rolling over.

 More specific than the earlier method, which just used glob.glob().
 """
 dirName, baseName = os.path.split(self.baseFilename)
 fileNames = os.listdir(dirName)
 result = []
 prefix = baseName + "."
 plen = len(prefix)
 for fileName in fileNames:
 if fileName[:plen] == prefix:
 suffix = fileName[plen:]
 if self.extMatch.match(suffix):
 result.append(os.path.join(dirName, fileName))
 result.sort()
 if len(result) < self.backupCount:
 result = []
 else:
 result = result[:len(result) - self.backupCount]
 return result

轮转删除的原理,是查找到日志目录下,匹配suffix后缀的文件,加入到删除列表,如果超过了指定的数目就加入到要删除的列表中,再看下匹配的原理:


elif self.when == 'D' or self.when == 'MIDNIGHT':
 self.interval = 60 * 60 * 24 # one day
 self.suffix = "%Y-%m-%d"
 self.extMatch = r"^\d{4}-\d{2}-\d{2}$"

exMatch 是一个正则的匹配,格式是 - 分隔的时间,而我们自己设置了新的suffix没有 - 分隔:

loghandle.suffix = '%Y%m%d' 这样就找不到要删除的文件,不会删除相关的日志。

总结

1. 封装好的库,尽量使用公开的接口,不要随便修改内部变量;

2. 代码有问题地,实在找不到原因,可以看下代码。

python logging 不删除