扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
前言
因为努力和真诚,有更多的客户和我们聚集在一起,为了共同目标,成都创新互联在工作上密切配合,从创业型企业到如今不断成长,要感谢客户对我们的高要求,让我们敢于面对挑战,才有今天的进步与发展。从网站到重庆小程序开发公司,软件开发,app软件开发,10年企业网站建设服务经验,为企业提供网站设计,网站托管、服务器租用一条龙服务.为企业提供成都全网营销推广,按需定制开发,原创设计,10年品质,值得您的信赖.
这次编写Node.js项目的时候用到了日志模块,其中碰到了一个小问题。
这是一个定时执行可配置自动化任务的项目,所以输出信息会不断增加,也就意味着日志文件会随时间不断增大。如果对日志文件大小不加以控制,那么服务器的磁盘迟早会被撑满。所以限制文件大小是有必要的。
最理想的控制方式就是当文件大小超过限制时,清除最先记录的数据。类似一个FIFO的队列。
# 删除前面的数据 - 1 xxx ...... 100 abc # 文件末尾追加数据 + 101 xxxx
log4js的file rolling
一提到记录日志很多Node.js开发者肯定会找到log4js,先来看看log4js是怎么处理这个问题的。
log4js分为很多appenders(可以理解为记录日志的媒介),file rolling功能可以通过函数来进行配置。
file rolling功能有两种方式:日期和文件大小。
要控制文件大小,当然选择后者。
为了测试这个功能是否满足我们要求,写一段循环代码来写日志。
const log4js = require('log4js') // 配置log4js log4js.configure({ appenders: { everything: { type: 'file', filename: 'a.log', maxLogSize: 1000, backups: 0 }, }, categories: { default: { appenders: ['everything'], level: 'debug' } } }); const log = log4js.getLogger(); for (let i = 0; i < 41; i++) { const str = i.toString().padStart(6, '000000'); log.debug(str); }
执行之后生成两个文件a.log和a.log.1。
其中a.log.1有20行数据,实际大小1kb,a.log只有1行数据。
虽然确实控制了文件大小,但是会带来两个问题:
推测log4js的实现逻辑可能是下面这样:
这显然不能完全满足需求。
字符串替换?
如果要在内存中完成循环覆写操作就比较简单了,使用字符串或Buffer的即可完成。
但是有一个很大的问题:占用内存。
比如限制文件大小为1GB,有10个日志文件同时写入,那么至少占用10GB内存空间!
内存可是比磁盘空间更宝贵的,如此明显的性能问题,显然也不是最优解决方式。
file roll
按照需求可以把实现步骤拆成两步:
这两步不分先后顺序,但是Node.js没有提供API来删除文件开头部分,只提供了修改文件指定位置的函数。
既然无法删除文件开头部分内容,那么我们就换个思路,只保留文件末尾部分内容(不超出大小限制)。
什么?这不是一个意思么?
略有区别~
删除是在原有文件上进行的操作,而保留内容可以借助临时文件来进行操作。
所以思路变成:
这样就不会出现像log4js一样日志文件内容不全的现象,也不会保留额外的临时文件。但是对IO的操作会增加~
对于写操作可以采取tail命令来实现,最终实现代码如下:
private write(name: string, buf?: Buffer | string) { // append buf to tmp file const tmpName = name.replace(/(.*\/)(.*$)/, '$1_\.$2\.tmp'); if (!existsSync(tmpName)) { copyFileSync(name, tmpName); } buf && appendFileSync(tmpName, buf); // if busy, wait if (this.stream && this.stream.readable) { this.needUpdateLogFile[name] = true; } else { try { execSync(`tail -c ${limit} ${tmpName} > ${name}`); try { if (this.needUpdateLogFile[name]) { this.needUpdateLogFile[name] = false; this.write(name); } else { existsSync(tmpName) && unlinkSync(tmpName); } } catch (e) { console.error(e); } } catch (e) { console.error(e); } } }
总结
完成这个功能有两点感悟:
好了,以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对创新互联的支持。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流