扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
采用filebeat收集日志，日志文件频繁rotate，造成filebeat占用文件不释放，只要filebeat保持着被删除文件Open状态，操作系统就不释放磁盘空间，导致可用磁盘空间逐渐减小。如下监控图，杀掉filebeat进程之后，磁盘占用陡然下降。
使用lsof命令查看filebeat保持着的文件资源，可以发现许多被filebeat占用空间的失效文件（deleted）文件。
deleted状态的文件没有释放，始终占据磁盘空间
解决办法：
查看filebeat配置文件位置： /etc/filebeat/filebeat.yml
在配置文件中添加close_timeout： 5m，保证每隔5分钟file handler被关闭，不管是否遇到EOF符号。
需要注意的是，该close_timeout参数在Filebeat没有处理到文件末尾而文件被删除的情况下，会导致数据丢失。
filebeat.prospectors:
- type: log
paths:
- /opt/apps/ecm/service/storm/1.0.1/package/apache-storm-1.0.1/logs/workers-artifacts/xyz*/*/worker.log
tail_files: false
force_close_files: true
close_timeout: 5m
processors:
- add_cloud_metadata: ~
output.logstash:
hosts: ["10.10.10.10:6667"]
loadbalance: true
worker: 1
-----------------------------------------------------------------
close_rename，close_removed，close_eof，close_inactive等配置型对于（deteled）状态处理均无效（已测试验证）
另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网