k8s&docker空间使用分析与清理-创新互联-成都快上网建站

k8s&docker空间使用分析与清理-创新互联

目录

创新互联建站长期为超过千家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为湛河企业提供专业的网站建设、成都网站建设湛河网站改版等技术服务。拥有10年丰富建站经验和众多成功案例,为您定制开发。

1. 前言

2. 常见问题场景

3. docker 磁盘空间使用分析及处理

4. 总结


1. 前言

使用 Docker 运行业务一段时间后,可能会出现宿主节点的磁盘容量占用高,导致宿主机磁盘空间不足等异常,对业务造成影响。本文对 Docker 的空间占用进行汇总分析,以及对应的清理操作进行说明,希望能帮到大家~

2. 常见问题场景

一般来说,docker包括镜像(image)、容器(container)和数据卷(volumn)三部分,日常遇到的docker空间占用问题,基本也是从这三方面入手。典型的场景有:

  • json.log文件过大
  • 镜像较多占用空间大
  • local volumn占用空间大
    基本上来说,docker 空间占用大,都是围绕上面几方面来开展分析的。下面说说空间分析及处理应对措施
3. docker 磁盘空间使用分析及处理
  • 排查命令: docker system df
    命令可以查询镜像(Images)、容器(Containers)和本地卷(Local Volumes)等空间占用情况,如下效果
docker system df 
TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
Images          17        15        6.016GB   1.001GB (16%)
Containers      29        26        4.444MB   0B (0%)
Local Volumes   7         4         465.5MB   232.7MB (50%)
Build Cache     0         0         0B        0B

3.1 image镜像占用分析及解决

通过 docker system df命令,查看Images镜像占用的空间大小,可以看到总的镜像数以及在用的镜像数。可以通过以下命令进行清理,从而达到释放空间占用的作用

# 通过命令清除无用的镜像,停止的容器和Volumes
docker system prune -a 
# 也可以通过命令手动删除指定镜像
docker rmi 镜像ID

3.2 json.log占用分析及解决

容器镜像数较多导致的空间占用是最常见也最容易处理的场景,除通过docker system prune清理外,也可通过docker rmi的命令进行清理。除此之外 ,还有常见的空间占用场景,如json.log文件过大。当容器运行一段时间后,容器的控制台日志输出过大的时候,会导致一个以容器ID-json命名的Log文件,持续增大,一般是在/var/lib/docker/containers/目录下,可以通过如下命令查看json.log占用

ls -lh $(find /var/lib/docker/containers/ -name *-json.log)
-rw-r----- 1 root root    0 Dec 27 14:22 /var/lib/docker/containers/021451de5bbaf2ac68839d4b9f3a4605be673d4286b3963ee2bddb1a3d01b6d2/021451de5bbaf2ac68839d4b9f3a4605be673d4286b3963ee2bddb1a3d01b6d2-json.log
-rw-r----- 1 root root  81K Dec 27 16:27 /var/lib/docker/containers/0413a938fff4603b9d898b680ba16b11b02a7cac25ddfaea318c15f1398668fd/0413a938fff4603b9d898b680ba16b11b02a7cac25ddfaea318c15f1398668fd-json.log
-rw-r----- 1 root root  113 Dec 21 21:44 /var/lib/docker/containers/1e6fb2c4f4bc9afeff1406c2c7f4a48e162c3b8075aef6e67871c942232b2fbe/1e6fb2c4f4bc9afeff1406c2c7f4a48e162c3b8075aef6e67871c942232b2fbe-json.log
-rw-r----- 1 root root  26K Dec 27 14:21 /var/lib/docker/containers/283e6cfc3f9e52ffb5dfd26386d910010a6f14e2304d28c244c9010b3396f2aa/283e6cfc3f9e52ffb5dfd26386d910010a6f14e2304d28c244c9010b3396f2aa-json.log
-rw-r----- 1 root root 7.6K Dec 27 16:27 /var/lib/docker/containers/338ee505e76965f6636c229f437fe30018acd24c94e3aab9eec2fd3dffe67d29/338ee505e76965f6636c229f437fe30018acd24c94e3aab9eec2fd3dffe67d29-json.log

解决方案有3种

简单处理:

echo '' >/var/lib/docker/containers/容器id-json.log

运行服务时指定json log大小及数量

# 参数:--log-opt max-size=200m --log-opt max-file=3 
docker run -it --log-opt max-size=200m --log-opt max-file=3 nginx

全局配置

vim  /etc/docker/daemon.json
{
    "log-driver":"json-file",
    "log-opts":{
        "max-size" :"200m","max-file":"3"
    }
}

systemctl daemon-reload
systemctl restart docker

3.3 Local Volumnes占用分析及解决

Local Volumnes占用空间大,相对来说比较少遇到的一种场景,像镜像和json.log占用的情况,比较常见。

docker system df 
TYPE            TOTAL     ACTIVE    SIZE      RECLAIMABLE
Images          42        20        10.81GB   4.265GB (39%)
Containers      64        39        1.358GB   200.3MB (14%)
Local Volumes   7         4         64.9GB   232.7MB (0.3%)
Build Cache     0         0         0B        0B

从命令可以看出,Local Volumnes占用超过60GB,可释放空间只有232MB,因此通过命令:docker system prune清理也只能释放232MB的空间占用。
解决方案
思路:
查看Local Volumes占用明细->查找关联的容器ID->清理对应容器->完成空间占用清理

# 通过参数-v查看详细的空间占用
docker system df -v
*** ***
Local Volumes space usage:

VOLUME NAME                                                        LINKS     SIZE
13cb48964bd5f5b2154687cd2ec9d948c03183c778a131021d7a078251e327fc   1         77.58MB
0c6f791c44f9e18c414df127effeb03bcd4e3d3f00a1da9520b1f79308d5d4b4   0         77.58MB
7995d23375e56221438cca64ddd9f0a799c6492cf28ea4cf8689fa3f6ca6d0b2   2         77.58MB
c742d23648db19b93a731d6861864f7fc90ec22bfd3aeaa73c811fe587126777   1         77.58MB
b60f3956f0d502f163e47806b2bfe6d8e1ad3fe555d1a01c86541708ec5277ff   1         0B
fc52cd72fa393c8cbe92b90de2d5e555d5a7cee725871ff729a1941fadfe942d   1         62.22GB
86cff21c7b3690e94548a94e5e87428761d3887f0a62abbd85ddf1b15684dbd8   0         77.58MB
0ebc98b7d24962a968acb73ae65abd9b1e846098ba4f7d68f09c8d163cedd12e   0         77.58MB

Build cache usage: 0B

CACHE ID   CACHE TYPE   SIZE      CREATED   LAST USED   USAGE     SHARED

可以看出磁盘占用主要是:fc52cd72fa393c8cbe92b90de2d5e555d5a7cee725871ff729a1941fadfe942d,因此,要查看此卷相关联的容器ID

# 编写py脚本
import os
volumn = "fc52cd72fa393c8cbe92b90de2d5e555d5a7cee725871ff729a1941fadfe942d"
names = [line.split(" ")[-1] for line in os.popen("docker ps -a").read().split("\n") if line ]
print([name for name in names[1:] if volumn in os.popen("docker inspect %s"%name).read()])

# 执行脚本
python volumn.py
# 返回结果如下
['collection-687df56967-z5t6f']
找到相关联的容器后,判断容器运行着什么,内容是否可清理
4. 总结

在日常使用中,安装docker后做好优化配置工作,如配置json log大小及文件限制,定期清理无用的容器和镜像,可以减少docker 空间占用导致宿主机磁盘空间不够导致的各种问题。当遇到以上措施无法处理的情况的时候,要灵活使用docker system df -v的命令进行故障排查分析。希望这个能帮到各位,有用就点个关注和收藏吧~

你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧


当前题目:k8s&docker空间使用分析与清理-创新互联
文章起源:http://kswjz.com/article/cedccg.html
扫二维码与项目经理沟通

我们在微信上24小时期待你的声音

解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流