关于docker清理Overlay2占用磁盘空间的问题(亲测有效)

2023年5月25日 下午4:56 人工智能概览

 在linux环境下安装mysql时,解压时出现解压失败,原因时空间不足!通过 df -h 命令查看磁盘空间,发现**/dev/sda2** 的空间已经被占用了100%,怪不得解压失败。
/dev/sda2占用100%、磁盘占用100%的怎么解决?_java

首先使用 lsof -n |grep deleted 命令查看一下已删除、但空间却没有释放的进程

/dev/sda2占用100%、磁盘占用100%的怎么解决?_java_02
发现最后三个进程,占用空间较大,有180M左右,但远不到18g,所以这里不是导致内存占用100%的主要原因,可以先排除这里。如果这里空间占用超大,可以使用 kill -9 杀死对应进程即可。

排除了上面的原因,我们继续查找

使用 du -sh /* | sort -nr 命令查找 / 目录下所有文件和目录的大小的排序结果。 查找结果如下
/dev/sda2占用100%、磁盘占用100%的怎么解决?_java_03

我们发现 /var 、/usr目录占用内存较大

继续使用 du -sh /var/* | sort -nr 、 du -sh /usr/* | sort -nr 命令进一步跟踪大文件,

/dev/sda2占用100%、磁盘占用100%的怎么解决?_java_04
发现overlay2这个文件过大。

已解决】docker overlay2占用大量磁盘空间处理方法

处理方式1:

在使用docker时,往往会出现磁盘空间不足,导致该问题的通常原因是因为docker中部署的系统输出了大量的日志内容。

此时,可通过手动或定时任务进行清除。

针对/var/lib/docker/overlay2空间占用很大网上提供了很多解决方案,其中有些误导的说法需要去迁移路径等操作。其实磁盘空间的占用和overlay没关系(它的usage和真实的disk usage相同),它只是一个docker的虚拟文件系统,真实的文件系统是前者/dev/vda1,可以看到路径所指为根目录,所以你要去找是哪里出现了垃圾。

通常情况下与overlay2的同级目录下会有如下的目录:

[root@iZ docker]# ls
builder  buildkit  containerd  containers  image  network  overlay2  plugins  runtimes  swarm  tmp  trust  volumes
12

在目录中会存在以目录名为前缀,以“-json.log”为后缀的目录文件。使用如下命令会看到该文件的大小:

ll -h
1

然后可使用如下命令对该文件的内容进行清理:

cat /dev/null > *-json.log
1

清理完成可不重启服务,但如果允许建议重启一下docker服务。

在此执行df -h命令之后,你会发现overlay2所占的磁盘空间已经减小。

关于清理的操作可参考文章:《LINUX CENTOS /VAR/LIB/DOCKER/CONTAINER目录导致系统存储爆满,占用大量存储解决方案》

原文链接:《docker overlay2占用大量磁盘空间处理方法》.

处理方式2:

排错过程

df -h
1

发现硬盘被占满了

再用下面命令查看哪个文件夹太大:

du -sh *
1

发现是 /var/lib/docker/overlay 占满了

网上查一下这个目录的作用,说是 overlay/overlay2表示Docker的存储驱动,可以参考一下这篇文章:https://blog.csdn.net/styshoo/article/details/60715942

也就是说容器/镜像等都会存在这个目录下,当量大的时候就会占满硬盘

也可以参考官网(https://docs.docker.com/storage/storagedriver/overlayfs-driver/

继续在网上搜资料,说可以看看是不是死掉容器过多的原因,使用 docker ps -a看了下,果然是。于是清理了一下无用的容器,硬盘就恢复正常了……

简单办法

多看了一下资料,发现可以使用 docker system prune来自动清理空间,参考下面:

  • 该指令默认会清除所有如下资源:

    • 已停止的容器(container)

    • 未被任何容器所使用的卷(volume)

    • 未被任何容器所关联的网络(network)

    • 所有悬空镜像(image)。

  • 指令默认只会清除悬空镜像,未被使用的镜像不会被删除。

  • 添加 -a 或 --all 参数后,可以一并清除所有未使用的镜像和悬空镜像。

  • 可以添加 -f 或 --force 参数用以忽略相关告警确认信息。

  • 指令结尾处会显示总计清理释放的空间大小。
    https://yq.aliyun.com/articles/272173

另外,使用下面命令可以查看docker所占的硬盘大小,如:
在这里插入图片描述

使用docker,基本上把官方文档的入门教程看完,就能用了。
再自己打个包试试,基本上就OK了。后面遇到问题再深入,都可以。

Q.E.D.