Jenkins 디스크 용량 부족 문제 해결 방법

에러발생

Disk space is below threshold of 1.00 GiB. Only 598.86 MiB out of 6.71 GiB left on /var/jenkins_home.

Your Jenkins data directory /var/jenkins_home (AKA JENKINS_HOME) is almost full. You should act on it before it gets completely full.에러

 

원인분석

디스크 용량이 부족한 이슈가 계속해서 발생한다..

원인을 찾아보기 위해 도커로 돌아가고 있는 젠킨스에 접속해보았다.

docker exec -it {jenkins container id} /bin/bash

/var/jenkins_home/ 의 용량이 부족하다고 하니 해당 디렉토리로 이동해서 내용들을 확인 해보자.

cd /var/jenkins_home/
df -h

 

지금 용량이 92퍼가 사용중이다. 이러니 용량이 부족하다고 하지.

안쓰는 것들을 지워 보겠다.

효과가 없었다...

두번째는 효과가 있었다!

 

 

해결방법

Jenkins 서버의 /var/jenkins_home 디렉토리가 자주 디스크 부족 문제를 겪고 있다. 현재 EC2 인스턴스에 연결된 EBS 볼륨은 기본 8GB로 설정되어 있어, 용량 부족이 빈번하게 발생한다. 이 문제를 근본적으로 해결하기 위해, EBS 용량을 30-40GB로 확장하고, 새로운 볼륨을 적절히 마운트하여 충분한 저장 공간을 확보할 계획이다. 이를 통해 디스크 부족 문제를 예방하고 안정적인 Jenkins 환경을 유지할 수 있다.

 

 

 

EC2 콘솔에 들어가서 스토리지 탭에서 사용중인 볼륨 확인

(먼저 수정을 하고 캡쳐해서 위 캡쳐상에서 현재 볼륨크기가 100으로 표시된다)

 

해당 볼륨으로 이동하여 수정을 눌러서

크기를 100기가로 크게 늘려줬다.

한 5분정도 기다리면 볼륨 상태가 정상으로 변한다.

 

ec2에 접속해서 새로운 크기 확인

sudo lsblk

 

 

sudo growpart /dev/nvme0n1 1

growpart 명령어를 사용하여 파티션 크기를 확장할 수 있다.

nvme0n1 디스크의 첫번째 파티션을 확장하겠다는 의미

sudo resize2fs /dev/nvme0n1p1

이제 위 명령어를 통해 파일 시스템을 확장 해주면 끝이다.

다시 한번 용량을 확인 해보면?

root의 avail 공간이 확장된 것을 확인할 수 있다.

젠킨스에 접속해봐도 기존에 뜨던 용량 경고가 사라지고

무한빌드에 갇히는 사태도 사라졌다.

ec2 이사를 가야하나 고민했는데 다행스럽게도 스토리지 용량을 올려주는 것을 통해 해결할 수 있었다!