[docker/nvidia-smi] container process kill

docker 내 container에서 특정 모델을 돌리다 터미널 안에선 오류가 나서 중단되는데, 간혹 그 프로세스가 Nan과 같은 쓰레기 프로세스로 남아있는 경우가 있다.

 

이럴 경우 container로 접속하지 않고 메인 사용자 계정으로 nvidia-smi를 켜서 PID를 확인하게 되는데, 간혹 nvidia-smi로 봐도 PID가 뜨지 않고, htop이나 nvtop으로만 PID가 보이는 경우가 존재한다.

 

근데 이렇게 어렵게 발견한 PID로 process kill을 시도할 경우, "No such process"라고 뜨면서 해당 process를 종료할 수 없는 경우가 존재하는데, 이는 docker container 안에서의 PID와 실 server 내 PID가 다르면서 생기는 이슈이다.

 

bash: kill: ($PID) - No such process

 

즉, 프로세스를 삭제하고싶다면 컨테이너 내부에 접속한 뒤 거기서 nvtop, htop등을 통해 PID를 확인하고 해당 컨테이너 안에서 삭제하자.

 

이 명령어로 프로세스 확인 후 삭제 가능

sudo fuser -v /dev/nvidia*