환경
CPU: Intel i9 11900
GPU: NVIDIA 3090 24GB
Memory: 64GB
OS: Ubuntu 22.04
Python: Python 3.9
Pytorch Dataloader를 사용하여 batch 로 inference 결과별 이미지 저장을 하던 중 CPU 사용률이 하락하는 현상
Jupyter, Nvidia 세팅 등을 확인한 결과 하드디스크 병목(쓰기)으로 인한 CPU 강제 휴무 상태로 확인
하드 디스크를 iostat으로 확인한 결과,
하드 디스크(가장 하단) 의 %util (가장 우측 칼럼)의 수치가 100에 근접하거나 초과하는 것을 확인
또한, 가장 상단의 %iowait 수치와 %idle 수치를 통해서도 확인
iostat 설치 및 모니터링 command
1. iostat 설치
sudo apt update
sudo apt install sysstat
2. 모니터링
#1초 간격으로 모니터링
sudo iostat -x 1
*출력되는 창의 크기가 클 수 있으므로 shell 창을 조절이 필요할 수 있음
끝.
'컴퓨터 > 머신러닝 (Machine Learning)' 카테고리의 다른 글
Yolov9 Jupyter에서 돌려보기 (1) | 2024.05.15 |
---|---|
Ubuntu, ROCm, AMD GPU, Docker, Tensorflow, 환경에서 JAX 세팅 정리 (0) | 2022.12.28 |
Pytorch distributed launch watchdog timeout 에러 해결 (0) | 2022.12.27 |
Super resolution 모델, HAT train 정리 (0) | 2022.12.26 |
AMD GPU MIGraphX docker 사용 정리 (0) | 2022.12.22 |