VRAM

VRAM: Video Random Access Memory ☞ Video RAM

* 시스템 RAM: CPU 전용.

 

VRAM은 그래픽 카드에 있는 전용 memory이다.

그래픽/영상 렌더링이나 deeplearning 연산에서 GPU가 초당 데이터를 지연 없이 읽고 쓰기 위해서 사용한다 !!

VRAM용량이 클수록 더 높은 해상도와 그래픽 품질 설정이 가능하고, 시스템 메모리(RAM)보다 훨씬 빠른 access 작업 성능을 향상시킨다.

 

• 주요 점유 항목 (deeplearning에서): model weight, optimizer 상태, 중간 tensor/cache 등..
• OOM(Out Of Memory) 방지
• Monitoring: nvidia-smi로 전체/프로세스 별 VRAM 확인 가능. (nvitop으로도 가능! 시각화 잘됨)