GPU 텐서 코어(Tensor Core)의 혼합 정밀도(Mixed Precision) 딥러닝 학습 프로파일링

100억 개 파라미터 규모의 LLM(대규모 언어 모델)을 튜닝하는 프로젝트에서, 4장의 V100 GPU를 묶어 돌려도 예상 학습 시간이 3주를 넘어가는 절망적인 상황에 직면했습니다. 메모리는 터질 듯이 차올라 배치 사이즈를 키우는 것도 불가능했습니다. AI 연구원들은 오랫동안 수학적 정확도를 위해 32비트 부동소수점(FP32) 체계를 고집해왔습니다. 그러나 딥러닝 백프라파게이션 연산의 90% 이상은 행렬 곱(GEMM)인데, 이 미세한 웨이트(Weight) 가중치 변동에 굳이 소수점 7자리까지의 정밀한 숫자가 필요한가에 대한 공학적 반문이 제기되었습니다. NVIDIA는 이틈을 타 볼타(Volta) 아키텍처부터 구형 쿠다 코어 공간을 걷어내고 텐서 코어(Tensor Core)라는 물리적 괴물을 칩에 심어버렸습니다. 텐서 코어는 스칼라 데이터가 아니라 4x4 크기의 2차원 행렬 타일 전체를 단 한 사이클에 동시에 곱하고 더해버리는 하드웨어 매트릭스 엔진입니다. 단, 텐서 코어가 이 폭발력을 내려면 데이터 파이프라인이 16비트(FP16) 반정도 데이터 타입으로 흐르게 만들어야 했습니다. PyTorch의 AMP(Automatic Mixed Precision) 모듈을 켜서 모델의 입출력과 활성화 함수 단계를 강제로 16비트로 캐스팅한 결과, VRAM 메모리 사용량은 거짓말처럼 반토막 났고, 덕분에 배치 사이즈를 두 배로 늘릴 여유가 생겼습니다. 연산 사이클의 감소와 메모리 버스의 숨통이 동시에 트이면서 3주가 걸리던 학습 파이프라인은 단 5일짜리 작업으로 파괴적인 가속을 이뤄냈습니다. 정밀도 손실로 인한 기울기 소실(Gradient Underflow) 버그만 스케일링 기법으로 잘 방어한다면, 하드웨어 엑셀러레이터 생태계에서는 적당한 타협(16비트)이 완벽함(32비트)을 압도한다는 실전 교훈이었습니다.