device-side assert triggered / THCudaCheck FAIL file=/pytorch/aten/src/THC/THCCachingHostAllocator.cpp line=265 error=59 : device-side assert triggered *** RuntimeError: cuda runtime error (59) : device-side assert triggered at /pytorch/aten/src/THC/THC..

nn.Embedding()을 사용할 때, input vocab_size를 잘못잡아주면서 오류가 발생..

 

device-side assert triggered

THCudaCheck FAIL file=/pytorch/aten/src/THC/THCCachingHostAllocator.cpp line=265 error=59 : device-side assert triggered *** RuntimeError: cuda runtime error (59) : device-side assert triggered at /pytorch/aten/src/THC/THCCachingHostAllocator.cpp:265

해결 방법으로는 Embedding(inputs)에서 inputs를 까봤을 때, vocab_size보다 큰 값이 들어갈 경우, 오류가 발생한다.

나같은 경우엔 뭣도 모르고 vocab을 992로 했는데 inputs안에 데이터가 bert vocab을 사용하면서, 아래와 같이 큰 값이 맵핑되버렸다. 

 

vocab 사이즈를 잘 보고, 사용

[ 101, 4607, 1996,  ...,    0,    0,    0],
[ 101, 3328, 2091,  ...,    0,    0,    0],
[ 101, 3328, 2091,  ...,    0,    0,    0],

이 외에도 아래 블로그에 따르면, 

• Loss function은 -1, 255값을 받지 못함.
• 클래스 인덱스 번호가 1부터 시작하는 경우..
• softmax 함수에 잘못된 dimension을 넣은 경우 : 간혹 틀린 label -1이 들어가는 경우가 있는데 이것이 문제 유발

등등....

 

출처 : brstar96.github.io/shoveling/device_error_summary/

이유를 알 수 없는 GPU 에러 정리(device-side assert, CUDA error, CUDNN_STATUS_NOT_INITIALIZED 등등…)