RuntimeError: CUDA error: device-side assert triggered

보통 GPU에서 embedding size가 맞지 않는 것과 같은 데이터 또는 모델링 문제가 대다수라 한다.

다만, 나같은 경우엔 이미 Huggingface에서 제공하는 Transformer모델을 사용하기 때문에 Input이나 모델링은 따로 건들지 않아도 됐다.

 

좀 더 디테일한 에러 문구가 없나 찾아보던 도중 CUDA(GPU)로 돌리던 코드를 CPU로만 돌리면 디테일한 문구가 나온다 하여 CUDA_VISIBLE_DEVICES="" 로 돌려보거나 코드 상단에 아래와 같은 코드를 넣어 CPU로 돌리니 실제 hugging face 내부 함수에서 등록되어 있던 에러 문구가 등장해서 해결할 수 있었다.

import os
os.environ['CUDA_LAUNCH_BLOCKING'] = "1"


#아니면 아래 문구로 돌려도 됌
CUDA_VISIBLE_DEVICES=-1 python NN.py