related link Pytorch RuntimeError: Expected tensor for argument #1 'indices' to have scalar type Long; but got CUDAType instead I am trying to re-execute a GitHub project on my computer for recommendation using embedding, the goal is to first embed the user and item present in the movieLens dataset, and then use the inner p... stackoverflow.com nn.Embedding처럼 임베딩하는 과정에서 input data의 타입때문에 발생한 오류인..
분류 전체보기
python 코딩 중 특히나 머신러닝처럼 feature의 사이즈에 민감한 코드의 경우, python debugger 즉 pdb가 큰 도움이 될 수 있다. 이 pdb 모듈을 사용하면 마치 eclipse나 visual studio, pycharm처럼 매 순간의 변수값을 알아낼수도 있고 직접 trace를 볼 수도 있다. pdb — 파이썬 디버거 — Python 3.7.9 문서 pdb — 파이썬 디버거 소스 코드: Lib/pdb.py pdb 모듈은 파이썬 프로그램을 위한 대화형 소스 코드 디버거를 정의합니다. 소스 라인 단계의 중단점(breakpoint) 및 단계 실행(single stepping) 설정, 스택 프 docs.python.org import pdb; pdb.set_trace() 상단의 코드를 디버..
※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. - AutoGrad, 경사하강법- 경사하강법(Gradient descent)으로 이미지 복원- 신경망 모델 구현 AutoGrad : 기울기(gradient)를 자동으로 계산정답(ground truth) - 예측 값(prediction value) = 거리(distance)학습 데이터에 대하여 거리들의 평균 = 오차(loss) ==> 오차가 작은 모델 == 데이터에 잘 학습된 좋은 모델 그 중, 오차를 최소화 하는 알..
※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. - Tensor 연산 Tensor- 텐서(Tensor) : 파이토치에서 다양한 수식을 계산하는데 사용하는 기본적 자료구조(행렬, 벡터 구조)- 차원(랭크)이 0 : 숫자가 1개 ==> 스칼라(scalar)- 차원(랭크)이 1 : 일렬로 숫자를 나열 ==> 벡터(vector)- 차원(랭크)이 2 : 숫자를 가로, 세로로 나열 ==> 행렬(matrix)- 차원(랭크)이 N>2: N차원 Tensor [사용법]import ..
※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. 인공지능과 머신러닝 인공지능 : 인간의 사고를 인공적으로 모방한 모든 것 머신러닝 : 주어진 데이터를 갖고 통계학적인 모델을 학습시켜 인공지능을 구현하는 방법 딥러닝 : 머신러닝의 수많은 학습법 중 하나 딥러닝 학습 종류에는 크게 다음과 같이 나뉠 수 있음. 지도학습(Supervised Learning) : 데이터-데이터 라벨(입력 - 출력)쌍이 미리 정의된 데이터로 학습하는 경우 비지도학습(Unsupervised Le..
Google Colab(Colaboratory) https://colab.research.google.com/ Google Colaboratory colab.research.google.com - 구글에서 무료로 제공하는 딥러닝 환경으로 무료 GPU를 적용할 수 있는 개발 환경 - 대부분의 라이브러리는 자동으로 설치되어 있으므로 따로 설치과정이 불필요 - Google Drive와 Jupyter Notebook(.ipynb)을 사용하기에 따로 설치하는 과정이 없고, 클라우드 상에서 동작. - 인터넷 브라우저로 실행하기에 사용이 간단하고, 다른 사람과의 코드 공유, 공동 개발도 쉬움. - 코드는 ipynb 파일, 학습에 사용하는 데이터도 구글 드라이브에 올려놓으면 됨. 다만, - 상업적 용도 불가. - 공용..
이미 다루고 있던 Pytorch를 전체적으로 한번 다듬기 위한 기초 자료 가장 깔끔하고 기초부터 쉽게 나와있는 책이라 생각되어 이 도서를 바탕으로 진행. 관련 코드는 아래 깃허브에 공유되어 있음. github.com/keon/3-min-pytorch keon/3-min-pytorch 예제 코드. Contribute to keon/3-min-pytorch development by creating an account on GitHub. github.com
1. A는 한국IT 보안관제실에서 근무하게 되었다. A는 정보시 스템 운영 중 서버가 다운되거나 자연 재해나 시스템 장애 등의 이유로 대고객 서비스가 불가능한 경우가 종종 발생 한다. 이와 같은 상황에서의 “비상사태 또는 업무중단 시 점부터 업무가 복구되어 다시 정상가동 될 때까지의 시간” 을 의미하는 용어를 쓰시오. 2. asia = {'한국', '중국', '일본'} asia.add('베트남') asia.add('중국') asia.remove('일본') asia.update({'한국', '홍콩', '태국'}) print(asia) 3. 클라이언트와 서버 간 자바스크립트 및 XML을 비동기 방 식으로 처리하며 전체 페이지를 새로 고치치 않고도 웹페 이지 일부 영역 부분만을 업데이트하는 것을 가능케 한다 ..
DTW함수를 구현해 사용하던 중, 다음과 같은 오류가 발생. TypeError: 'module' object is not callable 내가 Import한 모듈이 마치 클래스처럼 사용된다는 의미에서 발생한 오류다. 찾아보니깐 파일 이름과 클래스 이름을 동일하게 했을 때 이 오류가 발생한다고 한다. ==> 아래 코드처럼 [dtw.py] import dtw . . . class dtw(): . . . 함수 이름 및 파일 이름 설정을 잘 수정하면 해결할 수 있다.
Ubuntu 사용하면서 GPU 사용량을 체크하기 위해 Nvidia-smi를 많이 사용한다. 이 중 Python에서 Ctrl+Z를 눌러 의도치 않은 쓰레기 프로세스가 생길 경우 다음 커맨드로 삭제해줘야 한다. sudo kill -9 $PID (ex sudo kill -9 10361)
>>> import platform >>> print(platform.architecture()) >>> ('64bit', 'WindowsPE') Python Bit 확인법
nn.Embedding()을 사용할 때, input vocab_size를 잘못잡아주면서 오류가 발생.. device-side assert triggered THCudaCheck FAIL file=/pytorch/aten/src/THC/THCCachingHostAllocator.cpp line=265 error=59 : device-side assert triggered *** RuntimeError: cuda runtime error (59) : device-side assert triggered at /pytorch/aten/src/THC/THCCachingHostAllocator.cpp:265 해결 방법으로는 Embedding(inputs)에서 inputs를 까봤을 때, vocab_size보다 큰 값..
Windows 10 기준 nvidia GPU 사용량을 볼 수 있는 cmd 명령어 Ubuntu에서 사용하던 nvidia-smi 명령어를 Windows에서 사용하는 방법 Windows키 + R = cmd cmd 창 내에서 cd C:\Program Files\NVIDIA Corporation\NVSMI nvidia-smi.exe nvidia 옵션도 충분히 사용이 가능하다.
Python 실행 특히, Window에서 작업할 땐 항상 파일 경로 땜에 문제가 많다. SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escape Jupyter notebook에서는 파일 경로가 '/'로 표현되어야 하는데 단순히 코드에 있던 경로나 아래처럼 폴더 경로를 복붙해올 경우, 상단처럼 오류가 발생한다. "\" 이 문자를 "/"로 변경한 후, 다시 실행시키면 오류가 없어진다.
anaconda 가상환경 상태에서 jupyter notebook 파일을 실행시킬 때 간혹 기존의 라이브러리가 없다고 뜨는 경우가 있다. 이는 jupyter notebook이 conda환경에서 따로 설치하지 않아도 되기 때문이다. 간단하게 conda install jupyter 를 사용하여 jupyter notebook을 실행시키면 정상적으로 동작할 것이다. 이외에도 ipython 설치(pip install ipython)하고 ipython notebook 커맨드로 ipynb파일 실행시켜 작업하는게 가장 빠르다. somjang.tistory.com/entry/Python-Jupyter-Notebook-%EC%97%90-%EA%B0%80%EC%83%81%ED%99%98%EA%B2%BD-%EC%BB%A4%EB..
