(tensor == target_value).nonzero(as_tuple=True) https://stackoverflow.com/questions/47863001/how-pytorch-tensor-get-the-index-of-specific-value How Pytorch Tensor get the index of specific value With python lists, we can do: a = [1, 2, 3] assert a.index(2) == 1 How can a pytorch tensor find the .index() directly? stackoverflow.com
머신러닝/Pytorch 딥러닝 기초
1. Dataloader shuffle=False일 때, dataset = torchvision.datasets.ImageFolder(, transforms=) dataloader = torch.utils.data.DataLoader(dataset, batch_size=, shuffle=False) # 이미 기존 DataLoader에서 shuffle을 사용하지 않을 경우, "dataloader.dataset.samples"안에 # (파일경로, 라벨) 튜플로 이루어진 list형태로 저장되어 있다. allFiles, _ = map(list, zip(*dataloader.dataset.samples)) for i, (inputs, labels) in enumerate(dataloader): inputs = i..
이미 예전부터 많은 사람들이 쓰고 있는 LR 스케줄러로, 통상적으로 이런 포맷을 만들 수 있다는 점에서 큰 장점을 가진다. Pytorch에 공식으로 구현된 CosineAnnealingWarmRestart는 Warmup start가 구현되어 있지 않고 lr 최댓값이 감소하는 방안에 대해서 구현되어 있지 않다고 한다. 아래 블로그 링크를 참고하면 친절하신 어느 개발자께서 구현해주신 Custom Cosine AnnealingWarmupRestart를 많이 사용하곤 하는데, 나는 이상하게 저분 코드만 사용하면 기대하는 모습의 lr_scheduler가 나오지 않는다. 더보기 (optimzer의 초기 lr을 0로 두고 진행하는데도, 이상하게 아래 이미지 초록색 라인처럼 자꾸 lr이 위로 올라감.) https://g..
Pytorch 기반의 딥러닝 모델 사용 도중, torch.utils.data.Dataloader로 정의된 dataloader의 next()함수를 호출하여 데이터를 로딩하는 과정에서 상당히 오랜 시간이 걸렸고, ctrl + C로 중단시켜 보니 아래와 같은 오류가 뜬다. ^CTraceback (most recent call last): File "train.py", line 243, in main(args) File "train.py", line 165, in main image_tensors, labels = train_dataset.get_batch() File "dataset.py", line 156, in get_batch image, text = data_loader_iter.next() File ..
※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. +) 본 포스팅은 기초 RL 용어는 알고 있다는 전제 하에 작성하였습니다. RL에 대한 기초적인 정보는 다른 포스팅을 참고해주시기 바랍니다. Model-Based Algorithm vs Model-Free Algorithm Model-based algorithm : 환경에 대해 이미 다 알고 학습 - 환경(environment)에 대해 알고 있고, 행동에 따른 환경 변화를 아는 알고리즘 - 어떤 state에서 어떤 ac..
※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. - GAN의 기초 - GAN으로 새로운 패션 아이템 생성하기 - cGAN으로 생성 제어하기 GAN이란 GAN(Generative Adversarial Network) - lan Goodfellow(2014)에서 제안한 네트워크 모델 - Unsupervised Learning(비지도학습)의 대표적인 알고리즘 - 서로 대립하는 역할의 두 모델이 경쟁하여 학습하는 방법론 G: Generative - GAN은 생성모델로 이미지..
※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. - Adversarial attack - FGSM attack Adversarial Attack 머신러닝 기반의 서비스가 많아지면서, 자연스럽게 보안의 중요성도 높아져가고 있다. 자율주행, 은행의 비정상거래탐지, 의료영상분석 모델 등 시스템 상 실수가 용납되지 않는 분야에서는 신뢰도를 떨어뜨리는 것 자체가 치명적이다. 자율주행차가 표지판을 못보도록, 의료진단 시스템이 병을 놓치는 등, 다양한 공격방법이 날로 증가하고 있..
본 포스팅은 앞에서 다룬 RNN내용의 심화 내용으로, 3분 딥러닝 교재에 없던 LSTM과 GRU 내용을 담은 포스팅이다. RNN의 문제점 LSTM과 GRU가 나오게 된 배경으로, 기존 RNN에는 장기 의존성(Long-Term Dependency) 문제가 발생한다. 일반적인 RNN의 경우 아주 긴 문장을 입력해준다 가정하였을 때, 학습 도중에 기울기가 너무 작아지거나 커져서 앞부분에 대한 정보를 끝까지 가져오지 못할 확률이 높아진다. (Gradient vanishing/exploding) 아래 예제를 일반적인 RNN의 동작 방식은 $h_{t}$시점의 출력 결과가 이전의 $h_{t-1}$계산 결과에 의존한다. 다만, 이럴 경우 짧은 시퀀스(sequence)의 데이터에 대해서만 효과를 보이지, 긴 데이터의 경..
※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. - RNN(Recurrent Neural Network) - 영화 리뷰 감정 분석 - Seq2Seq 기계 번역 RNN(Recurrent Neural Network) 이전까지 다룬 이미지는 정적인 데이터이다. 이미지를 구성하는 가로, 세로 행렬 내에 정해진 숫자가 나열되어 있는 형태로 이 데이터는 외부의 조작이 있지 않는 이상, 시간이 지나도 변하지 않는다. - Sequential Data(시계열 데이터) : 데이터 집합..
※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. - Supervised learning / Unsupervised learning - AutoEncoder Supervised vs Unsupervised Learning 이전까지 다뤘던 분류 모델들은 대다수 정답이 존재하는 데이터들로, 지도 학습(Supervised learning)을 가능케 하는 문제들이다. 하지만, 대다수 실세계의 수집 데이터는 특정 정답이 없으며, 단순히 주어진 데이터들을 구분할 수 있는 특정 패..
※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. - Simple CNN 코드 리뷰 - Deep CNN - ResNet - Batch Normalization - VGG Simple CNN 코드 리뷰 일전에 언급했던 CNN의 기본적인 구조를 구현해놓은 간단한 코드를 분석해본다. - 사용코드 yellowjs0304/3-min-pytorch 예제 코드. Contribute to yellowjs0304/3-min-pytorch development by creating an..
※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. - CNN(Convlutional Neural Network)의 기초 - Convolutional filter(kernel), Feature map, Padding, Pooling 컴퓨터의 이미지 처리 - 이미지 : 픽셀 값을 가로, 세로로 나열한 일종의 행렬 - 기초적인 인공 신경망(FC layer)기반의 이미지 처리 : 이전에 다루었던 Fully Connected Layer는 다수의 뉴런 집합체이며, 이전 챕터에서 ..
※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. - Overfitting - Dropout 과적합, 드롭아웃 - Overfitting(과적합) : 머신러닝 모델이 학습 데이터에만 치중되어, 정작 테스트 데이터에서는 성능이 하락하는 경우 - Underfitting(과소적합) : 학습데이터도 제대로 학습하지 못한 경우 - Generalization(일반화) : 학습데이터와 학습되지 않은 실제 데이터 상에서 동시에 높은 성능을 내는 상태 실제 머신러닝에서의 가장 큰 관건은..
※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. - Fashion MNIST - Deep Neural Network Fashion MNIST 데이터셋 분석해보기 FasionMNIST - 28×28 픽셀의 흑백 이미지 - 70,000장 (train set : 60,000 / test set : 10,000) 으로 구성 - 총 10개의 클래스(의류,가방)등의 이미지를 포함한 데이터셋 - 이미 가공되어 있는 데이터셋이기 때문에 단순히 Torch로 다운받아 사용할 수 있다...
※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. - supervised learning - classification - regression Supervised Learning(지도 학습) Label이 존재하는 훈련 데이터로부터 특정 목적 함수를 유추할 수 있도록 반복된 학습을 진행하는 방법 크게 분류(classification)과 회귀(regression)으로 나뉠 수 있다. - 분류(classification) : 데이터를 특정 클래스로 분류하는 작업을 의미하며,..
