![]()
본 포스팅은 앞에서 다룬 RNN내용의 심화 내용으로, 3분 딥러닝 교재에 없던 LSTM과 GRU 내용을 담은 포스팅이다. RNN의 문제점 LSTM과 GRU가 나오게 된 배경으로, 기존 RNN에는 장기 의존성(Long-Term Dependency) 문제가 발생한다. 일반적인 RNN의 경우 아주 긴 문장을 입력해준다 가정하였을 때, 학습 도중에 기울기가 너무 작아지거나 커져서 앞부분에 대한 정보를 끝까지 가져오지 못할 확률이 높아진다. (Gradient vanishing/exploding) 아래 예제를 일반적인 RNN의 동작 방식은 $h_{t}$시점의 출력 결과가 이전의 $h_{t-1}$계산 결과에 의존한다. 다만, 이럴 경우 짧은 시퀀스(sequence)의 데이터에 대해서만 효과를 보이지, 긴 데이터의 경..
![]()
※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. 인공지능과 머신러닝 인공지능 : 인간의 사고를 인공적으로 모방한 모든 것 머신러닝 : 주어진 데이터를 갖고 통계학적인 모델을 학습시켜 인공지능을 구현하는 방법 딥러닝 : 머신러닝의 수많은 학습법 중 하나 딥러닝 학습 종류에는 크게 다음과 같이 나뉠 수 있음. 지도학습(Supervised Learning) : 데이터-데이터 라벨(입력 - 출력)쌍이 미리 정의된 데이터로 학습하는 경우 비지도학습(Unsupervised Le..
