gru

본 포스팅은 앞에서 다룬 RNN내용의 심화 내용으로, 3분 딥러닝 교재에 없던 LSTM과 GRU 내용을 담은 포스팅이다. RNN의 문제점 LSTM과 GRU가 나오게 된 배경으로, 기존 RNN에는 장기 의존성(Long-Term Dependency) 문제가 발생한다. 일반적인 RNN의 경우 아주 긴 문장을 입력해준다 가정하였을 때, 학습 도중에 기울기가 너무 작아지거나 커져서 앞부분에 대한 정보를 끝까지 가져오지 못할 확률이 높아진다. (Gradient vanishing/exploding) 아래 예제를 일반적인 RNN의 동작 방식은 $h_{t}$시점의 출력 결과가 이전의 $h_{t-1}$계산 결과에 의존한다. 다만, 이럴 경우 짧은 시퀀스(sequence)의 데이터에 대해서만 효과를 보이지, 긴 데이터의 경..

※ 본 게시물에 사용된 내용의 출처는 대다수 에서 사용된 자료이며, 개인적인 의견과 해석이 추가된 부분도 존재합니다. 그림의 경우 교재를 따라 그리거나, 제 임의대로 추가 수정한 부분도 존재합니다. 저 역시도 공부하고자 포스팅한 게시물이니, 잘못된 부분은 댓글로 알려주시면 감사하겠습니다. - RNN(Recurrent Neural Network) - 영화 리뷰 감정 분석 - Seq2Seq 기계 번역 RNN(Recurrent Neural Network) 이전까지 다룬 이미지는 정적인 데이터이다. 이미지를 구성하는 가로, 세로 행렬 내에 정해진 숫자가 나열되어 있는 형태로 이 데이터는 외부의 조작이 있지 않는 이상, 시간이 지나도 변하지 않는다. - Sequential Data(시계열 데이터) : 데이터 집합..