LSTM

Source: https://commons.wikimedia.org/wiki/File:LSTM_Cell.svg

*본 게시글은 유튜브 ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU] 자료를 참고한 점임을 알립니다.

LSTM에 대해서

1. 기본 컨셉

• 장기 의존성 문제를 완화한 RNN 개선 모델
• 기존 RNN의 ‘Hidden State(\(h_{t}\))’와 더불어 ‘Cell State(\(c_{t}\))’를 제안
• Forget gate (\(f_{t}\)), Input gate (\(i_{t}\)), Output gate (\(o_{t}\)) 세가지 gate를 추가한 구조

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

• \(h_{t}\)를 다른 방식으로 계산하여 장기 의존성 문제 완화
• 핵심인 \(h_{t}\)를 구하는 데 있어 \(c_{t}\)를 활용

2. 전체 구조

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

• 최종 목표인 \(t\)시점의 \(y_{t}\)를 구하기 위한 \(h_{t}\)

3. 원리

• 첫번째 단계
• \(\tilde{c}_t\)(임시 Cell State)를 구하기 위한 \(x_{t}\)(현재 Input), \(h_{t-1}\)(이전 Hidden State)

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

• 두번째 단계
• \(c_{t}\)(현재 Cell State)를 구하기 위한 \(f_{t}\)(Forget gate), \(c_{t-1}\)(이전 Cell State), \(i_{t}\)(Input gate), \(\tilde{c}_t\)(임시 Cell State)

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

• 세번째 단계
• \(h_{t}\)(Hidden State)를 구하기 위한 \(o_{t}\)(Output gate), \(c_{t}\)(현재 Cell State)

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

• 종합

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

4. Forget / Input / Output Gate

• 과거 Cell State에서 사용하지 않을 데이터에 대한 가중치

\[f_{t}=\sigma(W_{xh_{f}}x_{t}+W_{hh_{f}}h_{t-1}+b_{h_{f}})\]

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

• 현재 Input에서 사용할 데이터를 저장하기 위한 가중치

\[i_{t}=\sigma(W_{xh_{i}}x_{t}+W_{hh_{i}}h_{t-1}+b_{h_{i}})\]

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

• 출력할 Hidden State에 Cell State를 얼마나 반영할 것인지에 대한 가중치

\[o_{t}=\sigma(W_{xh_{o}}x_{t}+W_{hh_{o}}h_{t-1}+b_{h_{o}})\]

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

• Gate는 0~1 사이의 값을 가지는 벡터

5. Cell State

• \(\tilde{c}_t\) (임시 Cell State)
  

\[\tilde{c}_t = tanh(W_{xh_{g}}x_{t}+W_{hh_{g}}h_{t-1}+b_{h_{g}})\]

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

• \({c}_t\) (현재 Cell State)
  

\[c_{t} = f_{t} \otimes c_{t-1} \oplus i_{t} \otimes \tilde{c}_t (\otimes = elementwise-product)\]

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

• [1] Forget Gate의 역할 (\(c_{t-1}\)의 정보를 조절)

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

• [2] Input Gate의 역할 (\(\tilde c_{t}\)의 정보를 조절)

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

• [1] + [2] 를 합하여 \({c}_t\) (현재 Cell State)

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

6. Hidden State

• Output Gate \(o_{t}=\sigma(W_{xh_{o}}x_{t}+W_{hh_{o}}h_{t-1}+b_{h_{o}})\)

• Hidden State \(h_{t} = o_{t} \odot tanh(c_{t})\)

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

7. ETC

• LSTM with peephole connections
• Gate에 \(c_{t}\) or \(c_{t-1}\) 정보를 활용

\[f_{t}=\sigma(W_{xh_{f}}x_{t}+W_{hh_{f}}h_{t-1}+W_ch_{f}c_{t-1}+b_{h_{f}})\] \[i_{t}=\sigma(W_{xh_{i}}x_{t}+W_{hh_{i}}h_{t-1}+W_ch_{i}c_{t-1}+b_{h_{i}})\] \[o_{t}=\sigma(W_{xh_{o}}x_{t}+W_{hh_{o}}h_{t-1}+W_ch_{o}c_{t}+b_{h_{o}})\]

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

• GRU
• LSTM의 구조를 개선하여 파라미터 개수를 줄임
• Forget Gate, Input Gate를 ‘Update Gate(\(z_{t}\))’로 통합
• Output Gate를 대체할 ‘Reset Gate(\(r_{t}\))’ 정의
• Cell State, Hidden State를 ‘Hidden State’로 통합

Source: ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]

참고 자료

• https://commons.wikimedia.org/wiki/File:LSTM_Cell.svg
• ‘김성범[ 교수 / 산업경영공학부 ]’ [핵심 머신러닝 RNN, LSTM and GRU]