G検定学習記録_系列データのニューラルネットワーク(RNN)
続き。 今回は系列データ(RNN)。再帰型ニューラルネットワークとも呼ばれる。特に株価など時間軸に並んでいるデータを時系列データと呼ぶ。
RNNの問題
- 重み衝突問題
RNNは系列データを扱っているため、現在は関係性が低くても将来的に高くなる場合が存在する。この場合に重みをどう処理するか問題。
- 勾配消失問題
誤差逆伝播で深くまで誤差を逆伝播すると勾配が非常に小さくなってしまう問題。
RNNの発展系
| 用語 | 解説 |
|---|---|
| 双方向RNN | 過去から未来だけではなく、未来から過去方向へも予測が可能。ex.ある文字列の後ろ |
| BiRNN | 2つのRNNを積み重ねた構造 |
| Seq2Seq | エンコーダとデコーダの2つのRNNから構成されている |
| GNMT | Google翻訳の流暢性と精度を高めるように設計されたSeq2Seqモデル |
| トランスフォーマー | RNNを使わずにAttentionのみで構成されたモデル |
RNNもイメージが難しい。。。
