长短期记忆网络LSTM
LSTM中所包含的三个门:ftf_tft、iti_tit、oto_tot,
ftf_tft:遗忘门,控制保留了多少旧记忆单元Ct−1C_{t-1}Ct−1的内容。
iti_tit:输入门,控制采用多少来自CtC_tCt的新数据。
Ct=Ct−1⊙ft+gt⊙itC_t =C_{t-1}\odot f_t + g_t\odot i_tCt=Ct−1⊙ft+gt⊙it,通过该机制来控制输入和遗忘,也就是“存储单元”。
oto_tot:输出门:控制t时刻状态所少用于输出。