1 Auto-encoder 目的是提取特征. Auto-encoder能恢复样本训练过程,就保证了隐含层提取的特征是样本的重要,本质的特征,否则不能恢复样本.
2 用样本学习好Auto-encoder, 将时间序列样本,输入训练好的auto-encoder, 如果输出与输入残差值(平方误差和等)小表示没有异常发生,否则发生异常.
3 隐含层提取的特征很难表达,变分自编码器(Variational autoencoder,VAE):编码数据的分布 是一个描述隐含层特征的特殊自动编码器
4 RNN:
LSTM:
LSTM(Long-Short Term Memory)
原生的RNN会遇到一个很大的问题,叫做 The vanishing gradient problem for RNNs,也就是后面时间的节点对于前面时间的节点感知力下降,也就是忘事儿,这也是NN在很长一段时间内不得志的原因,网络一深就没法训练了,深度学习那一套东西暂且不表,RNN解决这个问题用到的就叫LSTM,简单来说就是你不是忘事儿吗?我给你拿个小本子把事记上,好记性不如烂笔头嘛,所以LSTM引入一个核心元素就是Cell。