模型量化中的激活函数
在之前学习的模型量化过程中,对于激活函数的处理只是简单说了一下ReLU函数的量化,这里更加具体的学习一下!
GRU(Gated Recurrent Unit)也称门控制单元结构,它也是传统RNN的变体,同LSTM一样能够有效捕捉长序列之间的语义关联,缓解梯度消失或爆炸现象。同时它的结构和计算要比LSTM更简单,它的核心结构可以分为两个部分去解析:
LSTM(Long Short-Term Memory)也称长短时记忆结构,它是传统RNN的变体,与经典RNN相比,能够有效捕捉长序列之间的语义关联,缓解梯度消失或爆炸现象,同时LSTM的结构更复杂,它的核心结构可以分为四个部分去解析: