“动量”简单来说就是：移动加权平均。 $$ y_t = m \times y_{t-1} + (1 - m) \times x_t $$ where $m \in [0, 1]$.

上式就是表达了这么个意思：

当前时刻输出 $y_t$ 除了受到当前输入 $x_t$ 的影响，还有上一个时刻输出 $y_{t-1}$ 的影响， 而其影响程度由“动量 (momentum)” $m$ 来决定。则有：$m$ 趋向于1，$y_t$ 与上一个时刻相同。

大约是说，不希望当前时刻的输出完全依赖于当前时刻的输入，还希望上一个时刻的输出来凑凑热闹。