由于一开始v0都是初始化为0，导致在初始计算时会计算差别很大，如上述每月温度，假设beta为0.9，则第一天的温度为:
v
1
=
0.9
∗
0
+
(
1
−
0.9
)
24
=
2.4
v_1=0.9*0+(1-0.9)24=2.4
v1=0.9∗0+(1−0.9)24=2.4可以明显看出，这与第一天温度相差非常大，于是为了弥补这一误差，所以采用如下公式来更新
v
t
v_t
vt的值
v
t
=
v
t
1
−
β
t
=
β
v
t
−
1
+
(
1
−
β
)
θ
t
1
−
β
t
v_t=\frac{v_t}{1-\beta^t}=\frac{\beta v_{t-1}+(1-\beta)\theta_t}{1-\beta^t}
vt=1−βtvt=1−βtβvt−1+(1−β)θt通过该公式重新计算
v
1
v_1
v1的值：
v
1
=
0.9
∗
0
+
(
1
−
0.9
)
∗
24
1
−
0.
9
1
=
24
v_1=\frac{0.9*0+(1-0.9)*24}{1-0.9^1}=24
v1=1−0.910.9∗0+(1−0.9)∗24=24
可以看出，经过偏差修正后的数值回归到了一个正常的水平，并且随着
t
t
t的数值越大，
β
t
\beta^t
βt会越来越趋向于0，整个分母则会越来越趋向于1，于是偏差修正也会越来越无效。
动量梯度下降法
动量梯度下降法就是采用了指数加权平均之后的梯度下降法
如何计算
RMSprop
如何计算
Adam
Adam是由动量梯度下降法和RMSprop组合而成
计算方法
对于所有的迭代下来说
v
d
w
=
β
1
v
d
w
+
(
1
−
β
1
)
d
w
,
v
d
b
=
β
1
v
d
b
+
(
1
−
β
1
)
d
b
v_{dw}=\beta_1v_{dw}+(1-\beta_1)dw,v_{db}=\beta_1v_{db}+(1-\beta_1)db
vdw=β1vdw+(1−β1)dw,vdb=β1vdb+(1−β1)db
s
d
w
=
β
2
s
d
w
+
(
1
−
β
2
)
d
w
2
,
s
d
b
=
β
2
s
d
b
+
(
1
−
β
2
)
d
b
2
s_{dw}=\beta_2s_{dw}+(1-\beta_2)dw^2,s_{db}=\beta_2s_{db}+(1-\beta_2)db^2
sdw=β2sdw+(1−β2)dw2,sdb=β2sdb+(1−β2)db2
v
d
w
c
o
r
r
e
n
t
e
d
=
v
d
w
1
−
β
1
t
,
v
d
b
c
o
r
r
e
n
t
e
d
=
v
d
b
1
−
β
1
t
v_{dw}^{corrented}=\frac{v_{dw}}{1-\beta_1^t},v_{db}^{corrented}=\frac{v_{db}}{1-\beta_1^t}
vdwcorrented=1−β1tvdw,vdbcorrented=1−β1tvdb
s
d
w
c
o
r
r
e
n
t
e
d
=
s
d
w
1
−
β
2
t
,
s
d
b
c
o
r
r
e
n
t
e
d
=
s
d
b
1
−
β
2
t
s_{dw}^{corrented}=\frac{s_{dw}}{1-\beta_2^t},s_{db}^{corrented}=\frac{s_{db}}{1-\beta_2^t}
sdwcorrented=1−β2tsdw,sdbcorrented=1−β2tsdb
w
:
=
w
−
α
v
d
w
c
o
r
r
e
n
t
e
d
s
d
w
c
o
r
r
e
n
t
e
d
+
ε
,
b
:
=
b
−
α
v
d
b
c
o
r
r
e
n
t
e
d
s
d
b
c
o
r
r
e
n
t
e
d
+
ε
w:=w-\alpha\frac{v_{dw}^{corrented}}{\sqrt{s_{dw}^{corrented}+\varepsilon}},b:=b-\alpha\frac{v_{db}^{corrented}}{\sqrt{s_{db}^{corrented}+\varepsilon}}
w:=w−αsdwcorrented+εvdwcorrented,b:=b−αsdbcorrented+εvdbcorrented
