BP算法示例 郝伟 2020/08/31 [TOC]

1. 1 定义神经网络

根据身高H和体重W，我们可以建立以下的神经网络：

2. 2 建立损失函数

根据上一节的内容，我们可以知道，损失函数可以定义如下： $$Loss=\frac{1}{n}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$ 所以，损失函数实际是上包括 $w_1, w_2, w_3, w_4, w_5, w_6, b_1, b_2, b_3​$ 9个变量的多元函数，即 $Loss(w_1, w_2, w_3, w_4, w_5, w_6, b_1, b_2, b_3​)$

$h1$ 和 $h_2$ 的净输出为： $net{h1} = w_1H + w_2 W + b_1$ $net{h_2} = w_3H + w_4 W + b_2$ 为了让输出避免线性相关，我们使用 Sigmod函数进行计算：$S\left(x\right)=\frac{1}{1-e^{-x}}$ 另外，由于$S^{{}^{\prime }}\left(x\right)=\frac{e^x}{(1+e^{-x}{)}^2}=S\left(x\right)(1-S(x\left)\right)$所以 $\frac{\partial ou{t}_{h_1}}{\partial ne{t}_{h_1}}=S^{{}^{\prime }}\left(ne{t}_{h_1}\right)=ou{t}_{h_1}\ast (1-ou{t}_{h_1})$ 求对应的实际输出，分别为： $ou{t}_{h_1}=S\left(h_1\right)ou{t}_{h_2}=S\left(h_2\right)$ 从而最终的输出为：$O=w_5\ast ou{t}_{h_1}+w_6\ast ou{t}_{h_2}+b_3$ 所以损失函数的表达式为： $$Loss=(y_i-{\hat{y}}_i{)}^2=(y_i-O{)}^2$$

3. 3 随机梯度下降（SGD）

$$w_i^{+}\leftarrow 1-\eta \ast \frac{\partial O}{\partial w_i}$$

现在让我们来求$w_1$ 的变化率： $$\frac{\partial Loss}{\partial w_1}=\frac{\partial Loss}{\partial O}\ast \frac{\partial O}{\partial ou{t}_{h_1}}\ast \frac{\partial ou{t}_{h_1}}{\partial ne{t}_{h_1}}\ast \frac{\partial ne{t}_{h_1}}{\partial w_1}$$

代入可得： $$\frac{\partial Loss}{\partial w_1}=(O-y_i)\ast w_5\ast ou{t}_{h_1}(1-ou{t}_{h_1})\ast H$$

4. 4 计算

（略）