python中的反向传播算法是什么？

反向传播的目的是计算成本函数


C 关于网络中任何 w 或 b 的偏导数。一旦我们有了这些偏导数，我们就可以通过某个常数 α 和该数量相对于成本函数的偏导数的乘积来更新网络中的权重和偏差。这就是流行的梯度下降算法。


而


偏导数给出了上升的方向。因此，


关于反向传播算法，我们继续查看下文。

我们向相反的方向迈出了一小步

——下降的方向，也就是将我们带到成本函数的局部最小值的方向。

图示演示

:

反向传播算法中Sigmoid函数代码演示：

# 实现 sigmoid 函数
return 1 / (1 + np.exp(-x))
def sigmoid_derivative(x):
# sigmoid 导数的计算
return sigmoid(x)*(1-sigmoid(x))

反向传播算法中

ReLU 函数导数函数代码演示：

def relu_derivative(x): # ReLU 函数的导数
d = np.array(x, copy=True) # 用于保存梯度的张量
d[x < 0] = 0 # 元素为负的导数为 0
d[x >= 0] = 1 # 元素为正的导数为 1
return d

以上内容，相信可以让我们更好的了解反向传播的实际效果。现在我们了解了反向传播的实际作用，让我们将其付诸实践

~