此條目介紹的是计算机算法。关于生物过程，请见「
神经反向传播 」。
反向传播 （英語：Backpropagation ，意為误差反向传播 ，缩写为BP ）是對多層人工神经网络 進行梯度下降 的算法，也就是用链式法则 以网络每层的权重為變數计算损失函数 的梯度，以更新权重來最小化损失函数。
任何监督式学习 算法的目标是找到一个能把一组输入最好地映射到其正确的输出的函数。例如一个简单的分类 任务，其中输入是动物的图像，正确的输出将是动物的名称。一些输入和输出模式可以很容易地通过单层神经网络（如感知器 ）学习。但是这些单层的感知机只能学习一些比较简单的模式，例如那些非线性可分的 [ 1] [ 1]
反向传播算法（BP 算法）主要由两个阶段组成：激励传播与权重更新。
每次迭代中的传播环节包含两步：
（前向传播阶段）将训练输入送入网络以获得預測結果；
（反向传播阶段）對預測結果同训练目标求差(损失函数 )。
对于每个突触上的权重，按照以下步骤进行更新：
将输入激励和响应误差相乘，从而获得权重的梯度；
将这个梯度乘上一个比例并取反后加到权重上。 这个比例（百分比）将会影响到训练过程的速度和效果，因此成为「训练因子」。梯度的方向指明了误差扩大的方向，因此在更新权重的时候需要对其取反，从而减小权重引起的误差。
第 1 和第 2 阶段可以反复循环迭代，直到网络对输入的响应达到满意的预定的目标范围为止。
假設多層人工神经网络 的第
l
{\displaystyle l}
线性算子
W
l
:
R
n
l
− − -->
1
→ → -->
R
n
l
{\displaystyle W^{l}:\mathbb {R} ^{n_{l-1}}\to \mathbb {R} ^{n_{l}}}
f
l
:
R
→ → -->
R
{\displaystyle f^{l}:\mathbb {R} \to \mathbb {R} }
l
{\displaystyle l}
n
l
− − -->
1
{\displaystyle n_{l-1}}
实数 向量
y
l
− − -->
1
=
(
x
1
,
x
2
,
⋯ ⋯ -->
,
x
n
l
− − -->
1
)
{\displaystyle y^{l-1}=(x_{1},\,x_{2},\,\cdots ,\,x_{n_{l-1}})}
輸出則為
n
l
{\displaystyle n_{l}}
y
l
=
(
y
1
,
y
2
,
⋯ ⋯ -->
,
y
n
l
)
{\displaystyle y^{l}=(y_{1},\,y_{2},\,\cdots ,\,y_{n_{l}})}
換句話說，第
l
− − -->
1
{\displaystyle l-1}
y
l
− − -->
1
{\displaystyle y^{l-1}}
l
{\displaystyle l}
而
y
l
{\displaystyle y^{l}}
y
l
− − -->
1
{\displaystyle y^{l-1}}
i
{\displaystyle i}
遞迴關係 為
y
l
i
=
f
l
{
[
W
l
(
y
l
− − -->
1
)
]
i
}
=
f
l
[
∑ ∑ -->
j
=
1
n
l
− − -->
1
y
j
l
− − -->
1
W
j
i
l
]
{\displaystyle {y^{l}}_{i}=f^{l}\{\,[W^{l}(y^{l-1})]_{i}\,\}=f^{l}\left[\,\sum _{j=1}^{n_{l-1}}y_{j}^{l-1}W_{ji}^{l}\,\right]}
1
≤ ≤ -->
i
≤ ≤ -->
n
l
{\displaystyle 1\leq i\leq n_{l}}
上式通常會簡寫為
y
l
=
f
l
[
W
l
(
y
l
− − -->
1
)
]
{\displaystyle y^{l}=f^{l}[\,W^{l}(y^{l-1})\,]}
若這個多層人工神經網路總共有
L
{\displaystyle L}
y
0
{\displaystyle y^{0}}
y
L
{\displaystyle y^{L}}
损失函数
g
{\displaystyle g}
y
L
{\displaystyle y^{L}}
y
L
i
{\displaystyle {y^{L}}_{i}}
遞迴關係 ，可以把
g
{\displaystyle g}
L
{\displaystyle L}
y
L
− − -->
1
{\displaystyle y^{L-1}}
W
m
i
j
{\displaystyle {W^{m}}_{ij}}
函数
g
L
{\displaystyle g^{L}}
g
L
(
W
i
j
L
,
y
k
L
− − -->
1
)
=
g
[
f
L
(
∑ ∑ -->
a
=
1
n
L
− − -->
1
y
a
L
− − -->
1
W
a
b
L
)
]
{\displaystyle g^{L}(W_{ij}^{L},\,{y_{k}^{L-1}})=g\left[\,f^{L}\left(\sum _{a=1}^{n_{L-1}}y_{a}^{L-1}W_{ab}^{L}\right)\,\right]}
1
≤ ≤ -->
k
≤ ≤ -->
n
L
− − -->
1
{\displaystyle 1\leq k\leq n_{L-1}}
1
≤ ≤ -->
b
≤ ≤ -->
n
L
{\displaystyle 1\leq b\leq n_{L}}
由此可以歸納到
1
≤ ≤ -->
l
<
L
{\displaystyle 1\leq l<L}
g
l
(
W
i
j
l
,
⋯ ⋯ -->
,
W
i
j
L
,
y
k
l
− − -->
1
)
=
g
l
+
1
[
W
i
j
l
+
1
,
⋯ ⋯ -->
,
W
i
j
L
,
f
l
(
∑ ∑ -->
a
=
1
n
l
− − -->
1
y
a
l
− − -->
1
W
a
b
l
)
]
{\displaystyle g^{l}(W_{ij}^{l},\,\cdots ,\,W_{ij}^{L},\,{y_{k}^{l-1}})=g^{l+1}\left[\,W_{ij}^{l+1},\,\cdots ,\,W_{ij}^{L},\,f^{l}\left(\sum _{a=1}^{n_{l-1}}y_{a}^{l-1}W_{ab}^{l}\right)\,\right]}
1
≤ ≤ -->
k
≤ ≤ -->
n
l
− − -->
1
{\displaystyle 1\leq k\leq n_{l-1}}
1
≤ ≤ -->
b
≤ ≤ -->
n
l
{\displaystyle 1\leq b\leq n_{l}}
那這樣如果假設適當的可微分條件 ，由链式法则 會有以下的遞迴關係 ( 若取
g
L
+
1
:=
g
{\displaystyle g^{L+1}:=g}
1
≤ ≤ -->
l
≤ ≤ -->
L
{\displaystyle 1\leq l\leq L}
∂ ∂ -->
g
l
∂ ∂ -->
W
c
d
l
=
∂ ∂ -->
g
l
+
1
∂ ∂ -->
y
l
d
|
y
l
d
=
f
l
(
x
)
× × -->
d
f
l
d
x
|
x
=
∑ ∑ -->
y
l
− − -->
1
a
W
a
d
l
× × -->
y
l
− − -->
1
c
{\displaystyle {\frac {\partial g^{l}}{\partial W_{cd}^{l}}}={\frac {\partial g^{l+1}}{\partial {y^{l}}_{d}}}{\bigg |}_{{y^{l}}_{d}=f^{l}(x)}\times {\frac {df^{l}}{dx}}{\bigg |}_{x=\sum {y^{l-1}}_{a}W_{ad}^{l}}\times {y^{l-1}}_{c}}
∂ ∂ -->
g
l
∂ ∂ -->
y
l
− − -->
1
c
=
∑ ∑ -->
i
=
1
n
l
[
∂ ∂ -->
g
l
+
1
∂ ∂ -->
y
l
i
|
y
l
i
=
f
l
(
x
)
× × -->
d
f
l
d
x
|
x
=
∑ ∑ -->
y
l
− − -->
1
a
W
a
i
l
× × -->
W
c
i
l
]
{\displaystyle {\frac {\partial g^{l}}{\partial {y^{l-1}}_{c}}}=\sum _{i=1}^{n_{l}}\left[\,{\frac {\partial g^{l+1}}{\partial {y^{l}}_{i}}}{\bigg |}_{{y^{l}}_{i}=f^{l}(x)}\times {\frac {df^{l}}{dx}}{\bigg |}_{x=\sum {y^{l-1}}_{a}W_{ai}^{l}}\times W_{ci}^{l}\,\right]}
這樣就可以依據這個遞迴關係 進行梯度下降 ，因為計算上是由
y
L
i
{\displaystyle {y^{L}}_{i}}
损失函数
g
{\displaystyle g}
偏微分 出發，一層層向後遞推出前面各層的權重因子梯度，所以被稱為反向傳播 。
注意到可將輸入設為
y
l
− − -->
1
=
(
1
,
x
1
,
x
2
,
⋯ ⋯ -->
,
x
n
l
− − -->
1
)
{\displaystyle y^{l-1}=(1,\,x_{1},\,x_{2},\,\cdots ,\,x_{n_{l-1}})}
並多加一行權重因子
W
i
0
l
{\displaystyle W_{i0}^{l}}
三层网络算法（只有一个隐藏层）：
初始化网络权值（通常是小的随机值）
do
forEach 训练样本 ex
prediction = neural-net-output (network, ex) // 正向传递
actual = teacher-output (ex)
计算输出单元的误差 (prediction - actual)
计算
Δ Δ -->
w
h
{\displaystyle \Delta w_{h}}
// 反向传递
计算
Δ Δ -->
w
i
{\displaystyle \Delta w_{i}}
// 继续反向传递
更新网络权值 // 输入层不会被误差估计改变
until 所有样本正确分类或满足其他停止标准
return 该网络
这个算法 的名称意味着误差会从输出结点反向传播到输入结点。严格地讲，反向传播算法对网络的可修改权值计算了网络误差的梯度。[ 2] 随机梯度下降法 极小值 。
在给出反向传播算法的数学推导之前，我们举一个例子来培养关于神经元的真实输出与正确输出间的直观感受。考虑一个有两个输入单元、一个输出单元、没有隐藏单元的简单神经网络。每个神经元都使用输入的加权作为线性输出 [ note 1]
具有2个输入单元和1个输出单元的一个简单的神经网络 在训练之前，我们将随机分配权重
w
1
,
w
2
{\displaystyle w_{1},w_{2}}
训练实例 进行学习。在此例中，训练集为 (
x
1
{\displaystyle x_{1}}
x
2
{\displaystyle x_{2}}
t
{\displaystyle t}
x
1
{\displaystyle x_{1}}
x
2
{\displaystyle x_{2}}
t
{\displaystyle t}
x
1
{\displaystyle x_{1}}
x
2
{\displaystyle x_{2}}
y
{\displaystyle y}
t
{\displaystyle t}
t
{\displaystyle t}
y
{\displaystyle y}
E
=
(
t
− − -->
y
)
2
{\displaystyle E=(t-y)^{2}\,}
其中
E
{\displaystyle E}
举例来讲，考虑单一训练实例的网络：
(
1
,
1
,
0
)
{\displaystyle (1,1,0)}
x
1
{\displaystyle x_{1}}
x
2
{\displaystyle x_{2}}
t
{\displaystyle t}
y
{\displaystyle y}
E
{\displaystyle E}
y
{\displaystyle y}
抛物线 的极小值 对应输出
y
{\displaystyle y}
E
{\displaystyle E}
x
{\displaystyle x}
t
{\displaystyle t}
y
{\displaystyle y}
最佳化問題 。
单一训练实例的线性神经元的误差曲面。 然而，一个神经元的输出取决于其所有输入的加权总和：
y
=
x
1
w
1
+
x
2
w
2
{\displaystyle y=x_{1}w_{1}+x_{2}w_{2}}
其中
w
1
{\displaystyle w_{1}}
w
2
{\displaystyle w_{2}}
抛物面 （若一个神经元有
k
{\displaystyle k}
維度 就会是
k
+
1
{\displaystyle k+1}
k
+
1
{\displaystyle k+1}
两个输入误差的神经元的误差曲面 反向传播算法的目的是找到一组能最大限度地减小误差的权重。寻找抛物线或任意维度中的任何函数的极大值的方法有若干种。其中一种方法是通过求解方程组，但这依赖于网络是一个線性系統 ，而目标也需要可以训练多层非線性 网络（因为多层线性网络与单层网络等价）。在反向传播中使用的方法是梯度下降法 。
梯度下降法 背后的直观感受可以用假设情境进行说明。一个被卡在山上的人正在试图下山（即试图找到极小值）。大雾使得能见度非常低。因此，下山的道路是看不见的，所以他必须利用局部信息来找到极小值。他可以使用梯度下降法，该方法涉及到察看在他当前位置山的陡峭程度，然后沿着负陡度（即下坡）最大的方向前进。如果他要找到山顶（即极大值）的话，他需要沿着正陡度（即上坡）最大的方向前进。使用此方法，他会最终找到下山的路。不过，要假设山的陡度不能通过简单地观察得到，而需要复杂的工具测量，而这个工具此人恰好有。需要相当长的一段时间用仪器测量山的陡峭度，因此如果他想在日落之前下山，就需要最小化仪器的使用率。问题就在于怎样选取他测量山的陡峭度的频率才不致偏离路线。
在这个类比中，此人代表反向传播算法，而下山路径表示能使误差最小化的权重集合。山的陡度表示误差曲面在该点的斜率 。他要前行的方向对应于误差曲面在该点的梯度 。用来测量陡峭度的工具是微分 （误差曲面的斜率可以通过对平方误差函数在该点求导数 计算出来）。他在两次测量之间前行的距离（与测量频率成正比）是算法的学习速率。参见限制一节 中对此类型“爬山”算法的限制的讨论。
结果可能会收敛到极值 。如果只有一个极小值，梯度下降的“爬山”策略一定可以起作用。然而，往往是误差曲面有许多局部最小值和最大值。如果梯度下降的起始点恰好介于局部最大值和局部最小值之间，则沿着梯度下降最大的方向会到达局部最小值。梯度下降法可以找到局部最小值，而不是全局最小值。
从反向传播学习获得的收敛很慢。
在反向传播学习的收敛性不能保证。
然而，收敛到全局最小值据说使用自适应终止条件得到保证[ 3]
反向传播学习不需要输入向量的标准化（normalization）；然而，标准化可提高性能[ 4]
弗拉基米尔·瓦普尼克 在他的书《支持向量机 》中首次发表反向传播算法。在1969年阿瑟·E·布莱森 何毓琦 将其描述为多级动态系统优化方法。[ 5] [ 6] 保罗·维波斯 [ 7] 大卫·鲁梅尔哈特 杰弗里·辛顿 和罗纳德·J·威廉斯 [ 1] [ 8] GPU 等大型现代运算器件用于训练更大的网络。例如在2013年，顶级语音识别器现在使用反向传播算法训练神经网络。
^ 注意多层神经网络一般采用非线性的激活函数，而此例中的激活函数为线性函数，所以并不能给出明确的示范。虽然多层神经网络的误差表面要复杂许多，但在小范围内，我们可以用一个抛物面来估测这样的复杂表面。我们在这里采用线性的例子，因为它们简单易懂。
^ 1.0 1.1 1.2 Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. Learning representations by back-propagating errors. Nature. 8 October 1986, 323 (6088): 533–536. doi:10.1038/323533a0 ^ Paul J. Werbos (1994). The Roots of Backpropagation. From Ordered Derivatives to Neural Networks and Political Forecasting. New York, NY: John Wiley & Sons, Inc.
^ Lalis, Jeremias; Gerardo, Bobby; Byun, Yung-Cheol. An Adaptive Stopping Criterion for Backpropagation Learning in Feedforward Neural Network (PDF) . International Journal of Multimedia and Ubiquitous Engineering. 2014, 9 (8): 149–156 [17 March 2015] . doi:10.14257/ijmue.2014.9.8.13 原始内容 (PDF) 存档于2016-03-04）. ^ ISBN 1-931841-08-X ,^ Stuart Russell ; Peter Norvig . Artificial Intelligence A Modern Approach. : 578. The most popular method for learning in multilayer networks is called Back-propagation. It was first invented in 1969 by Bryson and Ho, but was largely ignored until the mid-1980s. ^ Arthur Earl Bryson, Yu-Chi Ho. Applied optimal control: optimization, estimation, and control. Blaisdell Publishing Company or Xerox College Publishing. 1969: 481. ^ Paul J. Werbos. Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. PhD thesis, Harvard University, 1974
^ Alpaydın, Ethem. Introduction to machine learning 2nd ed. Cambridge, Mass.: MIT Press. 2010: 250 . ISBN 978-0-262-01243-0...and hence the name backpropagation was coined (Rumelhart, Hinton, and Williams 1986a).
可微分计算
概论 概念 应用 硬件 软件库 实现
人物 组织 架构
![{\displaystyle {y^{l}}_{i}=f^{l}\{\,[W^{l}(y^{l-1})]_{i}\,\}=f^{l}\left[\,\sum _{j=1}^{n_{l-1}}y_{j}^{l-1}W_{ji}^{l}\,\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/aba5eff2a6aa2182cd0d8d817cab7802260f989a)
![{\displaystyle y^{l}=f^{l}[\,W^{l}(y^{l-1})\,]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/dac7132bdbe0b82209526d961a1f3256496708bd)
![{\displaystyle g^{L}(W_{ij}^{L},\,{y_{k}^{L-1}})=g\left[\,f^{L}\left(\sum _{a=1}^{n_{L-1}}y_{a}^{L-1}W_{ab}^{L}\right)\,\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/709187afeb6e1ee568418c275ef37a95a93b7f2b)
![{\displaystyle g^{l}(W_{ij}^{l},\,\cdots ,\,W_{ij}^{L},\,{y_{k}^{l-1}})=g^{l+1}\left[\,W_{ij}^{l+1},\,\cdots ,\,W_{ij}^{L},\,f^{l}\left(\sum _{a=1}^{n_{l-1}}y_{a}^{l-1}W_{ab}^{l}\right)\,\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/533ab27b2cdca377c09cc1b8b45e6198d32d7910)
![{\displaystyle {\frac {\partial g^{l}}{\partial {y^{l-1}}_{c}}}=\sum _{i=1}^{n_{l}}\left[\,{\frac {\partial g^{l+1}}{\partial {y^{l}}_{i}}}{\bigg |}_{{y^{l}}_{i}=f^{l}(x)}\times {\frac {df^{l}}{dx}}{\bigg |}_{x=\sum {y^{l-1}}_{a}W_{ai}^{l}}\times W_{ci}^{l}\,\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/692b0e646ebca799aca9376725544fa6f30ac37e)
