本文的动量反向传播算法模型，是一个具有三层神经元的BP神经网络，分别用$L$，$M$，$N$来表示该神经网络的输入、隐藏层以及输出层的神经元个数，设训练用的数据集为$\{ {\xi ^j},{O^j}\} _{j = 1}^J$，其中${\xi ^j} = (\xi _1^j,\xi _2^j, \cdots ,\xi _L^j) \in {R^L}$，${O^j} = (O_1^j, O_2^j, \cdots ,O_N^j) \in {R^N}$；用${{V}} = {({v_{ij}})_{M \times L}}$来表示连接输入层与隐藏层的权重矩阵，用${{B}} = ({B_1},{B_2}, \cdots ,{B_M}) \in {R^M}$表示输入层与隐藏层之间的偏置向量，同样地，用${{W}} = {({w_{ij}})_{N \times M}}$和$b = ({b_1},{b_2}, \cdots , {b_N}) \in {R^N}$来分别表示隐藏层与输出层之间的权重矩阵及偏置向量，此外，用${{{v}}_i} = ({v_{i1}},v{}_{i2}, \cdots ,{v_{iL}}) \in {R^L}(i = 1, \cdots ,M)$,${{{w}_i} = ({w}_{i1}},$$w{}_{i2}, \cdots ,{w_{iM}})\in {R^M}(i = 1, \cdots , N)$来表示权重矩阵${{V}}$和${{W}}$的行向量；设$g:R \to R$为隐藏层及输出层所使用的激活函数，为了简便运算，我们引入一个关于$x = ({x_1},{x_2}, \cdots ,x{}_M) \in {R^M}$的向量函数：

则隐藏层神经元的输出为$G(V\xi + B)$，而输出层的输出为：

有了输出后就可以得到通常的平方损失为：

考虑到只需在每个输入$\xi $末尾都添加一项1，则输入层与隐藏层间的偏置向量可以合并到输入层与隐藏层之间的权重矩阵而不影响结果，这里我们设：

并重新令${{V}} = {({v_{ij}})_{M \times (L + 1)}}$为输入层与隐藏层之间的权重矩阵，其中

则输出层的输出可以重新表示为：

而网络的平方损失也可以重新表示为：

令$g_n^j(t) = \dfrac{1}{2}{(O_n^j - g(t))^2},j = 1, \cdots ,J,n = 1, \cdots ,N$则

对网络进行训练的目的就是要找出最优的解$({V^ * },{W^ * },{b^ * })$，使得：

由式（7）可以得到损失函数关于$V,W,b$的导数分别为：

当任意给定了初始权重及偏置${V^0}$，${V^1}$，${W^0}$，${W^1}$，${b^0}$，${b^1}$时，BPM通过下面的式子对权重及偏置进行更新：

其中$\eta \in (0,1)$是学习率，而${\gamma _{k,i}}$，${\tau _{k,i}}$，${\kappa _{k,i}}$则是动量系数，为了简化运算，引进下列符号：

则式子（13）可以重新表示为：

类似于文献[12]，动量系数${\gamma _{k,i}}$，${\tau _{k,i}}$及${\kappa _{k,i}}$分别设置为：

其中$\tau \in (0,1)$为动量因子，$ \Vert \cdot \Vert $为欧几里得范数。

在第一节中我们介绍了本文研究的动量反向传播算法模型，在该模型中参数是通过动量梯度下降算法不断地进行迭代更新，而对于整个迭代过程的收敛性是需要进一步地研究，接下来会给出本文对于该模型的收敛性定理结论，在给出BPM的收敛性相关结论之前，我们先提出几个需要用到的假设，这些假设与文献[13]中一样：

$(1)$ $\left| {g(t)} \right|$，$\left| {g'(t)} \right|$及$\left| {g''(t)} \right|$对任意$t \in R$都是一致有界的。

$(2)$ $\left\| {w_i^k} \right\|(i = 1, \cdots ,N,k = 1,2, \cdots )$是一致有界的。

$(3)$ 集合$\Omega $只有有限个元素：

最为常用的激活函数Sigmoid函数是满足假设$(1)$的；假设$(2)$是为了保证式（25~28）的弱收敛性，而在文献[15]中也作出了一个类似假设$(2)$来解决非线性问题；假设$(3)$要求损失函数只有有限个局部极小值点，这是为了保证式（29~32）的强收敛性。有了假设$(1)$和假设$(2)$，我们很容易验证以下几条性质：

（1）$\left\| {G(x)} \right\|$对于任意$x \in {R^M}$是有界的。

（2）$\left\| {q_j^k} \right\|$，$\left\| {p_i^k} \right\|$及$\left\| {h{}_i^k} \right\|$都是一致有界的，其中$(j = 1, \cdots ,M,i = 1, \cdots ,N,k = 1,2, \cdots )$。

（3）$\left| {g_n^j(t)} \right|$，$\left| {g{{_n^j}^\prime }(t)} \right|$，$\left| {g{{_n^j}^{\prime \prime }}(t)} \right|$对于任意$t \in R$也都是一致有界的，其中$(n = 1, \cdots ,N,j = 1, \cdots ,J)$。

定理2.1是主要结论。

定理1 如果假设$(1)$和$(2)$是成立的，则存在常数${C^ * } > 0$及${E^ * } \geqslant 0$使得当$\tau = s\eta $以及$\eta < \min \left\{ { 1,\dfrac{{1 - s}}{{{C^ * }[(1 + s)(3 + 2s + {s^2}) + {{(2 + s + {s^2})}^2}]}}} \right\}$$( 0 < s < 1)$时，下面的结果对于迭代过程即式子（13）都是成立的：

此外，如果假设$(3)$也是成立的，则迭代过程式（13）会收敛到临界点$({V^ * },{W^ * },{b^ * })$：

接下来我们给出对于定理1的详细证明过程，为了简化证明，引进下列符号：

则

接下来我们提出几个有用的引理：

引理1：

证明：由式（13）和（35）可知：

引理2：

其中，${\widehat t_{k,m,j}}$在$ {v}_{m}^{k} \cdot {\zeta }^{j}$与$ {v}_{m}^{k+1} \cdot {\zeta }^{j}$之间。

证明：利用泰勒公式，可知：

其中，${\widehat t_{k,m,j}}$在$ {v}_{m}^{k} \cdot {\zeta }^{j}$与$ {v}_{m}^{k+1} \cdot {\zeta }^{j}$之间，则利用式（37）及式（13）可得：

引理3：

其中${\widehat t_{k,m,j}}$在$ {v}_{m}^{k} \cdot {\zeta }^{j}$与$ {v}_{m}^{k+1} \cdot {\zeta }^{j}$之间，${t_{k,j,n}}$在$\psi _n^{k + 1,j} + b_n^{k + 1}$及$\psi _n^{k,j} + b_n^k$之间。

证明：利用泰勒展开可得：

其中${t_{k,j,n}}$在$\psi _n^{k + 1,j} + b_n^{k + 1}$及$\psi _n^{k,j} + b_n^k$之间；

再结合引理1及2可知：

引理4：如果假设$(1)$和$(2)$成立，则存在常数${C_0} > 0$使得：

证明：令$ {\phi }_{k,m,j}=g({v}_{m}^{k+1} \cdot {\zeta }^{j})-g({v}_{m}^{k} \cdot {\zeta }^{j})$，则$\left\| {{G^{k + 1,j}} - }{G^{k,j}} \right\| = {\left( {\displaystyle\sum\limits_{m = 1}^M {\varphi _{k,m,j}^2} } \right)^{ {{\frac{1}{2}}}}}$，再由式（37）可知：

结合所给假设易知存在常数${C_1} > 0$使得：

由式（14）及式（22）可知：

又由于$\left\| {q_m^k} \right\|$是一致有界的，故存在${C_2} > 0$使得故存在${C_2} > 0$使得$\left\| {q_m^k} \right\| \leqslant {C_2},m = 1, \cdots ,M,k = 1,2, \cdots $，因此：

结合式（41）及式（42）并令${C_0} = \max \{ {C_1},2{C_1}{C_2}\} $可得：

由此即得：

引理5：如果假设$(1)$和$(2)$成立，则存在常数${C^ * } > 0$使得：

证明：由式（17）及式（21）可得：

要证明式（46），令：${C_3} = \max \left\{ {\left\| {{\zeta ^1}} \right\|,\left\| {{\zeta ^2}} \right\|, \cdots ,\left\| {{\zeta ^J}} \right\|} \right\}$，则：

再由于假设$(1)$和$(2)$成立，故存在${C_4} > 0$使得：

其中，${C_5} = JN{C_4}C_3^2$；

再证式（47），由前面根据假设分析得到的第三条性质可知，存在${C_6} > 0$得

再根据式（20）可知：

再由引理3可得：

其中${C_7} = \dfrac{1}{2}J{C_0}{C_6}N$；

接下来证明式（48），由于：

由前面根据假设分析得到的第一条性质可知，存在${C_8} > 0$使得：

此外，由假设$(2)$及引理3可知，存在${C_9} > 0$使得：

因此：

再根据前面假设分析得到的第三条性质可知存在${C_{10}} > 0$使得：

其中${C_{11}} = \max \{ 2{C_{10}}JC_8^2,2{C_{10}}JNC_9^2C_0^2\} $；

最后证明式（49），根据前面假设分析得到的第三条性质可知存在${C_{12}} > 0$使得：

而：

因此：

其中${C_{13}} = 2J{C_{12}}$；

最后令${C^ * } = \max \{ {C_5},{C_7},{C_{11}},{C_{13}}\} $即得到引理5。

引理6：如果假设$(1)$和$(2)$成立，则对于迭代过程式（13），下面不等式成立：

其中：

${C^ * }$为引理5中所定义的常数；

证明：由于$\left|{\tau }_{k,n}{p}_{n}^{k} \cdot \Delta {w}_{n}^{k}\right|\leqslant \tau {\Vert {p}_{n}^{k}\Vert }^{2}$，并且：

因此，由引理3及引理5可知：

引理7（^[16]）令$f:{R^n} \to R$是连续可微的，并假设集合$\Omega = \{ x\left| {{f_x}} \right.(x) = 0\} $中的元素个数是有限的，则如果序列$\{ {x^k}\} $满足：

那么：

在有了这些引理之后，接下来就可以完成对定理1的全部证明：

当$\tau = s\eta $，$\eta < \min \left\{ { 1,\dfrac{{1 - s}}{{{C^ * }[(1 + s)(3 + 2s + {s^2}) + {{(2 + s + {s^2})}^2}]}} } \right\}$时，

由于$\eta < 1,0 < s < 1,$故$\alpha $，$\;\beta$及$\;\chi$均大于0；因此由引理5可知序列$E({V^k},{W^k},{b^k})$是单调递减的，又因$E({V^k},{W^k},{b^k})$是非负的，因此存在${E^ * } \geqslant 0$使得：$\mathop {\lim }\limits_{k \to \infty } E({V^k},{W^k},{b^k}) = {E^ * }$，则由引理6及式（17~19）可知：

因此：

最后，由式子（14—16），（42），（50），（51）及（52—54）可得：

再结合引理7以及式（55）即可得到式（29~32）；综上本文就完成了对定理2.1的全部证明。

本文通过对动量反向传播算法模型进行理论分析，得出了相比目前已有的结果更具一般性的结论，即对于一个拥有偏置项的三层的神经网络，而即使对其输出层神经元的个数不加限制，那么在几个简单而必要的假设下，该动量反向传播算法模型的训练迭代过程是可以收敛的，并且模型参数值也可以收敛到临界点。