第k个神经兀的输出，<.表不联合表决层第i个神经兀 与输出层第k个神经元的连接权值，为输出层对应偏置。
[0083] 因为整个网络的每次输入多张训练图片（参数训练部分会有相应说明），故本发 明定义的网络的判决输出结果的矩阵形式为：
[0084] 〇 = sigm(w1*hfo+w2>l<lfo+b) (3)
[0085] 其中，〇表示网络输出的判决结果（每一列表示一个样本的判决结果）表示 输出层与高层特征提取部分的输出相连的权值矩阵，即第一权值矩阵；表示矩阵乘法， hfo表TK高层特征提取部分的输出（每一列表TK一个样本的输出）#2表7^输出层与低层特 征提取部分的输出相连的权值矩阵，即第二权值矩阵；IfO表示低层特征提取部分的输出 矩阵（每一列表示一个样本的输出）；b表示输出层偏置矩阵。
[0086] 考虑到两种特征对最后结果的影响，在表示低层特征的重建特征向量中加入一个 调节权重β，〇< β < 1，进行调节，低层特征对最终结果的判定的影响得到一定程度的抑 制。则最终网络输出的判决结果为：
[0087] 〇 = sigm(W1^hfo+β Xw2*lfo+b) (4)
[0088] 步骤2-1-4)、采用训练方法获取参数Wl、w2、b和β的最终取值：人工神经网络， 深度学习的基本理论分为网络的设计和网络中参数的训练两部分。当设计好网络的结构后 (即获得上述高层特征、低层特征、及判决公式），需要训练确定网络中每一个参数的值（即 确定％、w 2、b和β的值，以及卷积层和下采样层中的参数的值，人工神经网络中L层中的 各神经元的参数的值），然后才能使用该网络对待识别的人脸图片进行实际的分类和回归 等应用。
[0089] 所述训练方法采取误差反向传播算法，同时考虑到深度学习需要大量训练样本支 持，为减少计算负荷，结合随机梯度下降策略进行训练。将所有T张训练图片随机划分为若 干组，且每B张一组（Β要能够整除Τ)，共"Τ/Β"组。按顺序将所有"Τ/Β"组输入上述设计 好的网络中，进而提取高层特征低层特征并进行性别判决后，完成一次训练迭代；然后重新 将所有T张训练图片随机划分为若干组，仍然是每B张一组，共"Τ/Β"组。每次都是随机划 分，确保每次划分后每一组的图片与上一次都不相同，仍然按顺序将所有"Τ/Β"组输入上述 设计好的网络中，进而提取高层特征低层特征并进行性别判决后，完成新的一次训练迭代。 总共进行E次训练迭代才能最终获得参数 Wl、w2、b和β的取值。
[0090] 更新参数％、w2、b的具体过程如下：
[0091] 首先，随机初始化参数Wl、w2、b和β的取值，再输入第一组训练图片得到最后的 判决结果〇, 〇中每一列表示一个样本的判决输出结果。然后计算出输出层的误差，计算公 式如下：
[0092]
1.5).
[0093] 其中，MSE表示判决结果〇与实际样本标签（类别，此处即为男女）矩阵Y之间的 均方误差，MSE为矩阵表示；Y为输入样本的标签矩阵，如果输入的人脸图片是男性，那么Y 就为[I 0]τ矩阵，若是女性，则为[0 1]τ矩阵；〇为网络输出的判决结果，"I I I |2"表示矩 阵之间对应元素求平方差后的矩阵表示。
[0094] 然后，利用这个误差可以计算出公式（4)中的参数Wl，w2, b以及β对于最终的误 差函数J(W，b;i3)的梯度，利用梯度下降原理更新上述参数Wl，w2, b以及β的值。其中误 差函数J(W，b;i3)的矩阵形式即为MSE。为此，需计算输出层的灵敏度：
[0095]
(:6)
[0096] 其中，Od表示输出层灵敏度的矩阵形式，表示矩阵之间的点乘（对应元素相 乘，维度一致）。其中P (〇)表示对输出函数求导，激活函数采用sigmoid函数，其导数形 式为Γ GO = f(x) (1-f (X))。根据灵敏度采用如下3个公式可进一步求出参数Wl，W2以 及偏置b的值，即对 Wl，W2以及偏置b进行更新：
[0097]
(7)
[0098] 其中，（W1)nrav表示在每一次的误差反向传播时更新后的第一权值矩阵W 1的 值，（W1)^对应更新前的第一权值矩阵W1的值；a表示网络的学习率，本发明采取变学习率 策略训练，即a的取值初始化为一个较大的值，然后随训练迭代次数的增加而逐渐减小， {呆证整^ ^阶微柿~
[0099] (8)
[0100] 其中，（w2)_表示在每一次的误差反向传播时更新后的第二权值矩阵W2的值，（W 2) 。1(1对应項前笛-*▽很11%很·。
[0101] :(9).
[0102] 其中，（幻_表示在每一次的误差反向传播时更新后的偏置矩阵b的值，（Wcild对 应更新前的偏置矩阵b的值。
[0103] 更新参数β的具体过程如下：
[0104] 由于β是一个实数，采取梯度下降法更新β的更新公式如下：
[0105]
:(姆
[0106] 误差函数对β求偏导的式子可由链式规则进一步化为：
[0107]
(U)
[0108] β与矩阵（w2*lfo)相乘可看作一个与矩阵相同行列数的矩阵A与矩阵（w2*lfo) 点乘，其中A中元素值全都为β。这样，公式（11)最终可化为：
[0109]
[0110] 其中"mean (Β (:)) "表示对矩阵B中所有元素取平均值运算，矩阵B表示由在每一 次的误差反向传播时更新后的调节权重β的值构成的矩阵，该矩阵B的行列数与判决结果 〇的行列数相同。
[0111] 总之利用误差反向传播算法，可完成公式（4)中的网络参数Wl，w2, b以及β的 更新。整个网络中还包括卷积层中的参数，下采样层中的参数以及L层人工神经网络中的 参数需要通过训练确定它们的值。所使用方法仍然是误差反向传播算法。继续将误差MSE 向前传播，此时联合表决层一部分与高层特征提取部分相连，一部分与重建网络相连，那么 MSE分为两部分误差，分别在这两个模块中继续向前传播。在高层特征提取部分的误差反向 传播过程中，直接采用现有深度学习技术中的卷积层和下采样层误差反向传播更新参数的 方法，更新卷积层和下采样层中的参数ICS} ({CS}表示卷积层和下采样层中所有参数的矩 阵集合）的值。在低层特征提取部分的误差反向传播过程中，直接采用现有人工神经网络 技术中的误差反向传播更新参数的方法，更新L层人工神经网络中的参数{LN} ({LN}表示L 层人工神经网络中所有参数的矩阵集合）的值。这样就完成了一组图片的参数训练过程， 接着输入第二组图片训练时，以第一组图片确定的网络参数WpW 2, b和β的值，以及{CS} 和{LN}的值计算判决结果〇,然后重复误差反向传播过程，更新网络中Wl，w 2，b和β值，以 及{CS}和{LN}的值。以此类推，每一组图片的训练以上一组图片训练后确定的参数的值计 算判决结果，然后从输出开始计算误差并反向传播至输入，更新整个网络所有的参数的值。 直到"Τ/Β"组训练样本全部输入网络完成训练后，才完成一次训练迭代。
[0112] 当完成所有E次训练迭代后，此时的网络即可用于实际的性别识别，输入人脸图 片，网络就会输出性别的预测值。
[0113] 二、人脸年龄估计网络的构建：
[0114] 上述技术方案中，所述的步骤2)提供了一种人脸年龄估计的方法，如图2所示，即 一种用于人脸年龄估计的深层网络系统，包括：
[0115] 步骤2-2)以步骤1)中得到的人脸训练图片作为网络的输入，网络的输出为图片 中人的年龄估计值（整数）。网络主要由4部分功能模块组成，包括高层特征提取模块，低 层特征提取模块，融合特征联合判决输出模块以及参数训练模块。
[0116] 上述方案中，所述步骤2-1)包括：
[0117] 步骤2-2-1)、高层特征提取：直接采用现有深度学习方法中的卷积神经网络的卷 积层和下采样层结构实现针对训练图片的高层特征提取。在具体实施时，采用3层卷积层 C1, C2和C3，以及三层下采样层S1, S2和S3的组合，层与层之间全连接。
[0118] 步骤2-2-2)、低层特征提取：与高层特征提取模块同步对输入图像进行处理。
[0119] 首先，将输入的人脸的训练图片由二维的图结构形式转化为向量的形式（称为扁 平化处理，flat操作），再对得到的向量进行归一化，得到人脸原始特征向量。
[0120] 然后，将原始特征向量连接到重建网络以获得重建特征向量。重建网络基于人工 神经网络原理搭建，共L层。每一层的神经元输出即可看作是特征向量，下一层的神经元对 上一层输出的向量进行重新编码，进行重新表示和描述后再输出，层与层之间采取全连接 的方式，每一个神经元采用sigmoid函数进行激活。人脸原始特征向量首先连接至重建网 络的H 1层，H1层含有Ill个神经单元，假设输入图片大小为NXN，那么人脸原始特征向量为 NXN维，经过H1层后变为Ill维特征向量。然后接着连接至H2层，H 2层含有h2个神经单元， 那么特征向量进一步变为h2维。以此类推