参考符号表示相同的部件。在附图中：
[0045] 图1是本发明第一实施例提供的基于图像处理的最大间隔深度生成模型的生成 方法流程图。
【具体实施方式】
[0046] 下面结合附图和实施例，对本发明的【具体实施方式】作进一步详细描述。W下实施 例用于说明本发明，但不用来限制本发明的范围。 W47] 实施例一
[0048] 本实施例提供了一种基于图像处理的最大间隔深度生成模型的生成方法，包括：
[0049]S101、给定训练集合中的一个子集，即若干张图片的集合，通过编码网络计算隐藏 表示，构建支撑向量机，并计算最大间隔正则化因子。S101中的子步骤具体说明如下：
[0050]S1011、假定训练集合中的每个图片样例X。为彩色图像，即S维矩阵，并且带有标 注{1... 口。其中，y。表示图片的类别；C表示类别总数，运里用数字来抽象的代表类 另IJ。构建训练集合的同时，划分一部分训练集合为验证集合。
[0051]S1012、随机选取训练集合中的一个大小为k的子集似-义,传4.，利用深度卷积神 经网络，即编码网络，计算该子集中每个样例的隐藏表示f(X。;d))。其中，网络中的所有权 重和偏置参数表示为4。f(x。; 4)是一个Wx。为输入W4为参数的函数。 阳05引将结果存储为一个d维向量；相应的f(X。，y; 4)表示一个长为dXC的向量，第dXy+1到dX(y+1)维的像素值为f(X。; 4)的值，其余的像素值为0。 阳05引 S1013、根据S1012步骤得到的样例的隐藏表示f(x"，y;d))和输入的标注y。，构建 线性支撑向量机，其权重参数和偏置参数为《，同时得到最大间隔正则化因子如式（1)所 示： 阳054] Rn=maxyln(y)-wTAf(Xn; 4) (1)
[0055] 其中，y。是正确的标注，而y是枚举的所有可能的标注之一；1。奶是支撑向量机的 预测为当前枚举的可能标注y而非正确标注y。的损失；Af(X。; 4) =f(X。，y。; (X。，y; 4)为特征向量的差；maxy操作表示在所有可能标注的损失中选择损失最大的情况作为最 终的正则化子。
[0056] S102、计算隐藏变量分布的参数，对隐藏变量进行采样，同时计算隐藏变量变分后 验分布和先验分布的相对赌，也即化距离（KuUback-LeiblerDivergence)。S102中的子 步骤具体说明如下：
[0057] S1021、根据S1012步骤得到的样例的隐藏表示f(X。; 4)通过线性映射计算隐藏 变量的分布参数，即隐藏变量高斯分布的均值和方差如式（2)-(3)所示：
[00郎]化。岭f换;辩+面1 巧
[0059] log。-，:=化V八.、-";則+ P) W60] 其中，y。为隐藏变量高斯分布的均值；请为隐藏变量高斯分布的方差；4为网络 中的所有权重和偏置参数表示；Wi、胖2、bi、b2为上述线性变换的权重参数和偏置参数，为了 表示方便，将运些参数也吸收到4中，最终得到如式（4)-(5)所示的结果：
[0061] ]1。=hi(Xn; 4) (4)
[00 创 logo-,;; =/?](A-";的 口）
[0063] 其中，h表示S1012步骤中的f和上述线性变换的复合。 W64] S1022、根据S1021步骤中计算的分布参数y。和的，对于S1012步骤中的每个样 例，利用随机数生成器采样固定维度的隐藏变量e。~N(0, 1)，隐藏变量服从各个维度独立 的标准高斯分布，再利用高斯分布的变量代换技巧可W得到式化）：
[0065] Zn=yn+On?en做
[0066] 其中，O是按位乘积；z。为隐藏变量；y。表示高斯分布的均值；0。表示高斯分布 的标准差。
[0067] 并计算每个样例的隐藏变量变分后验分布和先验分布的化距离，即为式（7): 阳0側
（7)
[0069] 其中，y。表示高斯分布的均值；0。表示高斯分布的方差；每个参数的下标表示第 n个样例的第j维。
[0070] S103、利用解码网络计算样例生成分布的参数，对图片进行概率重建，并计算概率 重建误差。S103中的子步骤具体说明如下： 阳071] S1031、根据S1022步骤中得到的隐藏变量Z。，将其从一个长向量截断转置成=维 矩阵，利用深度卷积神经网络，即解码网络（其中，解码网络的权重参数和偏置参数为0) 计算每个样例，即图片的每个像素的生成分布的参数如式（8)所示： 阳 07引 y。' =g(Zn;0)做
[0073]其中，g是神经网络表示的函数，y。优选为伯努利变量的均值。 阳074] S1032、根据S1031步骤中得到的样例生成分布的参数y。'，对S1012步骤中对应 的样例进行概率重建，概率重建误差可W通过采样方法近似或者通过理论分析得到解析形 式，其解析形式如式（9)所示： 阳07引 En=E jXn,.jl〇邑y ' n,.i+(l-Xn,.i)l〇邑（1-y ' n,.i) 0)
[0076] 其中，X。表示原始输入图片；y。表示重建图片的均值；E。表示概率重建误差的解 析形式；每个参数的下标表示第n个样例的第j维。
[0077] 需要说明的是，运里假设输入图片的像素服从W对应输出为均值的伯努利分布从 而得到了交叉赌形式的概率重建误差。
[0078] 还需要说明的是，模型训练所述S1031W及S1032步骤中的概率解码网络，具体包 括：
[0079] 反池化：与S1012步骤中使用的池化操作相反，将图片样例中的每个单元扩张为 2X2或者3X3的正方形，每个正方形的左上角的值等于图片样例单元的值，正方形中其余 的值为0 ;
[0080] 卷积：对于（a)中反池化后的结果进行卷积操作；
[0081] 非线性激活：对于（C)中卷积的结果进行非线性激活，即对单元中的数值和0取最 大值作为激活函数的输出；
[0082] 将反池化、卷积、W及非线性激活步骤中的得到的结构按顺序堆叠，并根据所述结 果的概率分布进行随机采样。
[0083]S104、得到最大间隔深度生成模型的目标函数，该函数即为最大间隔深度生成模 型。采用随机梯度下降法目标函数，并判断训练集合上能否继续优化。S104中的子步骤具 体说明如下：
[0084]S1041、对S1022步骤中得到的隐藏变量变分后验分布和先验分布的化距离K。、 S1032步骤得到的概率重建误差E。和S1013步骤得到的最大间隔正则化因子R。进行加权 求和得到目标函数（也即最大间隔深度生成模型）如式（10)所示： 阳0财 mine,4>,uE A+En+入Rn (1〇)
[0086] 其中，K。为化距离；E。为概率重建误差；K"+E。为对数最大似然相反数的变分上界； 入为控制参数，用于控制变分上界和最大间隔正则化因子的相对权重。
[0087]S1042、利用随机梯度下降的方法对目标函数进行优化。
[0088] 若判断目标函数可W继续优化，则回到S1011步骤，并随机采样新的子集；
[0089] 若判断目标函数不能继续优化，即目标函数不再下降，则进入下一步骤。
[0090] S105、根据S1011步骤中的验证集合上的分类误差选择最优参数，不断优化编码 网络、解码网络和最大间隔分类器的参数。
[0091] 本实施例提供了一种最大间隔深度生成模型生成方法，通过引入最大间隔正则化 因子，提高了深度生成模型在判别任务上的表现。同时维持了深度生成模型数据建模的能 力，可W处理数据缺失的情况。并且在测试数据有缺失的情况下，最大间隔深度生成模型的 分