一种图片残缺自动补绘方法与流程

本发明属于多媒体信息技术领域，尤其涉及一种图片残缺自动补绘方法。

背景技术：

很多因素都会导致图片出现残缺，如，图片中某一logo(标识)遮挡住了图片的部分内容；又如，图片在拍摄过程中某些物体误入画面等，图片中残缺的存在大大降低了图片的观赏舒适度。

当前图片的补绘技术多为应用于视频中的补绘技术。如，利用视频中的冗余信息对其中的残缺进行补绘，具体，我们知道当前帧中缺损的部分可能在前面若干帧或后面若干帧中出现，因此可以利用视频的冗余信息实现目的，通过视频中的其它帧来对当前帧中的缺失部分进行补充。

但是上述利用视频冗余信息会图片进行补绘方法依赖于视频的冗余信息，当只有单幅图片时此种方法就无法对其进行补绘了。

技术实现要素：

针对上述问题，本发明旨在提供一种图片残缺自动补绘方法，有效解决了单幅图片中对图片残缺的补绘问题。

本发明提供的技术方案如下：

一种图片残缺自动补绘方法，包括如下步骤：

S1创建约束玻尔兹曼机并对其进行训练；

S2利用训练后的约束波尔兹曼机，基于待补绘图片中非残缺区域的已知像素对残缺区域的未知像素进行补绘，得到完整图片。

进一步优选地，在步骤S1中具体包括：

S11选用与待补绘图片中像素数量相同的图片作为训练图片；

S12将待训练图片的像素作为约束玻尔兹曼机中显层神经元的值，并将此时显层神经元的状态记为第一训练状态

S13基于第一训练状态中各显层神经元的值得到隐层神经元中各神经元的第一训练激活概率

S14抽样得到隐层神经元的激活状态，并将其记为第一训练激活状态

S15基于第一训练激活状态中各隐层神经元的值得到显层神经元中各神经元的第二训练激活概率

S16抽样得到显层神经元的激活状态，并记为第二训练激活状态

S17基于第二训练激活状态中各显层神经元的值得到隐层神经元中各神经元的第三训练激活概率

S18基于第一训练状态第一训练激活概率第二训练激活状态以及第三训练激活概率更新约束玻尔兹曼机的网络权值和偏置值；

S19循环步骤S11～S18，直到满足训练要求，完成约束玻尔兹曼机的训练。

进一步优选地，在步骤S12中具体包括：

S121基于训练图片的两维矩阵得到N*1维的向量，其中，N为训练图片的像素数量；

S122对所述N*1维向量进行归一化处理，并将归一化的值作为约束玻尔兹曼机中显层神经元的值。

进一步优选地，在步骤S18中具体包括：

S181约束玻尔兹曼机的更新网络权值具体为：

S182隐层神经元的更新偏置值为：

S183显层神经元的更新偏置值为：

进一步优选地，在步骤S2中具体包括：

S21获取待补绘图片中非残缺区域的已知像素，并将其进行归一化作为约束波尔兹曼机显层神经元第一部分状态值；

S22将待补绘图片中残缺区域的未知像素取预设值，作为约束波尔兹曼机显层神经元第二部分状态值，将显层神经元第一部分状态值和显层神经元第二部分状态值记为显层神经元的第一补绘状态

S23基于第一补绘状态中各显层神经元的值得到隐层神经元中各神经元的第一补绘激活概率

S24抽样得到隐层神经元的激活状态，并将其记为第一补绘激活状态

S25在所述显层神经元第二部分中根据预设规则选择一神经元，作为优先补绘的残缺像素点k；

S26基于第一补绘激活状态中各隐层神经元的值以及网络权值W计算得到前述显层神经元第二部分中优先补绘的残缺像素点的激活概率P_k⁽¹⁾，于是得到各显层神经元的第二补绘激活概率

S27令第二补绘激活状态

S28基于得到的第二补绘激活状态重复步骤S23～S27，以此循环直到显层神经元第二部分中各残缺像素点补入完整；

S29基于显层神经元第二部分中补入的各残缺像素点的激活概率得到相应的灰度值，以此得到完整图片。

6.如权利要求5所述的图片残缺自动补绘方法，其特征在于，在步骤S22中，具体包括：将待补绘图片中残缺区域的未知像素点取值0.5，作为约束波尔兹曼机显层神经元第二部分状态值。

进一步优选地，在步骤S25中具体包括：

在所述第一补绘激活状态中显层神经元第二部分中，选择相邻神经元中已知像素神经元最多的点，作为优先补绘的残缺像素点k。

本发明提供的图片残缺自动补绘方法，其有益效果在于：

在本发明提供的图片残缺自动补绘方法中，使用约束玻尔兹曼机作为补绘装置，输入待补绘图片中非残缺区域的像素，利用约束玻尔兹曼机的联想功能，自动将待补绘图片中残缺区域的像素点进行补入，以此实现待补绘图片中任意残缺位置中像素点的补绘，简单方便，且补绘出来的图片效果很好。

另外，在本发明中，在使用约束玻尔兹曼机对待补绘图片进行补绘之前，使用与该待补绘图片像素点相同的图片作为训练样本对其进行训练，以得到约束玻尔兹曼机中最佳的网络权值矩阵，使得误差最小，使用该训练后的玻尔兹曼机对待补绘图片进行补绘精度更高。

再有，在本发明中，在补入残缺区域中的像素点的过程中，优先选用相邻已知像素点最多的点作为像素点补入残缺图片中，且一个一个地对缺失图片中的像素进行补绘直至补绘完毕，大大提高了残缺图片补绘的精确度，使补绘出来的图片效果更好。

附图说明

图1为本发明中图片残缺自动补绘方法流程示意图；

图2为本发明中对约束玻尔兹曼机进行训练的过程流程示意图；

图3为本发明中基于待补绘图片中非残缺区域的已知像素对残缺区域的未知像素进行补绘的流程示意图；

图4为本发明中第一补绘激活状态中一个具体实施例中各神经元分布示意图。

具体实施方式

下面结合附图和具体实施方式，对本发明作进一步详细说明。需要说明的是，下面描述的本发明的特定细节仅为说明本发明用，并不构成对本发明的限制。根据所描述的本发明的教导做出的任何修改和变型也在本发明的范围内。

如图1所示为本发明提供的图片残缺自动补绘方法流程示意图，从图中可以看出，在该图片残缺自动补绘方法中包括：S1创建约束玻尔兹曼机并对其进行训练；S2利用训练后的约束波尔兹曼机，基于待补绘图片中非残缺区域的已知像素对残缺区域的未知像素进行补绘，得到完整图片。

具体来说，如图2所示，在步骤S1，即对约束玻尔兹曼机进行训练的过程中具体包括：

S11选用与待补绘图片中像素数量相同的图片作为训练图片。具体来说，这里的训练图像的像素个数与显层神经元中神经元的个数相同。

S12将待训练图片的像素作为约束玻尔兹曼机中显层神经元的值，并将此时显层神经元的状态记为第一训练状态更具体来说，我们知道约束波尔兹曼机由两层二值神经元组成，一层为显层一层为隐层，因而，在步骤S12中具体包括：S121基于训练图片的两维矩阵得到N*1维的向量，其中，N为训练图片的像素数量；S122对N*1维向量进行归一化处理，并将归一化的值作为约束玻尔兹曼机中显层神经元的值。在一个具体实施例中，假定所有的训练图片均为灰度图片，且共有256个灰度级，则将训练图片的两维矩阵得到N*1维的向量之后除以255将向量中每个元素的值归一化至[0～1]之间。

S13基于第一训练状态中各显层神经元的值得到隐层神经元中各神经元的第一训练激活概率具体，激活概率根据公式进行计算，其中，b_k表示神经元的偏置；(x₁,x₂,...,x_m)为该神经元的输入信号；(w_k1,w_k2,...,w_km)为每一个输入信号对应的网络权值；y_k为神经元的输出。

S14抽样得到隐层神经元的激活状态，并将其记为第一训练激活状态

S15基于第一训练激活状态中各隐层神经元的值得到显层神经元中各神经元的第二训练激活概率该第二训练激活概率的计算方法与步骤S13相同。

S16抽样得到显层神经元的激活状态，并记为第二训练激活状态

S17基于第二训练激活状态中各显层神经元的值得到隐层神经元中各神经元的第三训练激活概率该第三训练激活概率的计算方法与步骤S13相同。

S18基于第一训练状态第一训练激活概率第二训练激活状态以及第三训练激活概率更新约束玻尔兹曼机的网络权值和偏置值；更具体来说，在本步骤中，约束玻尔兹曼机的更新网络权值具体为：S192隐层神经元的更新偏置值为：S193显层神经元的更新偏置值为：

S19循环步骤S11～S18，直到满足训练要求，完成约束玻尔兹曼机的训练。这里说的训练要求具体为训练图片在经过约束玻尔兹曼机进行训练之后，得到的隐层神经元与输入的显层神经元之间的误差尽可能的小，在预设误差范围之内，而该误差由网络权值W决定，故循环上述步骤S11～S18对网络权值W进行更新直到约束玻尔兹曼机达到训练要求停止训练，或者网络训练中迭代次数达到最大值停止训练。另外，要说明的是，对约束玻尔兹曼机进行往复训练的过程中，可以选取与待补绘图片中像素数量相同的另外一幅图片作为训练图片，也可以使用与前一次训练相同的训练图片，不做限定。

在步骤S2中，如图3所示，利用训练后的约束波尔兹曼机，基于待补绘图片中非残缺区域的已知像素对残缺区域的未知像素进行补绘具体包括：

S21获取待补绘图片中非残缺区域的已知像素，并将其进行归一化作为约束波尔兹曼机显层神经元第一部分状态值。在一个具体实施例中，假定待补绘图片为灰度图片，且共有256个灰度级，则将待补绘图片中非残缺区域的两维矩阵得到X*1维的向量之后除以255将向量中每个元素的值归一化至[0～1]之间，其中，X为该待补绘图片中已知像素的个数。

S22将待补绘图片中残缺区域的未知像素取预设值，作为约束波尔兹曼机显层神经元第二部分状态值，将显层神经元第一部分状态值和显层神经元第二部分状态值记为显层神经元的第一补绘状态在一个具体实施例中，将待补绘图片中残缺区域的未知像素点取值0.5，作为约束波尔兹曼机的显层神经元第二部分状态值。

S23基于第一补绘状态中各显层神经元的值得到隐层神经元中各神经元的第一补绘激活概率

S24抽样得到隐层神经元的激活状态，并将其记为第一补绘激活状态

S25在所述显层神经元第二部分中根据预设规则选择一神经元，作为优先补绘的残缺像素点k。具体包括：在第一补绘激活状态显层神经元第二部分中，选择相邻神经元中已知像素神经元最多的点，作为优先补绘的残缺像素点k。在一个具体实施例中，如图4所示，假若实心圆表示已知像素点，空心圆表示未知像素点(待补入的残缺像素点)。当前要从这4个空心圆中选择一个作为首先填充的未知像素点。从图中可以看出，与4各空心圆最左下角的空心圆相邻的8个像素点中有5个是已知像素的，其它未知像素点只有2个或0个相邻的已知像素点，所以优先选择4各空心圆最左下角的空心圆的位置作为优先填充的残缺像素点k。

S26基于第一补绘激活状态中各隐层神经元的值以及网络权值W计算得到前述显层神经元第二部分中优先补绘的残缺像素点的激活概率于是得到各显层神经元的第二补绘激活概率

S27令第二补绘激活状态

S28基于得到的第二补绘激活状态重复步骤S23～S27，以此循环直到显层神经元第二部分中各残缺像素点补入完整。

S29基于显层神经元第二部分中补入的各残缺像素点的激活概率得到相应的灰度值，以此得到完整图片。在一个具体实施例中，假定所有的待补绘图像均共有256个灰度级，则将显层神经元第二部分中补入的各残缺像素点的激活概率乘以255得到未知像素的灰度值，以此完成待补绘图片的补绘。

以上通过分别描述每个过程的实施场景案例，详细描述了本发明，本领域的技术人员应能理解。在不脱离本发明实质的范围内，可以作修改和变形。