图像修复方法、装置、电子设备及计算机存储介质与流程

本申请实施例涉及图像处理技术领域，尤其涉及一种图像修复方法、装置、电子设备及计算机存储介质。

背景技术：

在图像的获取、处理、传输和记录的过程中，由于成像系统、摄像方法、传输介质和记录设备等各种可能的原因，或者，物体运动、噪声污染等其他可能的原因，不可避免地会导致图像失真或者图像质量下降。为此，在具体的应用场景中一般通过图像修复处理对这些图像(称之为待修复图像)进行修复。

但目前的图像修复方式中，不管图像失真程度或质量下降程度如何，均采用统一修复程度的图像修复方式，而无法实现根据图像的不同失真程度或质量下降程度进行有针对性修复，导致修复效果较差。

技术实现要素：

本申请实施例提供一种图像修复方案，用以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种图像修复方法，包括：获取待修复图像及所述待修复图像对应的质量评分；提取所述待修复图像的图像特征；根据获取到的所述质量评分，对所述待修复图像进行基于所述图像特征的残差恢复处理，得到残差恢复处理结果；根据所述残差恢复处理结果，得到修复后的图像。

根据本申请实施例的第二方面，提供了一种图像修复装置，包括：图像获取单元，用于获取待修复图像及所述待修复图像对应的质量评分；特征提取单元，用于提取所述待修复图像的图像特征；残差恢复单元，用于根据获取到的所述质量评分，对所述待修复图像进行基于所述图像特征的残差恢复处理，得到残差恢复处理结果；图像生成单元，用于根据所述残差恢复处理结果，得到修复后的图像。

根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的图像修复方法对应的操作。

根据本申请实施例的第三方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的图像修复方法。

根据本申请实施例的第四方面，提供了一种图像修复服务，其中，响应于图像修复命令，对所述图像修复命令指向的图像执行如第一方面所述的图像修复方法。

本申请实施例提供的技术方案中，待修复图像对应有相应的质量评分，在对该待修复图像进行修复时，根据该质量评分对用于表征该图像的图像特征进行残差恢复处理，以根据处理结果获得修复后的图像。其中，一方面，通过残差恢复处理方式相较于其它方式对图像的修复更为精准；另一方面，在修复过程中，可以通过质量评分控制对图像修复的力度，因不同失真程度或质量下降程度的待修复图像将对应的不对的质量评分，通过质量评分控制修复力度避免了对不同图像因修复过度或修复不足而不能达到修复需求的现象，提升了修复准确度，提升了图像修复的修复效果。

附图说明

后文将参照附图以示例性而非限制性的方式详细描述本申请实施例的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：

图1a为本申请实施例一中图像修复方法流程示意图；

图1b为本申请实施例图像修复方法在一种应用场景的应用示意图；

图2a为本申请实施例采用图像修复模型实现对待修复图像的修复的结构示意图。

图2b为本申请实施例残差块的示例性结构示意图；

图2c为本申请实施例二中图像修复方法流程示意图；

图2d为本申请实施例采用n个残差块进行n次残差恢复处理实现对待修复图像的修复的结构示意图；

图3为本申请一种图像修复装置实施例的示意图；

图4为本申请一种电子设备的示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

参考图1a，本申请实施例一中，图像修复方法包括：

s101、获取待修复图像及所述待修复图像对应的质量评分。

本实施例中，示例性地，所述待修复图像可以是任意适当的图像，包括但不限于灰度图像、彩色图像等。

本实施例中，示例性地，所述待修复图像包括以下至少之一：视频流中的视频帧图像、视频封面图像、搜索结果图像、推荐图像、信息流图像。

待修复图像的质量评分的大小反应了所述待修复图像的质量好坏，在一种可行方式中，质量评分越高，则表明所述待修复图像的质量越好，质量评分越低，则表明所述待修复图像的质量越低。可选地，所述待修复图像的质量评分的取值范围可以为0-1。影响所述待修复图像质量高低的原因包括但不限于成像系统、摄像方法、传输介质和记录设备等各种可能的原因，或者，物体运动、噪声污染等其他可能的原因。

本实施例中，可以由人工来对所述待修复图像进行质量评分，或者，通过设定的图像质量评价模型对所述待修复图像进行图像质量评估，或者，可以使用适当的评分算法等得到所述待修复图像的质量评分。

在一种可选方式中，通过设定的图像质量评价模型对所述待修复图像进行图像质量评估，得到所述待修复图像的质量评分。通过图像质量评价模型得到所述待修复图像的质量评分的方式相较于其它方式可以获得更为准确的质量评分。其中，所述图像质量评价模型可以实现为任意适当的网络模型，比如可以为vgg13bn网络模型等。

进一步可选地，在所述通过设定的图像质量评价模型对所述待修复图像进行图像质量评估之前，所述方法还包括：获取用于训练所述图像质量评价模型的样本图像，以及，所述样本图像对应的质量评分标注，其中，所述质量评分标注根据所述样本图像的信噪峰值比，以及，所述样本图像与参考图像的相似度确定；使用所述样本图像和所述质量评分标注对所述图像质量评价模型进行训练，从而使得所述图像质量评价模型在对待修复图像进行质量评估时得到的所述待修复图像的质量评分更加准确。

其中，样本图像的信噪峰值比(peaksignaltonoiseratio，简称psnr)是一个样本图像的最大可能功率和破坏性噪声功率的比值，常用对数分贝单位来表示。样本图像与参考图像的相似度(structuralsimilarity，简称ssim)是衡量样本图像与参考图像相似度的指标。

在一种可选方式中，所述质量评分标注根据所述样本图像的信噪峰值比，以及，所述样本图像与参考图像的相似度确定可以实现为：所述质量评分标注根据所述质量评分标注为所述信噪峰值比与所述相似度的乘积确定。通过这种乘积确定的方式进一步提升了质量评分的准确度。

通过上述样本图像和所述样本图像对应的质量评分标注，对图像质量评价模型的训练的具体实现可参照相关模型训练方式实现，本申请实施例对此不作限制。训练完成的图像质量评价模型可以为各种图像进行更为准确的质量评价。

s102、提取所述待修复图像的图像特征。

图像特征可以用来描述图像，本实施例中，用来描述待修复图像。示例性地，本实施例中，步骤s102中，可以通过图像修复模型结构中的卷积层来提取所述待修复图像的图像特征。此外，可选地，所述卷积层在提取所述待修复图像的图像特征时，还可以将所述待修复图像的原始图像通道转换为符合步骤s103中残差恢复处理可处理的通道标准的多个图像通道。

s103、根据获取到的所述质量评分，对所述待修复图像进行基于所述图像特征的残差恢复处理，得到残差恢复处理结果。

本实施例中，示例性地，所述残差恢复处理结果具体可以为残差恢复处理得到的图像特征。

本实施例中，示例性地，步骤s103中，可以根据所述待修复图像的图像特征，和，根据所述质量评分确定的、用于进行残差恢复处理的恒等映射函数，对所述待修复图像进行一次以上的残差恢复处理，得到所述残差恢复处理结果。对于一次残差恢复处理来说，所述恒等映射函数反映了基于残差的处理前图像和处理后图像的关系，通过恒等映射函数，可以提高残差恢复处理的准确性。

进一步地，在一种可选方式中，所述恒等映射函数可以包括第一计算因子和第二计算因子，其中，所述第一计算因子为根据图像特征估计值和预设的残差函数获得的图像残差值，所述第二计算因子为以所述质量评分为权重对所述图像特征估计值进行处理的结果。在其他实施例中，所述恒等映射函数也可以为其他形式。

s104、根据所述残差恢复处理结果，得到修复后的图像。

本实施例中，示例性地，可以通过用于图像修复模型结构中的卷积层来根据所述残差恢复处理结果，得到修复后的图像。

如图1b所示，以在一种应用场景中为视频文件的封面图像进行修复为例，一个视频文件通常包括多帧图像，假设其中的一帧图像受损，如作为该视频文件的封面图像的视频帧图像受损，则可将其作为待修复图像。根据本实施例的方案，先获取该待修复图像及该待修复图像对应的质量评分；进而，通过适当方式如通过卷积积进行特征提取方式提取所述待修复图像的图像特征；然后，基于该图像特征进行残差恢复处理，其中，在残差恢复处理中，根据所述质量评分控制残差恢复处理的力度，得到残差恢复处理结果；再根据所述残差恢复处理结果，得到修复后的图像，将修复后的图像作为所述视频文件的封面图像。

上述示例以视频文件的封面图像为例，但不限于此，在其它场景中，如视频流中的视频帧图像场景、搜索结果图像场景、推荐图像场景及信息流图像场景中，本发明实施例均可适用。

在视频流中的视频帧图像场景中，若某一帧或某些帧图像受损，则可采用上述图像修复方式为其进行修复，并在修复后播放所述视频流中，以替换原受损图像，由此，可以避免视频流在后续处理或播放过程中产生的因图像质量对处理或播放的影响。

而在搜索结果图像场景中，若用户进行了某种图像搜索，针对该搜索对应的多张搜索结果图像中，若存在某个或某些图像受损情况，则可以采用上述图像修复方式对受损图像进行修复后，再向用户展示，使得用户获得的均为较高质量的图像。

在推荐图像场景中，与搜索结果图像场景类似，若待向用户推荐的图像中存在受损图像，则可以采用上述图像修复方式对受损图像进行修复后，再向用户推荐展示，以使用户获得较高质量的图像。

在信息流(如feed流)图像场景中，通过图像可以引导用户查看或浏览信息流，若图像受损，则该作用将会大大降低。为此，也可采用上述图像修复方式对信息流对应的受损图像进行修复后，再与信息流对应展示。

本实施例中，待修复图像对应有相应的质量评分，在对该待修复图像进行修复时，根据该质量评分对用于表征该图像的图像特征进行残差恢复处理，以根据处理结果获得修复后的图像。其中，一方面，通过残差恢复处理方式相较于其它方式对图像的修复更为精准；另一方面，在修复过程中，可以通过质量评分控制对图像修复的力度，因不同失真程度或质量下降程度的待修复图像将对应的不对的质量评分，通过质量评分控制修复力度避免了对不同图像因修复过度或修复不足而不能达到修复需求的现象，提升了修复准确度，提升了图像修复的修复效果。

参考图2a，本申请另一实施例中，以采用图像修复模型实现对待修复图像的修复为例进行说明。

该图像修复模型包括：前卷积层、n个残差块(n≥8)以及后卷积层，所述n个残差块之前连接有所述前卷积层，所述n个残差块之后连接有所述后卷积层。在一种可选方式中，所述n为12，以实现修复效果和修复效率的兼顾。

其中，通过前卷积层首先进行待修复图像的图像特征的提取，此外，所述前卷积层还可用于将所述待修复图像的原始图像通道转换为符合所述n个残差块可处理的通道标准的多个图像通道，以方便后续所述n个残差块的处理。所述n个残差块用于对所述待修复图像进行n次残差恢复处理得到残差恢复处理结果。所述n个残差块按照残差恢复处理的前后顺序，依次分别记为残差块1、残差块2....残差块n，本实施例中，所有的残差块都使用相同的恒等映射函数。所述后卷积层用于根据所述残差恢复处理结果得到修复后的图像。此外，所述后卷积层还可用于将所述残差恢复处理结果的图像通道转换为所述原始图像通道，以使修复后的图像与修复前图像更为接近。

参考图2b，为一个残差块的示例性结构示意图。如图2b所示，每个残差块包括两个卷积层(两个卷积层分别称之为卷积层1、卷积层2)和一个非线性激活层(relu)，以输入当前残差块的图像特征的特征值为所述图像特征估计值，所述图像特征估计值依次经过卷积层1、非线性激活层(relu)、卷积层2分别进行卷积处理、非线性处理以及卷积处理后，获得卷积层2的卷积处理结果，然后，通过恒等映射函数基于卷积层2的卷积处理结果、所述图像特征估计值以及所述待修复图像的质量评分进行残差恢复处理，并根据残差恢复处理结果输出处理后的图像特征。

参考图2c，本申请实施例二中，基于图2a、2b提供的图像修复模型实现图像修复方法，包括：

s201、获取待修复图像及所述待修复图像对应的质量评分。

本步骤的实现可参照上述实施例一中的步骤s101的实现，在此不再赘述。

s202、通过图像修复模型的所述前卷积层提取所述待修复图像的图像特征。

s203、通过图像修复模型将所述待修复图像的图像特征输入前后依次相连的n个残差块中，通过所述n个残差块根据所述恒等映射函数，对所述待修复图像进行n次残差恢复处理，得到残差恢复处理结果。

本实施例中，示例性地，步骤s203中所述通过所述多个残差块根据所述恒等映射函数，对所述待修复图像进行多次残差恢复处理，包括：

针对每个残差块，以输入当前残差块的图像特征的特征值为所述图像特征估计值，根据所述恒等映射函数进行当前残差块的残差恢复处理，并根据残差恢复处理结果输出处理后的图像特征。

参见图2d，以利用n个残差块进行n次残差恢复处理的应用场景为例，在图2d中，前卷积层记为conv_first，n个残差块分别记为resblock1......resblockn，后卷积层记为conv_last。其中，resblock1进行残差恢复处理得到的残差回复处理结果记为：残差回复处理结果1，resblock2进行残差恢复处理得到的残差回复处理结果记为：残差回复处理结果2，以此类推，resblockn进行残差恢复处理得到的残差回复处理结果记为：残差回复处理结果n。由图中可见，残差回复处理结果1作为resblock2的输入，残差回复处理结果2作为resblock3的输入，以此类推，根据resblockn-1对应的残差回复处理结果n-1作为resblockn的输入。在得到残差回复处理结果n后，经conv_last处理后，可得到修复后图像。

图2d所示应用场景示意图中，所述恒等映射函数为：r0＝ri*score+rc2。其中，r0表示当前残差块的输出，r1表示当前残差块的输入，score表示质量评分，rc2表示当前残差块中卷积层2的处理结果(参照图2b中所示)。

s204、通过图像修复模型的所述后卷积层根据所述残差恢复处理结果，得到修复后的图像。

本实施例中，示例性地，根据残差块n的残差恢复处理结果n，得到修复后的图像。

示例性地，上述图2d中，前卷积层、残差块、后卷积层中使用的卷积核大小可以为3*3，在进行卷积处理时使用的滑动步长stride＝1，边界填充参数padding＝1，上述前卷积层、残差块中的卷积层、后卷积层可以包括64个卷积核。另外，若待修复图像为rgb图像，对于前卷积层来说，其输入的图像通道数为3个，由于前卷积层有64个卷积核，因此，前卷积层的输出的图像通道数为64个。每个残差块的输入的图像通道数、输出的图像通道数均为64；对于后卷积层来说，其输入的图像通道数为64，另外，由于通过后卷积层得到修复后的图像，为确保修复后的图像同样为rgb图像，因此，后卷积层输出的图像通道数为3。

假设输入到每个残差块的图像特征估计值记为r1，经过卷积层2处理后得到的卷积结果记为rc2，每个残差块输出的处理后的图像特征为r0，所述恒等映射函数定义如上述r0＝ri*score+rc2，或者，可替代地为r0＝ri*score+(1-score)*rc2。对于当前残差块(除第一个残差块外)来说，其图像特征估计值r1为上一个残差块输出的图像特征(即上一个残差块输出的r0)，当前残差块输出的图像特征r0为输入到下一个残差块的图像特征估计值(即输入下一个残差块的r1)。另外，输入到第一个残差块的图像特征为前卷积层从所述待修复图像上提取到的图像特征。

对于r0＝ri*score+rc2，其中，将所述图像特征估计值经过卷积层1、非线性激活层(relu)、卷积层2处理后的结果即rc2作为第一计算因子(通过残差块对图像特征估计值进行处理后的结果，也可以认为是根据图像特征估计值和预设的残差函数获得的图像残差值)，将所述质量评分和所述图像特征估计值乘积的结果即ri*score做为第二计算因子(可认为是以所述质量评分为权重对所述图像特征估计值进行处理的结果)。

对于r0＝ri*score+(1-score)*rc2，其中，将ri*score作为第二计算因子，将(1-score)*rc2作为第一计算因子(根据图像特征估计值和预设的残差函数获得的图像残差值，并根据残差权重对所述图像残差值进行处理的结果)。可见，第二计算因子中的权重即score与第一计算因子中的权重即(1-score)的总和为1.与r0＝ri*score+rc2相比，r0＝ri*score+(1-score)*rc2的收敛速度更快。

根据本实施例，待修复图像对应有相应的质量评分，在对该待修复图像进行修复时，根据该质量评分对用于表征该图像的图像特征进行残差恢复处理，以根据处理结果获得修复后的图像。其中，一方面，通过残差恢复处理方式相较于其它方式对图像的修复更为精准；另一方面，在修复过程中，可以通过质量评分控制对图像修复的力度，因不同失真程度或质量下降程度的待修复图像将对应的不对的质量评分，通过质量评分控制修复力度避免了对不同图像因修复过度或修复不足而不能达到修复需求的现象，提升了修复准确度，提升了图像修复的修复效果。

图3为本申请一种图像修复装置实施例的示意图，如图3所示，其包括：

图像获取单元301，用于获取待修复图像及所述待修复图像对应的质量评分；

特征提取单元302，用于提取所述待修复图像的图像特征；

残差恢复单元303，用于根据获取到的所述质量评分，对所述待修复图像进行基于所述图像特征的残差恢复处理，得到残差恢复处理结果；

图像生成单元304，用于根据所述残差恢复处理结果，得到修复后的图像。

可选地，残差恢复单元303，用于根据所述待修复图像的图像特征，和，根据所述质量评分确定的、用于进行残差恢复处理的恒等映射函数，对所述待修复图像进行一次以上的残差恢复处理，得到所述残差恢复处理结果。

可选地，所述恒等映射函数包括第一计算因子和第二计算因子，其中，所述第一计算因子为根据图像特征估计值和预设的残差函数获得的图像残差值，所述第二计算因子为以所述质量评分为权重对所述图像特征估计值进行处理的结果。

可选地，所述第一计算因子为根据图像特征估计值和预设的残差函数获得的图像残差值，并根据残差权重对所述图像残差值进行处理的结果，所述残差权重与所述质量评分的总和为1。

可选地，残差恢复单元303，用于将所述待修复图像的图像特征输入前后依次相连的多个残差块中，通过所述多个残差块根据所述恒等映射函数，对所述待修复图像进行多次残差恢复处理，得到残差恢复处理结果。

可选地，残差恢复单元303在通过所述多个残差块根据所述恒等映射函数，对所述待修复图像进行多次残差恢复处理时：针对每个残差块，以输入当前残差块的图像特征的特征值为所述图像特征估计值，根据所述恒等映射函数进行当前残差块的残差恢复处理，并根据残差恢复处理结果输出处理后的图像特征。

可选地，所述多个残差块之前连接有前卷积层，且所述多个残差块之后连接有后卷积层；所述前卷积层用于将所述待修复图像的原始图像通道转换为符合所述多个残差块可处理的通道标准的多个图像通道；所述后卷积层用于将所述残差恢复处理结果的图像通道转换为所述原始图像通道。

可选地，所述获取待修复图像的质量评分之前还包括：通过设定的图像质量评价模型对所述待修复图像进行图像质量评估，得到所述待修复图像的质量评分。

可选地，本实施例的图像修复装置还包括：训练模块，用于在所述通过设定的图像质量评价模型对所述待修复图像进行图像质量评估之前，获取用于训练所述图像质量评价模型的样本图像，以及，所述样本图像对应的质量评分标注，其中，所述质量评分标注根据所述样本图像的信噪峰值比，以及，所述样本图像与参考图像的相似度确定；使用所述样本图像和所述质量评分标注对所述图像质量评价模型进行训练。

可选地，所述质量评分标注为所述信噪峰值比与所述相似度的乘积。

可选地，所述待修复图像包括以下至少之一：视频流中的视频帧图像、视频封面图像、搜索结果图像、推荐图像、信息流图像。

本实施例的图像修复装置用于实现前述多个方法实施例中相应的图像修复方法，并具有相应的方法实施例的有益效果，在此不再赘述。

本申请实施例还提供一种电子设备，其包括：处理器401、存储器402、通信接口403和通信总线404，所述处理器401、所述存储器402和所述通信接口403通过所述通信总线404完成相互间的通信。

所述存储器402用于存放至少一可执行指令，所述可执行指令使所述处理器401执行如本申请任一实施例所述的图像修复方法对应的操作。

本申请实施例还提供一种图像修复服务，该图像修复服务可用于响应于图像修复命令，对所述图像修复命令指向的图像执行如前述多个方法实施例中任一实施例中所述的图像修复方法。

示例性地，比如所述图像修复服务可以和客户端部署在一个端上，或者，所述图像修复服务部署在服务端，通过api(applicationprogramminginterface，应用程序接口)调用。

例如，客户端接收到待修复的图像后，调用客户端本地部署的图像修复服务，该图像修复服务采用如前述多个图像修复方法实施例中所述的方式，对该待修复图像进行修复后，返回修复后的图像。

再例如，客户端接收到待修复的图像后，通过部署在服务端的图像修复服务提供的对外接口，调用该图像修复服务。该图像修复服务采用如前述多个图像修复方法实施例中所述的方式，对该待修复图像进行修复后，再通过该对外接口或其它返回接口向客户端返回修复后的图像。或者，客户端也可以将待修复的图像发送至服务端，由服务端通过其图像修复服务对该待修复图像进行修复后，返回给客户端。

本申请实施例还提供一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如任一实施例所述的图像修复方法。

存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的方法实施例对应的程序指令/模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据具体使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器、闪存器件、或其他非易失性固态存储器。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些存储器可以通过网络连接至视频服务器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

上述电子设备及计算机存储介质可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本申请实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iphone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:pda、mid和umpc设备等，例如ipad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如ipod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

至此，已经对本主题的特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序，以实现期望的结果。在某些实施方式中，多任务处理和并行处理可以是有利的。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定事务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行事务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。