一种图像超分辨率方法及设备与流程

本发明涉及通信技术领域，特别涉及一种图像超分辨率方法。本发明同时还涉及一种图像超分辨率设备。

背景技术：

图像超分辨率重建技术是利用一组低质量、低分辨率图像(或运动序列)来产生单幅高质量、高分辨率图像。图像超分辨率重建应用领域及其宽广，在军事，医学，公共安全，计算机视觉等方面都存在着重要的应用前景。在计算机视觉领域，图像超分辨率重建技术有可能使图像实现从检出水平向识别水平的转化，或更进一步实现向细辨水平的转化。

基于可以提高图像的识别能力和识别精度的图像超分辨率重建技术，现有技术提出了利用单帧低分辨率、欠采样图像，生成高分辨率图像的单帧图像超分辨率。单帧图像超分辨率重建技术可以实现目标物的专注分析，从而可以获取感兴趣区域更高空间分辨率的图像，而不必直接采用数据量巨大的高空间分辨率图像的配置。

随着人工神经网络领域的不断发展，目前技术人员能够基于深度卷积神经网络实现单帧图像超分辨率，使得单帧图像超分辨率技术有了巨大的进步。卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。

目前，在基于深度卷积神经网络的单帧图像超分辨率时，该方法通过对输入低分辨率图像进行一系列的卷积或者反卷积操作，输出为一帧高分辨率的图像。通过计算输出高分辨率图像与真实高分辨率图像的均方差(MSE),作为深度卷积神经网络训练的监督信号。

然而，发明人在实现本申请的过程中发现，当现有技术对图片进行大采样因子处理(例如4x上采样，即图像宽高分别放大为原来的4倍)时，纹理细节的恢复仍然存在问题，从而细节不够清晰。即便是利用深度卷积神经网络的单帧图像超分辨率，也会在采样因子较大时使得结果通常过分平滑，缺乏高频细节信息，导致无法满足需求。

技术实现要素：

本发明提供了一种超分辨率图像生成方法，用以更好的保留待处理图像的细节信息，并解决现有技术中在采样因子较大时输出高分辨率图像纹理细节不清晰的问题。该方法预先设置生成网络以及判别网络，所述生成网络以及所述判别网络的类型均为深度神经网络，该方法还包括：

将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像样本；

获取所述判别网络分别在输入所述真实图像样本以及所述超分辨率图像样本后输出的判别概率，所述判别概率为所述判别网络的输入图像为真实图像的概率；

根据所述真实图像样本、超分辨率图像样本以及所述判别概率确定生成网络损失函数以及判别网络损失函数，并根据所述生成网络损失函数以及所述判别网络损失函数对所述生成网络以及所述判别网络的配置参数进行调整；

当完成所述配置参数的调整之后，接收待处理的低分辨率图像，根据所述生成网络生成所述低分辨率图像的超分辨率图像，并对所述超分辨率图像进行可视化处理；

其中，当所述生成网络的损失函数越小，与所述生成网络所输出的超分辨率图像的真实度越高；

当所述判别网络的损失函数越小，所述判别网络输出的判别概率的准确度越高。

优选的，所述生成网络的损失函数根据对抗损失函数、规则约束损失函数以及像素级的均方差损失函数生成，其中：

所述对抗损失函数根据所述判别网络在输入所述超分辨率图像样本后输出的判别概率生成；

所述规则约束函数根据所述超分辨率图像样本的空间一致性确定；

所述像素级的均方差损失函数根据所述超分辨率图像样本以及所述真实图像样本确定。

优选的，在将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像样本之后，还包括：

分别为所述真实图像样本以及所述超分辨率图像样本设置标签；

其中，所述真实图像样本的标签置1，所述超分辨率图像样本的标签置0。

优选的，所述判别网络的损失函数根据所有图像样本的标签以及各所述图像样本在经过所述判别网络输出的判别概率生成。

优选的，所述真实图像样本在输入所述生成网络前进行缩放处理以及归一化处理；所述低分辨率图像在输入所述生成网络前进行归一化处理。

相应的，本申请还公开了一种超分辨率图像生成设备，包括：

预置模块，预先设置生成网络以及判别网络，所述生成网络以及所述判别网络的类型均为深度神经网络；

输入模块，将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像样本；

获取模块，获取所述判别网络分别在输入所述真实图像样本以及所述超分辨率图像样本后输出的判别概率，所述判别概率为所述判别网络的输入图像为真实图像的概率；

确定模块，根据所述真实图像样本、超分辨率图像样本以及所述判别概率确定生成网络损失函数以及判别网络损失函数，并根据所述生成网络损失函数以及所述判别网络损失函数对所述生成网络以及所述判别网络的配置参数进行调整；

生成模块，当完成所述配置参数的调整之后，接收待处理的低分辨率图像，根据所述生成网络生成所述低分辨率图像的超分辨率图像，并对所述超分辨率图像进行可视化处理；

其中，当所述生成网络的损失函数越小，与所述生成网络所输出的超分辨率图像的真实度越高；

当所述判别网络的损失函数越小，所述判别网络输出的判别概率的准确度越高。

优选的，所述生成网络的损失函数根据对抗损失函数、规则约束损失函数以及像素级的均方差损失函数生成，其中：

所述对抗损失函数根据所述判别网络在输入所述超分辨率图像样本后输出的判别概率生成；

所述规则约束函数根据所述超分辨率图像样本的空间一致性确定；

所述像素级的均方差损失函数根据所述超分辨率图像样本以及所述真实图像样本确定。

优选的，还包括：

标签模块，分别为所述真实图像样本以及所述超分辨率图像样本设置标签；

其中，所述真实图像样本的标签置1，所述超分辨率图像样本的标签置0。

优选的，所述判别网络的损失函数根据所有图像样本的标签以及各所述图像样本在经过所述判别网络输出的判别概率生成。

优选的，所述真实图像样本在输入所述生成网络前进行缩放处理以及归一化处理；所述低分辨率图像在输入所述生成网络前进行归一化处理。

由此可见，通过应用本申请的技术方案，在预先设置生成网络以及判别网络后，将真实图像样本输入生成网络以输出超分辨率处理后的超分辨率图像样本，并获取判别网络分别在输入真实图像样本以及超分辨率图像样本后输出的判别概率，最后根据真实图像样本、超分辨率图像样本以及判别概率确定生成网络损失函数以及判别网络损失函数，并根据生成网络损失函数以及判别网络损失函数对生成网络以及判别网络的配置参数进行调整。这样在当调整完成后接收到待处理的低分辨率图像时，能够根据生成网络生成低分辨率图像的超分辨率图像，并对超分辨率图像进行可视化处理。从而显著提高了图像超分辨率效果以及超分辨图像的真实性。

附图说明

图1为本申请具体实施例所公开的一种生成网络的结构示意图；

图2为本申请具体实施例所公开的一种判别网络的结构示意图；

图3为本申请提出的一种超分辨图像生成方法的流程示意图；

图4为本申请具体实施例所提出的训练过程工作流程示意图；

图5为本申请本具体实施例中超分辨率图像计算流程示意图；

图6为本申请提出的一种超分辨图像生成设备的结构示意图。

具体实施方式

如背景技术所述，基于深度卷积神经网络的单帧图像超分辨率，使得单帧图像超分辨率技术有了巨大的进步。但是对于上采样因子比较大时(例如4倍上采样)纹理细节的恢复仍然存在问题，从而导致细节不够清晰。

有鉴于此，本申请提出了一种超分辨图像生成方法，该方法针对单帧图像超分辨率提出了一种对抗网络框架，其中包括两个深度神经网络，一个是生成网络，一个是判别网络，两个网络同时训练相互竞争。生成网络的目的是从低分辨率图像生成高分辨率图像，而且生成的高分辨率图像很难与真实图像区分；判别网络的目的是区分真实图像和超分辨率生成的图像。通过对抗网络训练，使生成网络输出尽量真实的高分辨率图像。正因于此，在详细阐述本申请技术方案的详细步骤之前，本申请预先设置生成网络以及判别网络，需要说明的是，该生成网络以及判别网络的类型均为深度神经网络，以下针对这两种网络结合具体实施例进行说明：

如图1所示，为本申请具体实施例中生成网络的结构示意图，该生成网络结构图中的每层具体含义如下：

第1层InputLR表示输入低分辨率图像；

第2和第3层表示一个卷积层和ReLU(Rectified linear unit，修正线性单元，为深度学习激活函数的一种)激活函数层，其中卷积操作的步长为1，卷积核大小为3*3，卷积核数量为64；

第4到第9层是一个残差网络功能块，使用了两组卷积层紧跟批量规范化层，以ReLU作为激活函数，最后是元素级相加层，其中卷积操作的步长为1，卷积核大小为3*3，卷积核数量为64；

第10到第33层是4个残差网络功能块，每个残差网络功能块同上；

第34到第37层是两组反卷积单元，用于图像上采样。反卷积层操作的步长为0.5，卷积核大小为3*3，卷积核数量为64；本实例采用的缩放因子为4，所以采用了两组反卷积单元；如过缩放因子为2，那么可以采用一组反卷积单元；

第38层是一个卷积层，卷积操作步长为1，卷积核大小为3*3，卷积核数量为3，目的是生成3通道的RGB数据。

该生成网络的最后一层所输出的是超分辨率图像。

如图2所示，为本申请具体实施例中的判别网络的结构示意图，该判别网络结构图中的每层具体含义如下：

第1层Input HR/SR表示输入的高分辨率真实图像或者超分辨率图像；真实图像标记为1，超分辨率图像标记为0；

第2层和第3层表示一个卷积层和一个激活函数层，卷积；其中卷积层步长为1，卷积核大小为3*3，卷积核数量为64；

第4层到第6层表示一个卷积层、一个激活函数层和一个批量规则化层；其中卷积层步长为2，卷积核大小为3*3，卷积核数量为64；

第7层到第9层表示一个卷积层、一个激活函数层和一个批量规则化层；其中卷积层步长为1，卷积核大小为3*3，卷积核数量为128；

第10层到第12层表示一个卷积层、一个激活函数层和一个批量规则化层；其中卷积层步长为2，卷积核大小为3*3，卷积核数量为128；

第13层到第18层类似于第7到第12层，唯一区别是卷积核数量为256；

第19层到第24层类似于第7到第12层，唯一区别是卷积核数量为512；

第25层和第26层是一个全连接层和一个ReLU激活函数层；

第27层和第28层是一个全连接层和一个Sigmoid(利用sigmoid函数作为激活函数，为深度学习激活函数的一种)激活函数层，其中全连接层节点个数为1；

该判别网络的最后一层输出一个概率值，表示输入图像为真实图像的概率。

以上结合了具体的网络结构以及函数分布对本申请的生成网络以及判别网络进行了说明，然而需要说明的是，以上结构仅为本申请具体实施例中所提出的一种优选实施例方案，在基于深度神经网络通过将输入图像进行超分辨处理为超分辨图像，以及针对输入的图像进行真实图像/超分辨图像的判断的基础上，本领域技术人员所做的其他改型均属于本申请的保护范围。

基于预先创建的生成网络以及判别网络，本申请所提出的超分辨图像生成方法的流程示意图如图3所示，包括以下步骤：

S301，将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像样本。

由于本申请旨在通过对不同职能的深度神经网络进行改进以优化生成网络的输出效果，因此本申请主要分为两大流程部分，第一部分生成网络根据输入的低分辨率图像输出高分辨率图像；第二部分判别网络对输入图像进行真实性判断。生成网络的输出图像作为判别网络的输入图像，判别网络的输出作为生成网络的反馈信号。

基于上述说明，该步骤首先将现有的图片作为真实图像样本输入生成网络，在输入生成网络之前，需要依照惯例将真实图像样本进行一些预处理工作，例如缩放处理、归一化处理等。具体的缩放参数以及归一化参数可由技术人员根据实际情况进行设置，这些调整均属于本申请的保护范围。

由于本申请需要针对判别网络的校验准确率进行检验，而真实图像样本与后续生成的超分辨图像存在一定的相似性，因此在本申请的一个优选实施例中，分别为所述真实图像样本以及所述超分辨率图像样本设置标签以进行区分，其中真实图像样本的标签置1，超分辨率图像样本的标签置0。

S302，获取所述判别网络分别在输入所述真实图像样本以及所述超分辨率图像样本后输出的判别概率，所述判别概率为所述判别网络的输入图像为真实图像的概率。

基于S301中生成的超分辨率图像样本以及原始的真实图像样本，本申请将其同时输入判别网络，以此来检测判别网络的校验准确性。无论是输入真实图像样本还是超分辨率图像样本，判别网络都会输出一个判别概率，该概率用以描述输入图像在判别网络的检验后为真实图像的概率。在具体的应用场景中，该概率可以与各个样本图像的标签值相对应，例如概率值越接近1，表示真实图像的概率越高；概率值越接近0，表示超分辨率图像的概率越高。

S303，根据真实图像样本、超分辨率图像样本以及所述判别概率确定生成网络损失函数以及判别网络损失函数，并根据生成网络损失函数以及判别网络损失函数对生成网络以及判别网络的配置参数进行调整。

由于本申请在训练阶段利用两个深度网络基于单帧图像超分辨率训练方式来相互对抗，因此基于S301中的超分辨率图像以及S302中的判别概率，本申请将分别针对生成网络以及判别网络确定其各自的损失函数，对于生成网络来说，当所述生成网络的损失函数越小，与所述生成网络所输出的超分辨率图像的真实度越高，而对于判别网络来说，当所述判别网络的损失函数越小，所述判别网络输出的判别概率的准确度越高。

如前所述，生成网络以及判别网络的类型为深度神经网络，其分别由卷积单元和多个函数作为功能模块组成，因此在本申请的具体应用场景中，基于生成网络损失函数对生成网络中各个网络节点的权重值进行调整，以及基于判别网络损失函数对判别网络中各个网络节点的权重值进行调整。

需要说明的是，以上内容中所提及的超分辨率图像的真实度是超分辨率图像样本相对于真实图像样本而言，而准确度则是判别概率相对于真实情况下的真实图像/超分辨率图像而言，具体的表现形式可以由技术人员按照实际情况进行设定。此外，针对生成网络/判别网络的参数配置可由技术人员按照损失函数来进行调整，这些都属于本申请的保护范围。

在本申请的一个优选实施例中，生成网络的损失函数根据对抗损失函数、规则约束损失函数以及像素级的均方差损失函数生成，具体的，各函数的生成方式如下：

(1)所述对抗损失函数根据所述判别网络在输入所述超分辨率图像样本后输出的判别概率生成。

在具体的应用场景中，对抗损失函数的确定方式如下：

其中，D(I^SR)表示超分辨率输出图像输入到判别网络后的输出，这个值越大，表示超分辨率输出图像越接近真实图像，对抗损失函数值越小。

(2)所述规则约束函数根据所述超分辨率图像样本的空间一致性确定。

在本申请的具体应用场景中，规则约束损失函数记为LG^REG，主要目的是保持超分辨率图像的空间一致性，确定方式如下：

(3)所述像素级的均方差损失函数根据所述超分辨率图像样本以及所述真实图像样本确定。

在本申请的具体应用场景中，像素级的均方差损失函数，记为LG^MSE，计算公式如下：

其中，I^HR表示高分辨率真实图像，I^SR表示超分辨处理后的图像。

基于上述函数，本申请的优选实施例在生成生成网络的损失函数时，可按照不同函数对于超分辨率图像的准确度分配不同的权重，具体的权重数值可由技术人员根据实际应用情况进行设置，这些均属于本申请的保护范围。

以上内容描述了生成网络的损失函数的具体生成方式，在本申请的另一优选实施例中，判别网络的损失函数则是基于预先为真实图像样本以及超分辨率图像样本分配的标签以及判别网络在分别输入这些图像后所得出的判别概率生成。在本申请的一个具体实施例中，假设判别网络的损失函数为LD，那么其相应的确定方式如下：

其中，a_i表示输入标签，1表示真实图像，0表示超分辨率图像；y_i表示判别网络输出类别概率。

基于生成网络的损失函数以及判别网络的损失函数，本申请进一步利用这些损失函数对生成网络以及判别网络的配置参数进行调整。在此需要说明的是，本申请中S301-S303的调整过程并不仅限于一次，而是按照网络的优化程度以及技术人员针对超分辨率图像的生成技术精度要求重复必要的次数，这些均属于本申请的保护范围。

S304，当完成所述配置参数的调整之后，接收待处理的低分辨率图像，根据所述生成网络生成所述低分辨率图像的超分辨率图像，并对所述超分辨率图像进行可视化处理。

待生成网络以及判别网络的参数均通过S301-S303的步骤调整完成后，通过对抗网络训练使生成网络能够输出尽量真实的高分辨率图像。后续当技术人员需要针对低分辨率图像生成超分辨率图像时，即可将低分辨率图像作为输入图像向生成网络输入，并以此生成超分辨率图像。相较于现有的像素级误差统计，能够更好的保留图像细节信息，且解决了采样因子较大时输出高分辨率图像纹理细节不清晰的问题。

为了进一步阐述本发明的技术思想，现结合图4所示的训练过程以及图5所示的超分辨率图像确定流程对本发明的技术方案进行说明。

本具体实施例的每次训练过程中的训练样本是从训练图片集中随机裁剪出N张Width*Height的图片，例如N为32，Width＝Height＝128。这些训练样本同时作为生成网络和判别网络的输入。如图4所示，为本申请具体实施例所提出的训练过程工作流程，包括如下步骤：

步骤一、缩放及归一化处理。对训练样本进行双三次插值下采样，采样因子为4；然后对下采样后的图像进行归一化，即每个通道像素值除以255；作为生成网络的输入数据；

步骤二、生成网络前向传播。根据生成网络结构图，前向遍历所有层；

步骤三、输出超分辨率图像，同时用于判别网络的输入和生成网络的损失计算；

步骤四、样本预处理。该处样本分为两个来源，一个是训练样本，每个通道像素值除以255，作为真实图像，标记为类别1；另一个是步骤三的输出，作为超分辨率图像，是程序产生的，区别于真实图像，标记为类别0；每一类样本N张，总计2N张；

步骤五、判别网络前向传播。根据判别网络结构图，前向遍历所有层；

步骤六、输出类别概率，概率值越接近1，表示真实图像的概率越高；概率值越接近0，表示超分辨率图像的概率越高；

步骤七、生成网络损失函数计算。生成网络损失函数记为LG，它由三部分组成：

1)像素级的均方差损失函数，记为LG^MSE，确定方式如下所示：

其中，x，y代表像素点在图像中的坐标位置，I^HR表示高分辨率真实图像，I^SR表示超分辨处理后的图像。

2)对抗损失函数，目的是统计这个超分辨率图像的真实性，记为LG^ADV。其确定方式如下所示：

其中，N为步骤四中样本的数量N，i表示当前的样本的编号，D(I^SR)表示超分辨率输出图像输入到判别网络后的输出，即判别网络的判别概率，这个值越大，表示超分辨率输出图像越接近真实图像，对抗损失函数值越小。

3)规则约束损失函数，记为LG^REG，主要目的是保持超分辨率图像的空间一致性。其确定方式如下所示：

其中，I^SR_x，y表示超分辨处理后的图像中的某个像素点。

生成网络损失函数可以通过以上三部分加权求和生成，具体方式如下：

LG＝γ₀LG^MSE+γ₁LG^ADV+γ₂LG^REG

其中γ₀可以取值0.9，γ₁可以取值0.002，γ₂可以取值2*10^-8,可以具体调整这些参数。

步骤八、生成网络反向传播。根据步骤七计算的生成网络损失函数，反向传播整个生成网络，即利用网络损失函数对生成网络中的各个网络节点进行调整，在具体的应用场景中，技术人员能够根据该损失函数调整生成网络节点的权重值；

步骤九、判别网络损失函数计算。判别网络损失函数记为LD，计算公式如下公式1：

其中a_i表示输入标签，1表示真实图像，0表示超分辨率图像；y_i表示判别网络输出的判别概率；

步骤十、判别网络反向传播。根据步骤九计算的判别网络损失函数，反向传播整个判别网络，调整判别网络节点权重值；

在实际的应用过程中，技术人员可以根据需要同时执行步骤七、八和步骤九、十，具体的步骤执行先后次序并不影响本申请的保护范围。

在针对生成网络以及判别网络的损失函数调整了配置参数之后，本具体实施例中超分辨率图像计算流程如图5所示，包括以下步骤：

步骤一、输入低分辨率图像；

步骤二、对输入图像做归一化处理，即图像每个通道像素值除以255；

步骤三、生成网络前向传播。根据生成网络结构图，前向遍历所有层；

步骤四、输出超分辨率图像；

步骤五、图像可视化，即对生成网络输出的超分辨率图像每个通道像素值乘以255，并定点化。

通过应用以上具体实施例的技术方案，提高了单帧图像超分辨率效果，特别是对于缩放因子较大的情况，而且还提升了单帧图像超分辨图像的真实性，而不仅仅局限于信噪比。

为达到以上技术目的，本发明还提出了一种超分辨率图像生成设备如图6所示，包括：

预置模块610，预先设置生成网络以及判别网络，所述生成网络以及所述判别网络的类型均为深度神经网络；

输入模块620，将真实图像样本输入所述生成网络以输出超分辨率处理后的超分辨率图像样本；

获取模块630，获取所述判别网络分别在输入所述真实图像样本以及所述超分辨率图像样本后输出的判别概率，所述判别概率为所述判别网络的输入图像为真实图像的概率；

确定模块640，根据所述真实图像样本、超分辨率图像样本以及所述判别概率确定生成网络损失函数以及判别网络损失函数，并根据所述生成网络损失函数以及所述判别网络损失函数对所述生成网络以及所述判别网络的配置参数进行调整；

生成模块650，当完成所述配置参数的调整之后，接收待处理的低分辨率图像，根据所述生成网络生成所述低分辨率图像的超分辨率图像，并对所述超分辨率图像进行可视化处理；

其中，当所述生成网络的损失函数越小，与所述生成网络所输出的超分辨率图像的真实度越高；

当所述判别网络的损失函数越小，所述判别网络输出的判别概率的准确度越高。

在具体的应用场景中，所述生成网络的损失函数根据对抗损失函数、规则约束损失函数以及像素级的均方差损失函数生成，其中：

所述对抗损失函数根据所述判别网络在输入所述超分辨率图像样本后输出的判别概率生成；

所述规则约束函数根据所述超分辨率图像样本的空间一致性确定；

所述像素级的均方差损失函数根据所述超分辨率图像样本以及所述真实图像样本确定。

在具体的应用场景中，还包括：

标签模块，分别为所述真实图像样本以及所述超分辨率图像样本设置标签；

其中，所述真实图像样本的标签置1，所述超分辨率图像样本的标签置0。

在具体的应用场景中，所述判别网络的损失函数根据所有图像样本的标签以及各所述图像样本在经过所述判别网络输出的判别概率生成。

在具体的应用场景中，所述真实图像样本在输入所述生成网络前进行缩放处理以及归一化处理；所述低分辨率图像在输入所述生成网络前进行归一化处理。

由此可见，通过应用本申请的技术方案，在预先设置生成网络以及判别网络后，将真实图像样本输入生成网络以输出超分辨率图像样本，并获取判别网络分别在输入真实图像样本以及超分辨率图像样本后输出的判别概率，根据真实图像样本、超分辨率图像样本以及判别概率确定生成网络损失函数以及判别网络损失函数，根据生成网络损失函数以及判别网络损失函数对生成网络以及判别网络的配置参数进行调整。在当完成配置参数的调整之后，接收待处理的低分辨率图像，能够根据生成网络生成低分辨率图像的超分辨率图像，并对超分辨率图像进行可视化处理。从而显著提高了图像超分辨率效果以及超分辨图像的真实性。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景所述的方法。

本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明序号仅仅为了描述，不代表实施场景的优劣。

以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。