一种基于二阶段深度学习网络的阴道镜影像区域识别方法和装置以及设备与流程

1.本发明涉及图像识别技术领域，尤其涉及一种基于二阶段深度学习网络的阴道镜影像区域识别方法和装置以及设备。


背景技术：

2.阴道显微镜是用于临床查看宫颈、阴道、外阴组织的器械。主要由显微镜、套管、显微镜台及置物架组成。通常由观察系统、照明系统组成，观察系统是具有目镜、物镜的短工作距的体视光学显微系统，可外接图像采集显示系统。利用显微放大原理，观察物体细节。现有技术阴道镜与图像分析算法的结合在临床查看宫颈、阴道、外阴组织中起着重要的作用，但其存在两个主要问题：
3.(1)阴道镜图像包含众多复杂元素，图像中有些区域并不典型且区域较小，现有的技术手段对于非典型小区域的细节信息不够敏感，且对特征的选择具有较高的不可解释性，使得目前的技术方案只能输出大致的区域，不能获得监测点。
4.(2)阴道镜图片光线受限，其图片往往受环境光源影响较大，且在阴道镜检查的过程中，阴道镜镜头一直在移动，容易使非典型小区域的细节信息丢失，致使其不容易识别出来。


技术实现要素：

5.有鉴于此，本发明的目的在于提出一种基于二阶段深度学习网络的阴道镜影像区域识别方法和装置以及设备，能够实现通过阴道镜的图像来识别非典型小区域的位置及监测点。
6.根据本发明的一个方面，提供一种基于二阶段深度学习网络的阴道镜影像区域识别方法，包括：利用阴道镜采集不同影像数据；构建基于影像数据的u型变换卷积神经网络模型；采用u型变换卷积神经网络对所述构建的u型变换卷积神经网络模型进行训练；根据所述训练后的u型变换卷积神经网络模型，输出预测影像数据中的非典型小区域的训练结果；构建基于所述u型变换卷积神经网络训练结果的yolo神经网络模型；采用yolo神经网络训练所述yolo神经网络模型；根据所述训练后的u型变换卷积神经网络模型-yolo神经网络模型的二阶段深度学习模型，来对阴道镜影像数据进行对应该影像数据的非典型小区域以及监测点的预测。
7.根据本发明的另一个方面，提供一种基于二阶段深度学习网络的阴道镜影像区域识别装置，包括：获取模块、构建模块、训练模块和预测模块；所述获取模块，用于利用阴道镜采集不同影像数据；所述构建模块，用于构建u型变换卷积神经网络模型-yolo神经网络模型的二阶段深度学习模型；所述训练模块，用于训练u型变换卷积神经网络模型-yolo神经网络模型的二阶段深度学习模型；所述预测模块，用于根据所述训练后的u型变换卷积神经网络模型-yolo神经网络模型的二阶段深度学习模型，来对阴道镜影像数据进行对应该
影像数据的非典型小区域以及监测点的预测。。
8.根据本发明的又一个方面，提供一种基于二阶段深度学习网络的阴道镜影像区域识别设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一项所述的基于二阶段深度学习网络的阴道镜影像区域识别方法。
9.根据本发明的再一个方面，提供一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述任一项所述的基于二阶段深度学习网络的阴道镜影像区域识别方法。
10.可以发现，以上方案，采取二阶段深度学习模型，使非典型小区域具有高度可解释性且对于非典型小区域的细节信息足够敏感，能够提取出非典型小区域以及监测点。深度学习二阶段算法的两个组成部分(阴道镜影像非典型小区域分割和活检位置引导)以连续的方式训练。前一个网络被训练并且被固定用于后一个网络的训练。阴道镜影像中的非典型小区域往往不典型且区域较小，非典型小区域位置不容易发现，具有高隐匿性，且不同的非典型小区域类型往往其关注等级不同，因此若直接使用现有技术进行训练会导致其非典型小区域的输出结果不具可解释性。所以本发明采取二阶段的方式，在一阶段对人工勾画活检位置，使其勾画结果具有高度可解释性，通过u型变换卷积神经网络学习其特征输出非典型小区域，再通过第二阶段的yolo把高度可疑活检区域进行框选输出，以此生成一套既具有高性能又有高度可解释性的模型。为了应对非典型小区域特征分辨率损失，在二阶段深度学习模型的第一阶段提出了一个u型变换卷积神经网络，弥补了变换神经网络带来的非典型小区域特征分辨率损失，实现精确定位。为了解决在阴道镜检查的过程中，阴道镜镜头一直在移动，容易使非典型小区域的细节信息丢失，在二阶段深度学习模型的第二阶段使用目标检测算法对非典型小区域中的监测点进行定位；本实施例从针对现有阴道镜影像算法不具备可解释性、对于非典型小区域的细节信息不够敏感、非典型小区域的细节信息丢失三个技术问题出发，能够针对非典型小区域以及监测点作出精准度较高的预测。
附图说明
11.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1是本发明基于二阶段深度学习网络的阴道镜影像区域识别方法一实施例的流程示意图；
13.图2是本发明基于二阶段深度学习网络的阴道镜影像区域识别方法一实施例的u型变换卷积神经网络框架结构示意图；
14.图3是本发明基于二阶段深度学习网络的阴道镜影像区域识别方法一实施例u型变换卷积神经网络模型-yolo神经网络模型的二阶段深度学习模型输出的预测结果图。
具体实施方式
15.下面结合附图和实施例，对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
16.本发明提供一种基于二阶段深度学习网络的阴道镜影像区域识别方法，能够实现通过阴道镜的图像来识别非典型小区域的位置及监测点。
17.请参见图1，图1是本发明基于二阶段深度学习网络的阴道镜影像区域识别方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括如下步骤：
18.s101：利用阴道镜采集不同影像数据；
19.在本实施例中既可以是醋酸热敷条件下采集的影像数据，也可以是碘溶液热敷条件下采集的影像数据，本实施例不加以限定。
20.s102：构建基于影像数据的u型变换卷积神经网络模型；。
21.在本实施例中，该构建的u型变换卷积神经网络模型，可以依据不同的阴道镜影像数据之间的图像特征差异，预测出影像数据中非典型小区域；同时弥补了变换神经网络带来的非典型小区域特征分辨率损失，实现精确定位。
22.s103：采用u型变换卷积神经网络对所述构建的u型变换卷积神经网络模型进行训练。
23.在本实施例中，构建u型变换卷积神经网络，并采用u型变换卷积神经网络对所述影像数据中的每个影像进行相应非典型小区域的边缘进行打标，和u型变换卷积神经网络对所述经非典型小区域的边缘进行打标后的影像数据中提取出每个非典型小区域的图像特征，并从所述图像特征中提取出颜色特征、纹理特征、形状特征和空间关系特征作为u型变换卷积神经网络的训练输入的方式，以及采用所述将颜色特征、纹理特征、形状特征和空间关系特征作为训练输入的u型变换卷积神经网络对所述构建的u型变换卷积神经网络模型进行训练。
24.具体的，为了应对非典型小区域的检测，需要一类对于细节信息更为敏感的模型对阴道镜影像进行特征信息提取，而变换神经网络在细节特征的提取上具有优异表现。但直接采用变换神经网络分割模型进行了非典型小区域检测容易出现非典型小区域特征分辨率损失，准确度仍有不足。为此，本发明提出了一个u型变换卷积神经网络，即医学图像分割框架
‑‑
变换神经网络分割网络，请参阅图2。变换神经网络可以作为医学图像分割任务的编码器，通过恢复局部空间信息来增强更精细的细节，它从序列到序列预测的角度建立了自注意力机制。为了弥补变换神经网络带来的特征分辨率损失，变换神经网络分割模型采用混合卷积神经网络-变换神经网络架构来利用来自卷积神经网络特征的详细高分辨率空间信息和变换神经网络编码的全局上下文。受u型神经网络(u-net)架构设计的启发，变换神经网络编码的自注意力机制的特征随后被上采样以与从编码路径中跳过的不同高分辨率卷积神经网络特征相结合，以克服特征分辨率损失的缺点，提高准确度。一方面，变换神经网络将来自卷积神经网络特征映射的标记化图像块编码为用于提取全局上下文的输入序列。另一方面，解码器对编码特征进行上采样，然后将其与高分辨率卷积神经网络特征图
相结合，以实现精确定位。训练完成的变换神经网络分割模型，通绘制一个边界框来手动标注每幅图像的非典型小区域位置。
25.为了训练和验证非典型小区域检测网络，通过在非典型小区域周围绘制边界框来手动标注每幅图像的非典型小区域位置。变换神经网络分割模型有一个编码器-解码器架构。编码器主要从阴道镜图像中提取视觉特征表示，解码器负责分解编码特征并生成逐像素的分割结果。使用变换神经网络分割模型将每一帧的静止阴道镜影像数据作为输入，并根据每一张输入阴道镜影像数据的分割结果分别输出一个非典型小区域的语义分割图像。
26.s104：根据所述训练后的u型变换卷积神经网络模型，输出预测影像数据中的非典型小区域的训练结果。
27.在本实施例中，训练结果如图3所述，图中中心位置的颜色较深的不规则区域为模型预测的非典型小区域。
28.s105：构建基于所述u型变换卷积神经网络训练结果的yolo神经网络模型。
29.在本实施例中，该构建的yolo神经网络模型，可以依据不同的阴道镜影像数据中非典型小区域之间的图像特征差异，预测出非典型小区域中的监测点；解决了解决在阴道镜检查的过程中，阴道镜镜头一直在移动，容易使非典型小区域的细节信息丢失的技术问题。
30.s106：采用yolo神经网络训练所述yolo神经网络模型。
31.在本实施例中，利用u型变换卷积神经网络训练结果构建yolo神经网络，并采用yolo神经网络对所述u型变换卷积神经网络训练结果中的每个影像进行相应监测点的边缘进行打标，和yolo神经网络对所述经监测点的边缘进行打标后的影像数据中提取出每个监测点的图像特征，并从所述图像特征中提取出颜色特征、纹理特征、形状特征和空间关系特征作为yolo神经网络的训练输入的方式，以及采用所述将颜色特征、纹理特征、形状特征和空间关系特征作为训练输入的yolo神经网络对所述构建的yolo神经网络模型进行训练。
32.具体的，变换神经网络分割模型训练完成后，人工对其输出非典型小区域中的监测点进行了注释。采用labelimg标注工具，标注数据的格式为单阶段目标检测算法yolo格式。由于在阴道镜检查的过程中，阴道镜镜头一直在移动，容易使非典型小区域的细节信息丢失，致使其不容易识别出来，所以需要一种检测方法在动态视频中可以跟随目标区域进行动态移动，而目标检测算法在此方面具有良好表现。在非典型小区域内，使用目标检测算法定位监测点。请参阅图3，由于目标检测算法生成了用于对象检测的边界框，因此本实施例使用以监测点为中心的圆的边界框作为监视信号。预测的非典型小区域用于限制监测点定位的范围。目标检测算法模型的骨干网络是vgg16,架构包括卷积、池化、全连接和输出层，并用注意力机制的压缩激励模块与卷积注意力机制模块对vgg16获得的特征进行加强，以获得包含更多有效信息的特征层。目标检测算法模型将变换神经网络分割模型的语义分割结果作为输入，并根据医生所注释的监测点进行训练，最终在非典型小区域中定位监测点，如图3所示。
33.s107：根据所述训练后的u型变换卷积神经网络模型-yolo神经网络模型的二阶段深度学习模型，来对阴道镜影像数据进行对应该影像数据的非典型小区域以及监测点的预测；
34.在本实施例中，采用完美世界反射算法对阴道镜采集的影像数据进行预处理，和
根据所述经训练后的u型变换卷积神经网络模型，从所述预处理后的影像数据中提取出对关联所述非典型小区域的颜色特征、纹理特征、形状特征和空间关系特征，将所述提取出的关联所述非典型小区域的颜色特征、纹理特征、形状特征和空间关系特征输入所述经训练后的u型变换卷积神经网络模型，来对影像中的非典型小区域进行识别，通过所述经训练后的u型变换卷积神经网络模型得到预测的非典型小区域的边框，基于输出的非典型小区域结果中提取出对关联所述监测点的颜色特征、纹理特征、形状特征和空间关系特征，将所述提取出的关联所述监测点的颜色特征、纹理特征、形状特征和空间关系特征输入所述经训练后的yolo神经网络模型，来对影像中的非典型小区域进行识别，通过所述经训练后的yolo神经网络模型得到预测的监测点位置。
35.具体的，由于阴道镜图片光线受限，且不同图片因阴道镜仪器不同，其图片往往受环境光源影响较大，容易使非典型小区域的细节信息丢失。因此本实施例对阴道镜收集的宫颈图像进行统一尺寸变换。为了能够顺利进入深度神经网络完成模型的特征提取，需要对输入图像统一修改尺寸。为了保证修改尺寸的图像不破坏原始数据特征，本实施例使用不失真的方案，即对原始图按比例缩放，之后对不满足尺寸要求的部分加上灰度条。这个方案可以保证原始数据不发生形变，以避免破坏重要数据特征。由于阴道镜图片光线受限，且不同图片因阴道镜仪器不同，其图片往往受环境光源影响较大，使得容易使非典型小区域的细节信息丢失。图像数据输入模型前先经白平衡处理，以消除颜色差异伪影干扰。本实施例采用完美世界反射算法来处理。如上所述，由于阴道镜图片光线受限，且不同图片因阴道镜仪器不同，其图片往往受环境光源影响较大，容易使非典型小区域的细节信息丢失。本实施例分别从处理速度，处理效果好坏、适配上述二阶段深度学习模型的数据要求三个角度出发测试了均值白平衡法，完美反射，灰度世界假设，基于图像分析的偏色检测及颜色校正方法和动态阈值算法。最终发现对于阴道内狭窄、潮湿、光变较大的环境以及适配上述二阶段深度学习模型的数据要求而言，完美世界反射算法有着较好的表现。
36.其次，采用u型变换卷积神经网络对非典型小区域进行分割；
37.具体步骤如下：
38.(1)图像序列化。给定图像a∈rc×k×
t
空间分辨率为c
×
k，通道数为t。通过将输入图片重塑为一系列扁平的二维补丁来执行标记化。每一个图片都被分解成空间分辨率为x
×
x的补丁，每张图片的补丁数为
39.(2)补丁嵌入，将向量化的补丁a
x
映射到潜在的w维使用可训练的线性投影嵌入空间。为了对补丁空间信息进行编码，使用了特定的位置嵌入，这些嵌入被添加到补丁嵌入中以保留位置信息y0，如下式所示，
[0040][0041]
其中q∈r
(x
×
x
·
t)
是补丁嵌入投影，q
loc
∈rn×w表示位置嵌入。
[0042]
变换神经网络编码器由b层多头自注意力机制(multihead self-attention)和多层感知机(multi-layer perceptron)模块组成。因此第b层的输出可以写成如下：
[0043]y′b＝multiheadselfattention(normalization(y
b-1
))+r
b-1
[0044]
yb＝multilayerperceptron(normalization(y
′b))+y
′b[0045]
其中normalization(
·
)表示层归一化算子，是yb编码图像表示。
[0046]
(3)卷积神经网络-变换神经网络混合模型作为编码器。变换神经网络分割模型没有使用变换神经网络作为编码器，而是使用卷积神经网络-变换神经网络混合模型，其中卷积神经网络首先用作特征提取器，为输入生成特征图。补丁嵌入应用于提取的1
×
1补丁来自卷积神经网络特征图而不是来自原始图像。
[0047]
(4)级联上采样器。我们引入了一个级联上采样器(cup)，它由多个上采样步骤组成，用于解码隐藏层特征以输出最终的分割掩码。将原有隐藏层特征从重塑为后，我们通过级联多个上采样块来实例化级联上采样器，以达到从到c
×
k，其中每个块依次由一个2
×
2上采样算子、一个3
×
3的卷积层和一个激活函数层组成。级联上采样器与混合编码器一起形成了一个u形架构，可以通过跳跃连接实现不同分辨率级别的特征聚合。
[0048]
再次，使用目标检测算法yolo对非典型小区域内的监测点进行实时定位。
[0049]
最后，通过前序步骤，我们可以获得预测框在阴道镜影像数据上的非典型小区域位置，而且这些预测框都是经过筛选的。这些筛选后的框可以直接绘制在图片上，以获得结果。
[0050]
可以发现，在本实施例中，采取u型变换卷积神经网络模型-yolo神经网络模型的二阶段深度学习模型，在一阶段对人工勾画活检位置，使其勾画结果具有高度可解释性，通过u型变换卷积神经网络学习其特征输出非典型小区域，再通过第二阶段的yolo把高度可疑活检区域进行框选输出，以此生成一套既具有高性能又有高度可解释性的模型。为了应对非典型小区域特征分辨率损失，在二阶段深度学习模型的第一阶段提出了一个u型变换卷积神经网络，弥补了变换神经网络带来的非典型小区域特征分辨率损失，实现精确定位。为了解决在阴道镜检查的过程中，阴道镜镜头一直在移动，容易使非典型小区域的细节信息丢失，在二阶段深度学习模型的第二阶段使用目标检测算法对非典型小区域中的监测点进行定位；为了解决由于阴道镜图片光线受限，且不同图片因阴道镜仪器不同，其图片往往受环境光源影响较大，使得容易使非典型小区域的细节信息丢失的问题以及适配上述二阶段深度学习模型的数据要求采用完美世界反射算法对图像进行预处理。本实施例从针对现有阴道镜影像算法不具备可解释性、对于非典型小区域的细节信息不够敏感、非典型小区域的细节信息丢失三个技术问题出发，能够针对非典型小区域以及监测点作出精准度较高的预测。
[0051]
本发明还提供一种基于二阶段深度学习网络的阴道镜影像区域识别装置，能够实现通过阴道镜的图像来识别非典型小区域的位置及监测点。
[0052]
本发明还提出一种基于二阶段深度学习网络的阴道镜影像区域识别装置。本实施例中，该基于二阶段深度学习网络的阴道镜影像区域识别装置包括获取模块、构建模块、训练模块和预测模块；
[0053]
所述获取模块，用于利用阴道镜采集不同影像数据；
[0054]
所述构建模块，用于构建u型变换卷积神经网络模型-yolo神经网络模型的二阶段深度学习模型；
[0055]
所述训练模块，用于训练u型变换卷积神经网络模型-yolo神经网络模型的二阶段
深度学习模型；
[0056]
所述预测模块，用于根据所述训练后的u型变换卷积神经网络模型-yolo神经网络模型的二阶段深度学习模型，来对阴道镜影像数据进行对应该影像数据的非典型小区域以及监测点的预测。
[0057]
可选地，该训练模块，可以具体用于：
[0058]
构建u型变换卷积神经网络，并采用u型变换卷积神经网络对所述影像数据中的每个影像进行相应非典型小区域的边缘进行打标，和u型变换卷积神经网络对所述经非典型小区域的边缘进行打标后的影像数据中提取出每个非典型小区域的图像特征，并从所述图像特征中提取出颜色特征、纹理特征、形状特征和空间关系特征作为u型变换卷积神经网络的训练输入的方式，以及采用所述将颜色特征、纹理特征、形状特征和空间关系特征作为训练输入的u型变换卷积神经网络对所述构建的u型变换卷积神经网络模型进行训练。
[0059]
可选地，所述训练模块，具体用于：
[0060]
利用u型变换卷积神经网络训练结果构建yolo神经网络，并采用yolo神经网络对所述u型变换卷积神经网络训练结果中的每个影像进行相应监测点的边缘进行打标，和yolo神经网络对所述经监测点的边缘进行打标后的影像数据中提取出每个监测点的图像特征，并从所述图像特征中提取出颜色特征、纹理特征、形状特征和空间关系特征作为yolo神经网络的训练输入的方式，以及采用所述将颜色特征、纹理特征、形状特征和空间关系特征作为训练输入的yolo神经网络对所述构建的yolo神经网络模型进行训练。
[0061]
所述训练模块，具体用于：
[0062]
采用完美世界反射算法对阴道镜采集的影像数据进行预处理，和根据所述经训练后的u型变换卷积神经网络模型，从所述预处理后的影像数据中提取出对关联所述非典型小区域的颜色特征、纹理特征、形状特征和空间关系特征，将所述提取出的关联所述非典型小区域的颜色特征、纹理特征、形状特征和空间关系特征输入所述经训练后的u型变换卷积神经网络模型，来对影像中的非典型小区域进行识别，通过所述经训练后的u型变换卷积神经网络模型得到预测的非典型小区域的边框，基于输出的非典型小区域结果中提取出对关联所述监测点的颜色特征、纹理特征、形状特征和空间关系特征，将所述提取出的关联所述监测点的颜色特征、纹理特征、形状特征和空间关系特征输入所述经训练后的yolo神经网络模型，来对影像中的非典型小区域进行识别，通过所述经训练后的yolo神经网络模型得到预测的监测点位置。
[0063]
该基于二阶段深度学习网络的阴道镜影像区域识别装置的各个单元模块可分别或对应执行上述方法实施例中对应步骤，故在此不对各单元模块进行赘述，详细请参见以上对应步骤的说明。
[0064]
本发明又提供一种基于二阶段深度学习网络的阴道镜影像区域识别设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的基于二阶段深度学习网络的阴道镜影像区域识别方法。
[0065]
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知
的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
[0066]
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
[0067]
本发明再提供一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
[0068]
可以发现，以上方案，采取u型变换卷积神经网络模型-yolo神经网络模型的二阶段深度学习模型，在一阶段对人工勾画活检位置，使其勾画结果具有高度可解释性，通过u型变换卷积神经网络学习其特征输出非典型小区域，再通过第二阶段的yolo把高度可疑活检区域进行框选输出，以此生成一套既具有高性能又有高度可解释性的模型。为了应对非典型小区域特征分辨率损失，在二阶段深度学习模型的第一阶段提出了一个u型变换卷积神经网络，弥补了变换神经网络带来的非典型小区域特征分辨率损失，实现精确定位。为了解决在阴道镜检查的过程中，阴道镜镜头一直在移动，容易使非典型小区域的细节信息丢失，在二阶段深度学习模型的第二阶段使用目标检测算法对非典型小区域中的监测点进行定位；为了解决由于阴道镜图片光线受限，且不同图片因阴道镜仪器不同，其图片往往受环境光源影响较大，使得容易使非典型小区域的细节信息丢失的问题以及适配上述二阶段深度学习模型的数据要求采用完美世界反射算法对图像进行预处理。本实施例从针对现有阴道镜影像算法不具备可解释性、对于非典型小区域的细节信息不够敏感、非典型小区域的细节信息丢失三个技术问题出发，能够针对非典型小区域以及监测点作出精准度较高的预测。
[0069]
在本发明所提供的几个实施方式中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0070]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0071]
另外，在本发明各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0072]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现
出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0073]
以上所述仅为本发明的部分实施例，并非因此限制本发明的保护范围，凡是利用本发明说明书及附图内容所作的等效装置或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。