基于终身学习的胸膜病变分割的知识蒸馏方法及装置与流程

1.本发明涉及图像分割领域，尤其是涉及基于终身学习的胸膜病变分割的知识蒸馏方法及装置。


背景技术：

2.随着近几年人工智能技术的飞速发展，如何将最先进的技术有效的应用于临床领域，获得了更多的关注。 数据、算法、计算力、专业性四大要素促进着医疗人工智能的发展。
3.深度学习使得很多计算机视觉任务的性能达到了前所未有的地步，复杂的模型会显著提高深度学习任务的学习性能，但是同时带来的是高额的储存空间和计算资源的消耗。为了解决这一问题，模型压缩的方法很大程度上缓解了计算资源和储存空间的不足问题，而知识蒸馏方法正是模型压缩下的具体方法。
4.首先，随着信息技术的进步，各种数据呈爆炸式增长。其次，传统机器学习算法对大数据环境下的应用问题很多已不再适用，这是因为传统的机器学习算法大多只是关注于小样本范围内的分类等工作，对大数据环境缺乏适应能力。在这样的背景下，终身机器学习应运而生。


技术实现要素：

5.本发明的目的在于提供一种基于终身学习的胸膜病变分割的知识蒸馏方法及装置，旨在解决传统机器学习缺乏适应性的问题。
6.本发明提供一种基于终身学习的胸膜病变分割的知识蒸馏方法，包括：s1、将已训练好的胸膜病变分病种的多个原模型的softmax分布知识蒸馏后，得到原模型知识，将所述原模型知识赋予要建立的模型的softmax分布，得到一个新模型；s2、对胸膜病变图片集中的ct图像进行预处理；s3、将预处理后的一张ct图像分别输入训练好的多个原模型，得到多个分割结果；s4、将s3得到的多个分割结果堆砌起来与原ct图像的标签计算第一损失值；s5、将s3的预处理后的一张ct图像输入到所述新模型得到预测图，将所述预测图与原ct图像的标签计算损失后得到第二损失值；s6、将所述第一损失值和所述第二损失值使用梯度下降算法进行加权求和，得到用来更新新模型的梯度；s7、将梯度进行反向传播，更新新模型的权重参数；s8、在添加新病种的情况下，将训练好的一个新病种模型加入原模型，将新病种的ct图像加入原有胸膜病变图片集，执行步骤s1
‑
s7，进行终身学习。
7.本发明还提供一种基于终身学习的胸膜病变分割的知识蒸馏装置，包括：蒸馏模块，用于将已训练好的胸膜病变分病种的多个原模型的softmax分布知识蒸馏后，得到原模型知识，将所述原模型知识赋予要建立的模型的softmax分布，得到一个新模型；
预处理模块，用于对胸膜病变图片集中的ct图像进行预处理；分割模块，用于将预处理后的一张ct图像分别输入训练好的多个原模型，得到多个分割结果；第一损失值模块，用于将分割模块得到的多个分割结果堆砌起来与原ct图像的标签计算第一损失值；第二损失值模块，用于将分割模块的预处理后的一张ct图像输入到所述新模型得到预测图，将所述预测图与原ct图像的标签计算损失后得到第二损失值；梯度模块，用于将所述第一损失值和所述第二损失值使用梯度下降算法进行加权求和，得到用来更新新模型的梯度；更新模块，用于将梯度进行反向传播，更新新模型的权重参数；终身学习模块，用于在添加新病种的情况下，将训练好的一个新病种模型加入原模型，将新病种的ct图像加入原有胸膜病变图片集，调用上述模块，进行终身学习。
8.本发明实施例还提供一种基于终身学习的胸膜病变分割的知识蒸馏装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述基于终身学习的胸膜病变分割的知识蒸馏方法的步骤。
9.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述基于终身学习的胸膜病变分割的知识蒸馏方法的步骤。
10.采用本发明实施例，将单独病变训练好的模型进行知识蒸馏整合，具有较强的扩展性，并且通过终身学习的方法实现模型对新增数据和新增病变的适应。
11.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
12.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
13.图1是本发明实施例的基于终身学习的胸膜病变分割的知识蒸馏方法流程图；图2是本发明实施例的基于终身学习的胸膜病变分割的知识蒸馏原理框架示意图；图3是本发明实施例的现有技术中unet网络示意图；图4是本发明实施例的现有技术中嵌入conlstm的unet网络示意图；图5是本发明实施例的现有技术中went2d(3d)网络示意图；图6是本发明实施例的基于终身学习的胸膜病变分割的知识蒸馏装置模块示意图；图7是本发明实施例的基于终身学习的胸膜病变分割的知识蒸馏装置示意图。
14.附图标记说明：610：蒸馏模块；620：预处理模块；630：分割模块；640：第一损失值模块；650：第二损失值模块；660：梯度模块；670：更新模块；680：终身学习模块。
具体实施方式
15.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
17.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、
ꢀ“
第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
18.方法实施例根据本发明实施例，提供了一种基于终身学习的胸膜病变分割的知识蒸馏方法，图1是本发明实施例的基于终身学习的胸膜病变分割的知识蒸馏方法的流程图，如图1所示，具体包括：s1、将已训练好的胸膜病变分病种的多个原模型的softmax分布知识蒸馏后，得到原模型知识，将所述原模型知识赋予要建立的模型的softmax分布，得到一个新模型；s1具体包括：根据公式1建立一个广义的softmax函数：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1；其中，t表示温度，z表示一个向量，z
i
和z
j
是其中的一个元素；根据公式2对原模型进行蒸馏：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2；其中，q为新模型利用公式1产生的分布，p为原模型利用公式1产生的分布，c为损失值；将原模型中的知识提取出来赋予要建立的模型，得到一个新模型。
19.s2、对胸膜病变图片集中的ct图像进行预处理；
s3、将预处理后的一张ct图像分别输入训练好的多个原模型，得到多个分割结果；s4、将s3得到的多个分割结果堆砌起来与原ct图像的标签计算第一损失值；s5、将s3的预处理后的一张ct图像输入到所述新模型得到预测图，将所述预测图与原ct图像的标签计算损失后得到第二损失值；s6、将所述第一损失值和所述第二损失值使用梯度下降算法进行加权求和，得到用来更新新模型的梯度；s7、将梯度进行反向传播，更新新模型的权重参数；s8、在添加新病种的情况下，将训练好的一个新病种模型加入原模型，将新病种的ct图像加入原有胸膜病变图片集，执行步骤s1
‑
s7，进行终身学习。
20.s8还包括：若没有单独训练过新类别的数据，对新病种的ct图像进行预处理后，将预处理后的ct图像输入到新模型得到预测图，将所述预测图与原图标签计算损失后得到损失值，将损失值进行反向传播，更新新模型。
21.s2和s8中的图像进行预处理具体包括：步骤一，根据公式3对将ct图像的x线吸收系数换算成ct值：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式3；其中，hu表示ct值的单位，用于表示ct值，slope为存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换的缩放斜率，intercept为存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换的截距；pixel为ct图像像素；步骤二，调整ct图像的窗宽窗位，使得胸膜获得最佳显示；步骤三，对于部分病变部位特别小的图片采取中心裁剪的方法，即只选取有目标位置的区域，相对放大有效区域；步骤四，选定所有有目标区域的切片索引，随机选取索引，并且以随机选取的切片中心随机偏移正负n个索引，再取前后n个切片构成2n切片为一个整体的3d图像；步骤五，在所述整体的3d图像中，加入一定比例的非有效区域，得到完整的3d图像，图像预处理完成。
22.图2是基于终身学习的胸膜病变分割的知识蒸馏原理框架示意图，对知识蒸馏的模型我们称为新模型，对参与训练的大模型称为原模型。首先按照目前胸膜病变的相关病变，暂时分为胸膜增厚钙化黏连，胸膜气胸，胸膜积液，胸膜间皮瘤。分别使用单独的数据训练针对性的分割网络。最后通过知识蒸馏训练一个新模型。并且在其中不断添加数据和新病变对模型进行终身学习。最终模型结果为病变种类个数+1的通道，每个通道平均概率最大的通道为该病变的分割结果。
23.使用梯度下降算法（gradient descent algorithm，gda）来对单独模型输出结果与新模型输出结果求均方误差，最后求和后进行反向传播，更新模型的权重参数。多轮迭代之后训练好权重参数得到最终的集成模型。
24.具体实施方法如下：s1、将已训练好的胸膜病变分病种的多个原模型的softmax分布知识蒸馏后，得到原模型知识，将所述原模型知识赋予要建立的模型的softmax分布，得到一个新模型；
s1具体包括：根据公式1建立一个广义的softmax函数：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1；其中，t表示温度，z表示一个向量，z
i
和z
j
是其中的一个元素；根据公式2对原模型进行蒸馏：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2；其中，q为新模型利用公式1产生的分布，p为原模型利用公式1产生的分布，c为损失值；将原模型中的知识提取出来赋予要建立的模型，得到一个新模型。
25.下面是对已训练好的模型的解释：胸膜病变目前按照实际需求暂时可分为胸膜增厚钙化黏连，气胸， 积液和间皮瘤。
26.根据实际需求分别对相关病变搭建针对性的独立分割模型。针对性独立分割模型以unet2d(3d),wnet2d(3d), unet2d+convlstm网络为核心，对于ct图像而言，假设我们在一个由m
×
n网格表示的空间区域上观察到一个动态模型，该网格由m行和n列组成。在网格的每个单元内部，有p个测量值，它们随时间变化。 因此，任何时候的观察都可以用张量x∈r，p
×
m
×
n来表示，其中r表示观察到的特征的域。我们每隔一定的时间扫描一张ct图，我们将得到张量x1，x2，....,x
t
的序列。根据实验效果获得最优的模型文件。
27.如图3所示为unet网络，该网络由收缩路径（contracting path）和扩张路径（expanding path）组成。其中，收缩路径用于获取上下文信息（context），扩张路径用于精确的定位（localization），且两条路径相互对称。能从极少的训练图像中，依靠数据增强将有效的标注数据更为有效地使用。主要思想为通过连续层补充通常的收缩网络，其中上采样（upsample）操作取代了池化操作。因此，这些层提高了输出结果的分别率。为了进行定位操作，将来自收缩路径的高分辨率特征与上采样相结合。随后连续的卷积层可以基于该信息学习，得出更为精确的输出。
28.如图4所示：部分病变特征还用unet网络上嵌入了convlstm的思想，lstm在处理时序数据的能力非常强，但是如果时序数据是图像，则在lstm的基础上加上卷积操作，对于图像的特征提取会更加有效。
29.convlstm核心本质还是和lstm一样，将上一层的输出作为下一层的输入。不同的地方在于加上卷积操作之后，不仅能够得到时序关系，还能够像卷积层一样提取特征。本发明则是在提取特征能力更强的unet网络上嵌入了convlstm的思想，不仅能够提取更强的语义的特征还能够很好的保留ct图像的时序空间特征。
30.如图5所示：还有胸膜相关病变采用wnet2d(3d)网络进行搭建，wnet网络是一个多层多尺度并行的卷积网络，每一层模块的到的不同尺寸特征将会通过卷积下采样等方式传入下一层网路，并且每一次卷积都会经过批标准（batch normalization, bn）层和线性整流函数（rectified linear unit，relu）模块。经过多层网络可以提取不同尺度的特征，对不同大小的病灶区域有更好的识别效果。identity模块保证梯度反传不会出现梯度消失。
最后将每级网络的结果综合起来得到最后的分割结果。
31.s1中对知识进行蒸馏，在深度学习的背景下，为了达到更好的预测，常常会有两种方案：1. 使用过参数化的深度神经网络，这类网络学习能力非常强，因此往往加上一定的正则化策略(如dropout)；2. 集成模型(ensemble)，将许多弱的模型集成起来，往往可以实现较好的预测。这两种方案无疑都有较大的支出，需要的计算量和计算资源很大，对部署非常不利。我们希望有一个规模较小的模型，能达到和大模型一样或相当的结果。我们将训练好的多个针对性分割模型的知识转移给小的模型。
32.将要训练的小模型称为新模型，将以及训练的大模型称为原模型。原来我们需要让新模型的softmax分布与真实标签匹配，现在只需要让新模型与原模型在给定输入下的softmax分布匹配了。从头学习一个新模型就是从有限的数据中近似一个未知的函数。如果让新模型近似原模型，因为原模型的函数是已知的，我们可以使用很多非训练集内的伪数据来训练新模型，这显然要更可行。直观来看，后者比前者具有这样一个优势：经过训练后的原模型，其softmax分布包含有一定的知识。对于知识蒸馏，我们的目标是让新模型与原模型的softmax输出的分布充分接近。直接这样做是有问题的：在一般的softmax函数中，自然指数e先拉大logits之间的差距，然后作归一化，最终得到的分布是一个argmax的近似 .其输出是一个接近one
‑
hot的向量，其中一个值很大，其他的都很小。这种情况下，这种知识的体现是非常有限的。相较类似one
‑
hot这样的硬性输出，我们更希望输出更软一些。
33.一种方法是直接比较logits来避免这个问题。具体地，对于每一条数据，记原模型产生的某个logits是 v
i ，新模型产生的logits是 z
i
，我们需要最小化:
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式4；提出了更通用的一种做法。考虑一个广义的softmax函数：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1；其中t是温度，这是从统计力学中的玻尔兹曼分布中借用的概念。容易证明，当温度趋向于0时，softmax输出将收敛为一个one
‑
hot向量,温度t趋向于无穷时，softmax的输出则更软。因此，在训练新模型的时候，可以使用较高的t使得softmax产生的分布足够软，这时让新模型的softmax输出近似原模型。
34.具体地，在训练时我们需要最小化两个分布的交叉熵(cross
‑
entropy)，记新模型利用公式产生的分布是q，原模型产生的分布是p，则我们需要最小化。
35.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2；我们先让温度升高，然后在测试阶段恢复低温，从而将原模型中的知识提取出来，因此将其称为是蒸馏.乘上一个t2，这是为了让损失函数的两项的梯度大致在一个数量级上。
36.s2、对胸膜病变图片集中的ct图像进行预处理；s3、将预处理后的一张ct图像分别输入训练好的多个原模型，得到多个分割结果；s4、将s3得到的多个分割结果堆砌起来与原ct图像的标签计算第一损失值；s5、将s3的预处理后的一张ct图像输入到所述新模型得到预测图，将所述预测图
与原ct图像的标签计算损失后得到第二损失值；s6、将所述第一损失值和所述第二损失值使用梯度下降算法进行加权求和，得到用来更新新模型的梯度；s7、将梯度进行反向传播，更新新模型的权重参数；s8、在添加新病种的情况下，将训练好的一个新病种模型加入原模型，将新病种的ct图像加入原有胸膜病变图片集，执行步骤s1
‑
s7，进行终身学习。
37.s8还包括：若没有单独训练过新类别的数据，对新病种的ct图像进行预处理后，将预处理后的ct图像输入到新模型得到预测图，将所述预测图与原图标签计算损失后得到损失值，将损失值进行反向传播，更新新模型。
38.s2和s8中的图像进行预处理具体包括：步骤一，根据公式3对将ct图像的x线吸收系数换算成ct值：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式3；其中，hu表示ct值的单位，用于表示ct值，slope为存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换的缩放斜率，intercept为存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换的截距；pixel为ct图像像素；步骤二，调整ct图像的窗宽窗位，使得胸膜获得最佳显示；步骤三，对于部分病变部位特别小的图片采取中心裁剪128*128的方法，即只选取有目标位置的区域，相对放大有效区域；步骤四，选定所有有目标区域的切片索引，随机选取索引，并且以随机选取的切片中心随机偏移正负8个索引，再取前后8个切片构成16切片为一个整体的3d图像；步骤五，在整体的3d图像中，加入一定比例的非有效区域，得到完整的3d图像，图像预处理完成。
39.完整3d图像中不是每个切片都有有效区域，在选择有效区域时，对非有效区域保留一定的比例，称为假阳率，本发明保留完整3d图像切片个数的10%的非有效区域作为假阳图像，以此来训练模型的泛化能力。
40.基于实际应用场景，我们必须让新模型对新增的数据有一定的适应能力。针对不同的数据增加的情况大致分为胸膜病变种类的新增和已知种类新增训练图片两种区别。
41.对于终身学习最重要的一点就是知识的迁移，也就是旧知识如何帮助新知识的学习，知识迁移或者说迁移学习（transfer learning）正是终身机器学习的基础。
42.本发明针对新增胸膜病变种类的扩充直接在新模型上添加训练集，增加新模型对新种类的适应。针对新增已知种类直接在已经训练好的针对性独立分割模型中输出结果，在循环迭代中不断将新知识蒸馏到新模型中。适应性强。
43.装置实施例一根据本发明实施例，提供了一种基于终身学习的胸膜病变分割的知识蒸馏装置，图6是本发明实施例基于终身学习的胸膜病变分割的知识蒸馏装置模块的示意图，如图6所示，具体包括：蒸馏模块，用于将已训练好的胸膜病变分病种的多个原模型的softmax分布知识
蒸馏后，得到原模型知识，将所述原模型知识赋予要建立的模型的softmax分布，得到一个新模型；蒸馏模块具体用于：根据公式1建立一个广义的softmax函数：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1；其中，t表示温度，z表示一个向量，z
i
和z
j
是其中的一个元素；根据公式2对原模型进行蒸馏：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2；其中，q为新模型利用公式1产生的分布，p为原模型利用公式1产生的分布，c为损失值；将原模型中的知识提取出来赋予要建立的模型，得到一个新模型。
44.预处理模块，用于对胸膜病变图片集中的ct图像进行预处理；分割模块，用于将预处理后的一张ct图像分别输入训练好的多个原模型，得到多个分割结果；第一损失值模块，用于将分割模块得到的多个分割结果堆砌起来与原ct图像的标签计算第一损失值；第二损失值模块，用于将分割模块的预处理后的一张ct图像输入到所述新模型得到预测图，将所述预测图与原ct图像的标签计算损失后得到第二损失值；梯度模块，用于将所述第一损失值和所述第二损失值使用梯度下降算法进行加权求和，得到用来更新新模型的梯度；更新模块，用于将梯度进行反向传播，更新新模型的权重参数；终身学习模块，用于在添加新病种的情况下，将训练好的一个新病种模型加入原模型，将新病种的ct图像加入原有胸膜病变图片集，调用上述模块，进行终身学习。
45.终身学习模块还用于：若没有单独训练过新类别的数据，对新病种的ct图像进行预处理后，将预处理后的ct图像输入到新模型得到预测图，将所述预测图与原图标签计算损失后得到损失值，将损失值进行反向传播，更新新模型。
46.预处理模块和终身学习模块具体用于：根据公式3对将ct图像的x线吸收系数换算成ct值：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式3；其中，hu表示ct值的单位，用于表示ct值，slope为存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换的缩放斜率，intercept为存储在磁盘表示中的像素到存储在内存表示中的像素的线性转换的截距；pixel为ct图像像素；调整ct图像的窗宽窗位，使得胸膜获得最佳显示；对于部分病变部位特别小的图片采取中心裁剪的方法，即只选取有目标位置的区域，相对放大有效区域；选定所有有目标区域的切片索引，随机选取索引，并且以随机选取的切片中心随机偏移正负n个索引，再取前后n个切片构成2n切片为一个整体的3d图像；
在所述整体的3d图像中，加入一定比例的非有效区域，得到完整的3d图像，图像预处理完成。
47.本发明实施例是与上述方法实施例对应的装置实施例，各个模块的具体操作可以参照方法实施例的描述进行理解，在此不再赘述。
48.装置实施例二本发明实施例提供一种基于终身学习的胸膜病变分割的知识蒸馏装置，如图7所示，包括：存储器70、处理器72及存储在存储器70上并可在处理器72上运行的计算机程序，计算机程序被处理器执行时实现上述方法实施例中的步骤。
49.装置实施例三本发明实施例提供一种计算机可读存储介质，计算机可读存储介质上存储有信息传输的实现程序，程序被处理器72执行时实现上述方法实施例中的步骤。
50.本实施例所述计算机可读存储介质包括但不限于为：rom、ram、磁盘或光盘等。
51.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
52.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替本发明各实施例技术方换，并不使相应技术方案的本质脱离案的范围。