一种基于多标签融合的图像分割方法、设备及存储介质

1.本发明涉及医学图像分割技术领域，尤其涉及一种基于多标签融合的图像分割方法、设备及存储介质。


背景技术：

2.医学图像分割技术是计算机辅助诊断技术中的一项重要任务，其主要目的在于从像素级别准确识别出器官区域、组织区域、病变区域、肿瘤区域等，特别地，其对于器官的分割是一些疾病的诊断和治疗的重要依据。例如，利用准确的肝脏分割可以为医生提供肝脏的体积信息，为肝脏手术规划等治疗方法提供重要依据。但实际的医学图像由于其纹理的复杂性、成像个体间的差异性、不同成像设备和成像原理之间的差别，且不同组织器官的界限模糊，因而使得对医学图像的分割成为极具挑战性的任务。
3.近年来随着人工智能算法的提升，基于深度学习的分割方法能够利用训练数据学习到目标器官或组织图像的特征，从而具有较好的分割性。但是，基于深度学习的分割方法依赖大量的高质量的训练数据进行预训练才能获得较好的分割性能，且这些训练数据需要带有标注目标器官或组织的标签。而医学图像的数据标签的通常需要经验丰富的医疗专家进行精细的标注才能得到，因而使得实际可用的训练数据较难获得，因此，基于少量训练数据的医学图像分割方法的研发是必要的。
4.基于多图谱配准的图像分割方法是基于深度学习分割方法中一种重要方法，这种方法的核心步骤包括医学图像配准和标签融合，其原理是利用人体器官组织的外观具有一定程度的相似性这一特点，通过多个图谱与待分割的目标图像的配准过程，得到目标图像中的目标组织和器官与图谱的标签间的映射关系，再利用标签融合技术得到目标图像的预测标签。这种方法能够利用少量具有标签的训练数据实现对目标图像中器官的分割，而且与其他医学图像分割方法相比，其对多种模态的医学图像都具有鲁棒性较好的分割能力。
5.在实际应用中，现有的基于多图谱配准的图像分割方法，其配准过程依赖传统的医学图像配准方法，这些传统的医学图像配准方法虽然在精度方面已经比较理想，但是其配准过程是一个迭代过程，需要大量的计算时间与内存开销，难以胜任临床的实时性要求。另外，现有的标签融合方法大都采用投票法进行标签融合，并将算图谱和目标图像的灰度相似性作为投票的重要依据，对灰度相似性较高的图谱赋予相对较高的投票权重。但是以灰度相似性作为投票依据的做法容易忽略图像间的空间关系和目标器官或组织的形变影响，使标签融合过程产生局部最优问题的风险，降低分割精度；此外，由于一幅图谱中所有体素对应的投票权重是相同的，这也使得标签融合过程中过于依赖投票权重较高的图谱，某些图谱由于局部的灰度相似性较高而使该幅图谱整体获得了较高的投票权重时，容易使该图谱相似性较低的部分因为较高的投票权重引入融合后的预测标签，降低图像分割精度。


技术实现要素：

6.(一)要解决的技术问题
7.鉴于现有技术的上述缺点、不足，本发明提供一种基于多标签融合的图像分割方法、设备及存储介质，其解决了现有的基于多图谱配准的图像分割方法中分割精度较低的技术问题。
8.(二)技术方案
9.为了达到上述目的，本发明采用的主要技术方案包括：
10.第一方面，本发明实施例提供一种基于多标签融合的图像分割方法，用于对一幅待分割的目标图像进行分割处理，得到目标图像中关于目标器官或组织的分割结果，包括：
11.s1、获取待分割的目标图像，将n幅预设的图谱分别与目标图像进行配准，得到与图谱一一对应的n幅配准图像和n个形变标签；
12.其中，n为正整数，所述图谱包括包含目标器官或组织的原始浮动图像，以及每幅原始浮动图像中用于标注目标器官或组织的原始标签；
13.s2、将目标图像和n幅配准图像输入自适应投票权重网络模型，得到与配准图像一一对应的n幅投票权重图；
14.其中，所述投票权重图用于标示：配准图像对应的形变标签对目标图像中每个体素是否为目标器官或组织的投票权重；
15.s3、将所述配准图像的形变标签与对应的投票权重图点乘并叠加以进行标签融合，得到预测标签；
16.s4、从目标图像中提取预测标签对应的区域，得到分割结果。
17.本发明实施例提出的图像分割方法，基于自适应投票权重网络模型获得与n幅图谱一一对应的n幅投票权重图，将所述图谱的形变标签与对应的投票权重图点乘并叠加以进行标签融合，得到预测标签。也即，本发明实施例提出的图像分割方法，对每幅图谱对应的形变标签中的每个体素的投票权重都进行了分配，相较于现有技术中对一幅图谱中所有体素赋予相同的投票权重的做法，本发明对图谱的投票权重的分配方法更为灵活，能够使图谱中每个体素的投票权重根据其与目标图像的相似度进行分配，避免了某些图谱由于局部的相似性较高而使该幅图谱整体获得了较高的投票权重，进而将相似度较低的部分也引入预测标签的问题，从而有效提高图像的分割精度。
18.此外，相较于现有技术中采用图谱和目标图像的灰度相似性作为投票依据的方法，本发明实施例提供的图像分割方法基于自适应投票权重网络模型，将图谱和目标图像分别作为整体进行相似性对比，得到投票权重图，因而将图谱和目标图像的整体特征都纳入投票依据的考量范围，因而能够在一定程度上避免局部最优化问题，提高投票权重分配的精确度，进一步提高图像的分割精度。
19.可选地，在s2中，所述自适应投票权重网络模型为基于预先的第一训练过程得到的、具有适配的模型参数的卷积神经网络模型；
20.所述自适应投票权重网络模型包括一个输入模块和一个输出模块，所述输入模块和输出模块之间依次连接有下采样支路和上采样支路；所述输入模块用于对输入的n+1幅图像进行卷积操作，得到初级特征图；所述下采样支路用于基于初级特征图进行下采样操作，获取关于形变标签的投票权重信息的多级别的特征图；所述上采样支路用于对下采样
支路输出的特征图进行上采样操作，得到关于形变标签的投票权重信息；所述输出模块用于基于上采样支路输出的投票权重信息，得到n幅投票权重图。
21.可选地，所述下采样支路包括依次连接的第一下采样模块、第二下采样模块、第三下采样模块，第一下采样模块的输入端与输入模块的输出端连接；
22.所述上采样支路包括第一上采样模块、第二上采样模块、第三上采样模块，第三上采样模块的输出端与输出模块的输入端连接；
23.所述第一上采样模块的输入端与第三下采样模块的输出端连接；
24.所述第二上采样模块的输入端通过跳跃连接模块分别与第一上采样模块和第二下采样模块的输出端连接；
25.所述第三上采样模块的输入端通过跳跃连接模块分别与第二上采样模块和第一下采样模块的输出端连接。
26.可选地，所述s1包括：
27.s101、获取待分割的目标图像；
28.s102、将图谱中的原始浮动图像与目标图像进行刚性配准，得到n幅刚性配准的浮动图像和n个刚性配准的标签；
29.s103、将所述刚性配准的浮动图像逐一与目标图像一同输入voxelmorph网络模型进行弹性配准，得到n个与刚性配准的浮动图像对应的形变场；
30.s104、基于与刚性配准的浮动图像对应的所述形变场，对该刚性配准的浮动图像及其对应的刚性配准的标签进行空间变换，得到n幅配准图像和n个形变标签；
31.其中，所述voxelmorph网络模型为基于预先的第二训练过程得到的、具有适配的模型参数的网络模型。
32.可选地，所述s102包括：
33.将所述原始浮动图像逐一与所述目标图像一同输入air-net(adversarialimageregistrationnet，对抗性图像配准网络)网络模型，得到预测变换参数；基于所述预测变换参数对原始浮动图像及其原始标签进行重采样，得到n幅刚性配准的浮动图像和n个刚性配准的标签；
34.其中，所述air-net网络模型为基于预先的第三训练过程得到的、具有适配的模型参数的网络模型。
35.可选地，在s1中，所述图谱为atlas图像，所述atlas图像包括包含目标器官或组织的n幅序列图像，且每幅序列图像包括用于标注目标器官或组织的序列标签；将所述序列图像作为原始浮动图像，将所述序列标签作为原始标签。
36.可选地，所述s3包括：分别将n幅所述图谱的形变标签与对应的投票权重图点乘，得到n幅中间标签，将n幅中间标签叠加融合，得到预测标签；
37.其中，所述预测标签为一幅标示目标图像中每个体素是目标器官或组织的概率分布图。
38.可选地，所述s4包括：基于阈值法，将所述概率分布图转换成用于标示目标器官或组织所在区域的二值图；基于所述二值图，从目标图像中提取目标器官或组织的图像，获得分割结果。
39.第二方面，本发明还提供一种电子设备，包括：存储器、处理器及存储在所述存储
器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的基于多标签融合的图像分割方法的步骤。
40.第三方面，本发明还提供一种计算机存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的基于多标签融合的图像分割方法的步骤。
41.(三)有益效果
42.本发明实施例提供的图像分割方法，基于自适应投票权重网络模型，对每幅图谱对应的形变标签中的每个体素的投票权重都进行了分配，相较于现有技术中对一幅图谱中所有体素赋予相同的投票权重的做法，本发明对图谱的投票权重的分配方法更为灵活，能够使图谱中每个体素的投票权重根据其与目标图像的相似度进行分配，避免了某些图谱由于局部的相似性较高而使该幅图谱整体获得了较高的投票权重，进而将相似度较低的部分也引入预测标签的问题，从而有效提高图像的分割精度。此外，相较于现有技术中采用图谱和目标图像的灰度相似性作为投票依据的方法，本发明实施例提供的图像分割方法基于自适应投票权重网络模型，将图谱和目标图像分别作为整体进行相似性对比，得到投票权重图，因而将图谱和目标图像的整体特征都纳入投票依据的考量范围，因而能够在一定程度上避免局部最优化问题，提高投票权重分配的精确度，从而进一步提高图像的分割精度。
43.本发明实施例提供的图像分割方法，还提出了一种基于voxelmorph网络模型的配准方法，voxelmorph网络模型能够基于输入的目标图像和刚性配准的浮动图像，快速生成两者之间的形变场，其运算过程是秒级或毫秒级的，能够充分满足临床的实时性要求；而且voxelmorph网络模型能够进行无监督学习，从而降低对有标签的训练数据的依赖。但若直接使用voxelmorph网络模型将原始浮动图像与目标图像进行配准，则可能因为原始浮动图像与固定图像中目标器官或组织的方位差距较大而降低配准精度，基于此，本发明首先通过将原始浮动图像与目标图像进行刚性配准，使原始浮动图像与固定图像中的目标器官或组织的方位对齐，得到n幅刚性配准的浮动图像和标签，然后再将所述刚性配准的浮动图像逐一与目标图像一同输入voxelmorph网络模型进行弹性配准，以保证voxelmorph网络模型的配准精度。相较于现有的医学图像配准方法，本发明提供的配准方法能够兼顾图像配准的速度与精度，提高本发明提供的图像分割方法在临床上的适用性。
附图说明
44.图1为实施例中提供的一种基于多标签融合的图像分割方法的流程示意图；
45.图2为实施例中自适应投票权重网络模型的框架示意图。
具体实施方式
46.为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更清楚、透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
47.实施例一
48.如图1所示，本实施例提供一种基于多标签融合的图像分割方法，用于对一幅待分
割的目标图像进行分割处理，得到目标图像中关于目标器官或组织的分割结果，所述目标图像可为mri(magneticresonance imaging，磁共振成像)图像、ct(computedtomography，电子计算机断层成像)图像、pet(positronemissioncomputedtomography，正电子发射型计算机断层成像)图像、spect(single-photonemissioncomputed tomography，单光子发射计算机断层成像)图像等，在一些应用场景中，目标图像(fixedimage)也被称为参考图像、固定图像，本实施例的方法可在任一计算机设备上实现，本实施例的方法包括：
49.s1、获取待分割的目标图像，将n幅预设的图谱分别与目标图像进行配准，得到与图谱一一对应的n幅配准图像和n个形变标签。
50.其中，n为正整数，所述图谱包括包含目标器官或组织的原始浮动图像，以及每幅原始浮动图像中用于标注目标器官或组织的原始标签。在实际应用中，浮动图像(movingimage)有时也被称为移动图像、模板图像。
51.具体地，所述图谱可为atlas图像，所述atlas图像包括包含目标器官或组织的n幅序列图像，且每幅序列图像包括用于标注目标器官或组织的序列标签；将所述序列图像作为原始浮动图像，将所述序列标签作为原始标签。
52.s2、将目标图像和n幅配准图像输入自适应投票权重网络模型，得到与配准图像一一对应的n幅投票权重图；
53.其中，所述投票权重图用于标示：配准图像对应的形变标签对目标图像中每个体素是否为目标器官或组织的投票权重。
54.s3、将所述配准图像的形变标签与对应的投票权重图点乘并叠加以进行标签融合，得到预测标签。
55.s4、从目标图像中提取预测标签对应的区域，得到分割结果。
56.本发明实施例提出的图像分割方法，基于自适应投票权重网络模型获得与n幅图谱一一对应的n幅投票权重图，将所述图谱的形变标签与对应的投票权重图点乘并叠加以进行标签融合，得到预测标签。也即，本发明实施例提出的图像分割方法，对每幅图谱对应的形变标签中的每个体素的投票权重都进行了分配，相较于现有技术中对一幅图谱中所有体素赋予相同的投票权重的做法，本发明对图谱的投票权重的分配方法更为灵活，能够使图谱中每个体素的投票权重能够根据其与目标图像的相似度进行分配，避免了某些图谱由于局部的相似性较高而使该幅图谱整体获得了较高的投票权重，进而将相似度较低的部分也引入预测标签的问题，从而有效提高图像的分割精度。此外，相较于现有技术中采用图谱和目标图像的灰度相似性作为投票依据的方法，本发明实施例提供的图像分割方法基于自适应投票权重网络模型，将图谱和目标图像分别作为整体提取其特征进行相似性对比，得到投票权重图，因而将图谱和目标图像的整体特征都纳入投票依据的考量范围，因而能够在一定程度上避免局部最优化问题，提高投票权重分配的精确度，进一步提高图像的分割精度。
57.具体地，在步骤s2中，所述自适应投票权重网络模型为基于预先的第一训练过程得到的、具有适配的模型参数的卷积神经网络模型。
58.所述自适应投票权重网络模型包括一个输入模块和一个输出模块，所述输入模块和输出模块之间依次连接有下采样支路和上采样支路；所述输入模块用于对输入的n+1幅图像进行卷积操作，得到初级特征图；所述下采样支路用于基于初级特征图，获取关于形变
标签的投票权重信息的多级别的特征图，所述上采样支路用于对下采样支路输出的特征图进行上采样操作，得到关于形变标签的投票权重信息；所述输出模块用于基于上采样支路输出的投票权重信息，得到n幅投票权重图。
59.进一步具体地，所述自适应投票权重网络模型包括输入模块、下采样支路、上采样支路、跳跃连接模块和输出模块。
60.所述下采样支路包括依次连接的第一下采样模块、第二下采样模块、第三下采样模块，第一下采样模块的输入端与输入模块的输出端连接。
61.所述上采样支路包括第一上采样模块、第二上采样模块、第三上采样模块，第三上采样模块的输出端与输出模块的输入端连接。
62.所述第一上采样模块的输入端与第三下采样模块的输出端连接；所述第二上采样模块的输入端通过跳跃连接模块分别与第一上采样模块和第二下采样模块的输出端连接；所述第三上采样模块的输入端通过跳跃连接模块分别与第二上采样模块和第一下采样模块的输出端连接。
63.上述多个模块组成了一个类u-net网络模型结构的卷积神经网络，由于上采样支路在对特征图进行上采样时，将下采样支路中同层级的特征图进行了融合，最大化地利用了下采样支路提取的各个层级的特征信息，因而能够通过少量的训练数据达到较好的训练训练效果，且具有较快的处理速度。基于训练好的自适应投票权重网络模型，根据输入的n+1幅图像，能够快速得到n幅投票权重图。
64.需要说明的是，上述自适应投票权重网络模型基于预先的第一训练过程学习到对每幅形变标签投票权重的分配方法，得到适配的模型参数；所述预先的第一训练过程包括：
65.a0、获取训练集：所述训练集包括：多幅包含目标器官或组织的训练图像，以及用于标示训练图像中目标器官或组织的训练标签。
66.a1、将所述训练图像与n幅图谱分别按照s1步骤的方法与目标图像进行配准，得到与图谱一一对应的n幅配准图像和n个形变标签。
67.a2、将所述训练集中的训练图像和n幅配准图像一同输入自适应投票权重网络模型，得到n幅投票权重图。
68.a3、将配准图像的形变标签与对应的投票权重图进行点乘，然后叠加以进行标签融合，得到训练图像的预测标签。
69.a4、基于训练图像的预测标签和训练标签，根据损失函数计算投票损失，根据投票损失调整自适应投票权重网络模型的模型参数。所述损失函数包括但不限于用于计算训练图像的预测标签和训练标签间的差异信息的函数，具体可为交叉熵损失函数、dice损失函数。
70.a5、循环执行步骤a1-a4，直至损失函数收敛，得到具有适配的模型参数的卷积神经网络模型。
71.实施例二
72.为了更好地理解实施例一，本实施例以肝脏作为目标器官，以肝脏的atlas图像作为图谱，结合具体的步骤进行详细说明。
73.本实施提供一种基于多标签融合的图像分割方法，用于对一幅待分割的目标图像进行分割处理，得到目标图像中关于肝脏的分割结果，包括：
74.s1、获取待分割的目标图像，将n幅预设的atlas图像分别与目标图像进行配准，得到与atlas图像一一对应的n幅配准图像和n个形变标签。
75.所述atlas图像包括包含肝脏的n幅序列图像，且每幅序列图像包括用于标注肝脏的序列标签；将所述序列图像作为原始浮动图像，将所述序列标签作为原始标签。
76.所述s1包括下述子步骤：
77.s101、获取待分割的目标图像。
78.s102、将所述原始浮动图像逐一与所述目标图像一同输入air-net网络模型，得到预测变换参数；基于所述预测变换参数对原始浮动图像及其原始标签进行重采样，得到n幅刚性配准的浮动图像和n个刚性配准的标签。其中，所述air-net网络模型为基于预先的第三训练过程得到的、具有适配的模型参数的网络模型。air-net网络模型是一种基于对抗生成网络(gan)的网络模型，该网络模型由生成器和判别器两部分组成，其中生成器直接估计一个从浮动图像到目标图像的转换参数；然后通过一个图像采样器分别使用估计的转换参数和真实(ground-truth)的转换参数对浮动图像进行配准处理；并通过判别器来判断图像对是通过转换参数还是真实参数来进行对齐的。其可通过无监督学习进行训练，从而进一步减少对有标签的数据集的依赖。
79.s103、将所述刚性配准的浮动图像逐一与目标图像一同输入voxelmorph网络模型进行弹性配准，得到n个与刚性配准的浮动图像对应的形变场。其中，所述voxelmorph网络模型为基于预先的第二训练过程得到的、具有适配的模型参数的网络模型。voxelmorph网络模型是一个对医学图像进行成对配准的网络模型。该网络模型将配准过程表示为：将输入的图像对映射为对准这对图像的变形场的函数，然后通过卷积神经网络(cnn)对该函数进行参数化，并基于一组感兴趣图像对卷积神经网络的参数进行优化。对于给定的一对待配准图像，voxelmorph网络模型将通过直接计算函数来计算形变场，因而能显著提高图像配准速度。而且，voxelmorph网络模型能够基于无监督的训练过程实现模型参数的优化，从而进一步降低对有标签的数据集的依赖。
80.s104、基于与刚性配准的浮动图像对应的所述形变场，对该刚性配准的浮动图像及其对应的刚性配准的标签进行空间变换，得到n幅配准图像和n个形变标签。
81.在步骤s102和s104中，所述air-net网络模型和voxelmorph网络模型为已公开的网络模型，两者预先的第二训练过程和第三训练过程采用本领域的常规技术手段实现，此处不作赘述。
82.步骤s1提出的基于voxelmorph网络模型的配准方法中，首先基于air-net网络模型将原始浮动图像与目标图像进行刚性配准，使原始浮动图像与固定图像中的肝脏的方位对齐，得到n幅刚性配准的浮动图像，然后再将所述刚性配准的浮动图像逐一与目标图像一同输入voxelmorph网络模型进行弹性配准，以保证voxelmorph网络模型的配准精度。voxelmorph网络模型能够基于输入的目标图像和刚性配准的浮动图像，快速生成两者之间的形变场，其运算过程是秒级或毫秒级的，能够充分满足临床的实时性要求；而且voxelmorph网络模型能够进行无监督学习，从而降低对有标签的训练数据的依赖。本步骤中的刚性配准过程，预先使原始浮动图像与固定图像中的肝脏方位对齐，避免了因为直接使用voxelmorph网络模型将原始浮动图像与目标图像进行配准，造成原始浮动图像与固定图像中肝脏的方位差距较大而配准精度降低。相较于现有的医学图像配准方法，本实施例
提供的配准过程能够兼顾图像配准的速度与精度，提高本实施例提供的图像分割方法在临床上的适用性。
83.s2、将目标图像和n幅配准图像输入自适应投票权重网络模型，得到与配准图像一一对应的n幅投票权重图。其中，所述投票权重图用于标示：对应的atlas图像的形变标签对目标图像中每个体素是否为肝脏的投票权重。
84.具体地，所述自适应投票权重网络模型为基于预先的第一训练过程得到的、具有适配的模型参数的卷积神经网络模型。如图2所示，所述自适应投票权重网络模型，对输入的目标图像和n幅atlas图像中的原始浮动图像的处理过程包括：首先将atlas图像和目标图像输入输入模块进行两次卷积核大小为3
×3×
3的卷积，每幅图像可以得到8个一级特征图。接着将一级特征图输入第一下采样模块，经过两次卷积核大小为3
×3×
3的卷积层的处理得到16通道的第二级特征图，为了扩大感受野，将第二级特征图基于下采样层进行最大池化，然后输入至第二下采样模块，经过两次卷积核大小为3
×3×
3的卷积层的处理得到32通道的第三级特征图，继而将第三级特征图基于下采样层进行最大池化，然后输入至第三下采样模块，经过两次卷积核大小为3
×3×
3的卷积层的处理得到32通道的第四级特征图，将第四级特征图输入至第一上采样模块进行两次卷积核大小为3
×3×
3的反卷积模块处理，然后输入至上采样层进行上采样处理，得到32通道的第五级特征图，将第三级特征图和第五级特征图通过跳跃连接模块拼接在一起，输入至第二上采样模块，经过两次卷积核大小为3
×3×
3的反卷积层的处理得到16通道的第六级特征图，将第六级特征图基于上采样层进行上采样处理后，通过跳跃连接模块与第二级特征图拼接在一起，输入至第三上采样模块，进行两次卷积核大小为3
×3×
3的反卷积模块处理，得到第七级特征图，将第七级特征图输入输出模块，经过两次卷积核大小为3
×3×
3的卷积层处理，得到n通道的权重图。
85.s3、分别将n幅所述atlas图像的形变标签与对应的投票权重图点乘，得到n幅中间标签，将n幅中间标签叠加融合，得到预测标签；其中，所述预测标签为一幅标示目标图像中每个体素是肝脏的概率分布图。
86.s4、基于阈值法，将所述概率分布图转换成用于标示目标器官或组织所在区域的二值图；基于所述二值图，从目标图像中提取目标器官或组织的图像，获得分割结果。
87.实施例三
88.本实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现实施例一至二所述的基于多标签融合的图像分割方法的步骤。
89.另外，本实施例还提供一种计算机存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例一至二所述的基于多标签融合的图像分割方法的步骤。
90.由于本发明上述实施例所描述的系统/装置，为实施本发明上述实施例的方法所采用的系统/装置，故而基于本发明上述实施例所描述的方法，本领域所属技术人员能够了解该系统/装置的具体结构及变形，因而在此不再赘述。凡是本发明上述实施例的方法所采用的系统/装置都属于本发明所欲保护的范围。
91.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或结合软件和硬件方面的实
施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
92.本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。
93.应当注意的是，在权利要求中，不应将位于括号之间的任何附图标记理解成对权利要求的限制。词语“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的词语“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的权利要求中，这些装置中的若干个可以是通过同一个硬件来具体体现。词语第一、第二、第三等的使用，仅是为了表述方便，而不表示任何顺序。可将这些词语理解为部件名称的一部分。
94.此外，需要说明的是，在本说明书的描述中，术语“一个实施例”、“一些实施例”、“实施例”、“示例”、“具体示例”或“一些示例”等的描述，是指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
95.尽管已描述了本发明的优选实施例，但本领域的技术人员在得知了基本创造性概念后，则可对这些实施例作出另外的变更和修改。所以，权利要求应该解释为包括优选实施例以及落入本发明范围的所有变更和修改。
96.显然，本领域的技术人员可以对本发明进行各种修改和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也应该包含这些修改和变型在内。