一种血管病变的确定方法、装置、电子设备及存储介质与流程

1.本技术涉及图像处理技术领域，尤其是涉及一种血管病变的确定方法、装置、电子设备及存储介质。


背景技术：

2.随着人们生活水平的不断提高，饮食水平的提高，导致肥胖，高血压，高血脂等基础疾病的多发，这些都是引起冠心病多发的重要因素；那么随着科学技术的发展，医学成像技术也在不断突飞猛进，以至于cta的拍摄越来越普及，cta作为冠心病筛查的重要手段，能够在早期发现血管病变迹象，并给出合理分析，供医生进行诊断治疗参考，意义巨大。但是大量的cta筛查，会导致原本工作压力大的医生更加负担重，因此，通过深度学习的技术来辅助医生进行血管病变分析是一大发展方向。
3.目前，学习复杂任务的深度学习模型一般要求有大量的数据支撑，而基于深度学习的血管病变分析模型训练，往往需要医生手动标注的大量cta数据集进行训练，由于标注任务的要求较高，因此往往需要经验丰富的医生来完成，这就导致标注数据的获取较为困难。因此，如何确定血管病变，可以减少人工标注的操作同时保证确定血管病变的准确性，成为了亟待解决的问题。


技术实现要素：

4.有鉴于此，本技术的目的在于提供一种血管病变的确定方法、装置、电子设备及存储介质，能够通过大量无标记图像和少量有标记图像作为输入图像以单张交替输入的方式分别训练血管病变分析模型，以此得到训练好的血管病变分析模型可以确定出血管图像中血管的病变类型结果和病变程度结果，这种无需大量有标记图像的训练方式可以减少人工标注的操作，降低了医生的工作量，同时通过无标记图像和有标记图像的交替训练以及根据重建损失函数、病变类型损失函数以及病变程度损失函数同时满足目标条件的训练方式也保证了确定血管病变的准确性。
5.本技术主要包括以下几个方面：
6.第一方面，本技术实施例提供了一种血管病变的确定方法，所述确定方法包括：
7.获取血管图像；
8.将所述血管图像输入血管病变分析模型，输出病变类型结果和病变程度结果；
9.其中，血管病变分析模型通过以下步骤训练得到：
10.(a)获取数量为第一预设阈值的无标记图像和预先标记好病变类型和病变程度的数量为第二预设阈值的有标记图像；其中，所述第一预设阈值是第二预设阈值的预设倍数；
11.(b)将所述无标记图像和所述有标记图像作为输入图像以单张交替输入的方式输入至血管病变分析模型中；
12.(c)若所述输入图像为无标记图像，则得到重建损失函数，根据所述重建损失函数训练所述血管病变分析模型，并返回执行步骤(b)；
13.(d)若所述输入图像为有标记图像，则得到重建损失函数、病变类型损失函数以及病变程度损失函数，确定所述重建损失函数、病变类型损失函数以及病变程度损失函数是否同时满足目标条件，若不同时满足所述目标条件，则返回执行步骤(b)；若同时满足所述目标条件，则得到训练好的所述血管病变分析模型；所述目标条件为所述重建损失函数小于预设重建阈值、所述病变类型损失函数小于预设分类阈值以及所述病变程度损失函数小于预设程度阈值。
14.进一步的，所述血管病变分析模型包括特征提取模块和图像重建模块；
15.通过以下步骤得到重建损失函数：
16.将所述输入图像输入至所述特征提取模块进行特征提取，得到所述特征提取模块对应的特征图像；
17.将所述特征图像输入至图像重建模块进行图像重建，得到所述图像重建模块输出的目标重建图像；
18.将所述目标重建图像和所述输入图像进行比对，得到重建损失函数。
19.进一步的，所述特征提取模块包括多个提取网络结构，每个提取网络结构包括n个卷积层和m个池化层；
20.所述将所述输入图像输入至所述特征提取模块进行特征提取，得到所述特征提取模块对应的特征图像的步骤，包括：
21.将所述输入图像输入至所述特征提取模块的第一个提取网络结构中，并将所述第一个提取网络结构作为当前提取网络结构，经过所述当前提取网络结构的n个卷积层提取所述输入图像的特征信息后，再经过所述当前提取网络结构的m个池化层对所述提取的特征信息进行浓缩，得到所述当前提取网络结构对应的特征图像；
22.将所述第一个提取网络结构的下一个提取网络结构更新为当前提取网络结构，并将上一个提取网络结构对应的特征图像作为输入图像输入至所述当前提取网络结构，继续得到所述当前提取网络结构对应的特征图像，直至遍历到所述特征提取模块中的最后一个提取网络结构，得到所述特征提取模块中每个提取网络结构对应的特征图像。
23.进一步的，所述图像重建模块包括与所述特征提取模块相同数量的重建网络结构，每个重建网络结构包括n个卷积层和m个反卷积层；所述将所述特征图像输入至图像重建模块进行图像重建，得到所述图像重建模块输出的目标重建图像的步骤，包括：
24.将所述特征提取模块中每个提取网络结构对应的特征图像输入至所述重建网络结构对应的重建网络结构中；
25.将所述图像重建模块的第一个重建网络结构作为当前重建网络结构，并将所述特征提取模块的最后一个提取网络结构对应的特征图像经过所述当前重建网络结构的n个卷积层提取特征后，再经过所述当前重建网络结构的m个反卷积层进行上采样，得到所述当前重建网络结构对应的重建图像；
26.将所述第一个重建网络结构的下一个重建网络结构更新为当前重建网络结构，并将上一个重建网络结构对应的重建图像和所述特征提取模块中对应的提取网络结构对应的特征图像一起输入至所述当前重建网络结构中，继续得到所述当前重建网络结构对应的重建图像，直至遍历到所述图像重建模块中的最后一个重建网络结构，得到所述图像重建模块最后一个重建网络结构输出的目标重建图像。
27.进一步的，所述血管病变分析模型还包括病变分析模块；所述病变分析模块包括病变分类器和病变程度回归器；若所述输入图像为有标记图像，通过以下步骤得到病变类型损失函数和病变程度损失函数：
28.将所述特征提取模块中每个提取网络结构对应的特征图像输入至病变分析模块中进行叠加融合，得到目标特征图像；
29.将所述目标特征图像输入至所述病变分类器中进行分类，得到病变类型结果，根据所述病变类型结果和所述有标记图像中预先标记的病变类型，得到病变类型损失函数；
30.将所述目标特征图像输入至所述病变程度回归器中进行病变程度的预测，得到病变程度结果，根据所述病变程度结果和所述有标记图像中预先标记的病变程度，得到病变程度损失函数。
31.进一步的，所述数量为第一预设阈值的无标记图像和预先标记好病变类型和病变程度的数量为第二预设阈值的有标记图像均是经过数据处理后的图像；
32.其中，通过以下步骤进行数据处理：
33.针对每张有标记图像和每张无标记图像，对所述有标记图像和所述无标记图像按照预设空间分辨率进行重采样，得到空间分辨率统一的有标记图像和无标记图像；
34.将所述空间分辨率统一的有标记图像和无标记图像按照预设亮度范围进行图像亮度统一，得到图像亮度统一的有标记图像和无标记图像；
35.将所述图像亮度统一的有标记图像和无标记图像进行标准分数处理，得到数据处理后的数量为第一预设阈值的无标记图像和预先标记好病变类型和病变程度的数量为第二预设阈值的有标记图像。
36.进一步的，所述将所述血管图像输入血管病变分析模型，输出病变类型结果和病变程度结果的步骤，包括：
37.将所述血管图像输入血管病变分析模型，经过所述血管病变分析模型中的特征提取模块进行特征提取，得到所述血管图像的多张特征图像；
38.将所述血管图像的多张特征图像经过所述血管病变分析模型中的病变分析模块进行病变分析，得到所述病变分析模块的病变分类器输出的病变类型结果和所述病变分析模块的病变程度回归器输出的病变程度结果。
39.第二方面，本技术实施例还提供了一种血管病变的确定装置，所述确定装置包括：
40.获取模块，用于获取血管图像；
41.输出模块，用于将所述血管图像输入血管病变分析模型，输出病变类型结果和病变程度结果；
42.训练模块，用于训练血管病变分析模型；所述训练模块包括获取单元、输入单元、第一训练单元以及第二训练单元；
43.所述获取单元，用于获取数量为第一预设阈值的无标记图像和预先标记好病变类型和病变程度的数量为第二预设阈值的有标记图像；其中，所述第一预设阈值是第二预设阈值的预设倍数；
44.所述输入单元，用于将所述无标记图像和所述有标记图像作为输入图像以单张交替输入的方式输入至血管病变分析模型中；
45.所述第一训练单元，用于在所述输入图像为无标记图像时，得到重建损失函数，根
据所述重建损失函数训练所述血管病变分析模型，并返回所述输入单元；
46.所述第二训练单元，用于在所述输入图像为有标记图像时，得到重建损失函数、病变类型损失函数以及病变程度损失函数，确定所述重建损失函数、病变类型损失函数以及病变程度损失函数是否同时满足目标条件，若不同时满足所述目标条件，则进入所述输入单元；若同时满足所述目标条件，则得到训练好的所述血管病变分析模型；所述目标条件为所述重建损失函数小于预设重建阈值、所述病变类型损失函数小于预设分类阈值以及所述病变程度损失函数小于预设程度阈值。
47.第三方面，本技术实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的血管病变的确定方法的步骤。
48.第四方面，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述的血管病变的确定方法的步骤。
49.本技术实施例提供的一种血管病变的确定方法、装置、电子设备及存储介质，所述确定方法包括：获取血管图像；将所述血管图像输入血管病变分析模型，输出病变类型结果和病变程度结果；其中，血管病变分析模型通过以下步骤训练得到：(a)获取数量为第一预设阈值的无标记图像和预先标记好病变类型和病变程度的数量为第二预设阈值的有标记图像；其中，所述第一预设阈值是第二预设阈值的预设倍数；(b)将所述无标记图像和所述有标记图像作为输入图像以单张交替输入的方式输入至血管病变分析模型中；(c)若所述输入图像为无标记图像，则得到重建损失函数，根据所述重建损失函数训练所述血管病变分析模型，并返回执行步骤(b)；(d)若所述输入图像为有标记图像，则得到重建损失函数、病变类型损失函数以及病变程度损失函数，确定所述重建损失函数、病变类型损失函数以及病变程度损失函数是否同时满足目标条件，若不同时满足所述目标条件，则返回执行步骤(b)；若同时满足所述目标条件，则得到训练好的所述血管病变分析模型；所述目标条件为所述重建损失函数小于预设重建阈值、所述病变类型损失函数小于预设分类阈值以及所述病变程度损失函数小于预设程度阈值。
50.这样，采用本技术提供的技术方案能够通过大量无标记图像和少量有标记图像作为输入图像以单张交替输入的方式分别训练血管病变分析模型，以此得到训练好的血管病变分析模型可以确定出血管图像中血管的病变类型结果和病变程度结果，这种无需大量有标记图像的训练方式可以减少人工标注的操作，降低了医生的工作量，同时通过无标记图像和有标记图像的交替训练以及根据重建损失函数、病变类型损失函数以及病变程度损失函数同时满足目标条件的训练方式也保证了确定血管病变的准确性。
51.为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
52.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对
范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
53.图1示出了本技术实施例所提供的一种血管病变的确定方法的流程图；
54.图2示出了本技术实施例所提供的另一种血管病变的确定方法的流程图；
55.图3示出了本技术实施例所提供的一种血管病变分析模型的结构图；
56.图4示出了本技术实施例所提供的一种训练血管病变分析模型的示意图；
57.图5示出了本技术实施例所提供的一种血管病变的确定装置的结构图之一；
58.图6示出了本技术实施例所提供的一种血管病变的确定装置的结构图之二；
59.图7示出了本技术实施例所提供的一种电子设备的结构示意图。
具体实施方式
60.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中的附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应当理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
61.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的全部其他实施例，都属于本技术保护的范围。
62.为了使得本领域技术人员能够使用本技术内容，结合特定应用场景“血管病变的确定”，给出以下实施方式，对于本领域技术人员来说，在不脱离本技术的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景。
63.本技术实施例下述方法、装置、电子设备或计算机可读存储介质可以应用于任何需要确定血管病变的场景，本技术实施例并不对具体的应用场景作限制，任何使用本技术实施例提供的一种血管病变的确定方法、装置、电子设备及存储介质的方案均在本技术保护范围内。
64.值得注意的是，随着人们生活水平的不断提高，饮食水平的提高，导致肥胖，高血压，高血脂等基础疾病的多发，这些都是引起冠心病多发的重要因素；那么随着科学技术的发展，医学成像技术也在不断突飞猛进，以至于cta的拍摄越来越普及，cta作为冠心病筛查的重要手段，能够在早期发现血管病变迹象，并给出合理分析，供医生进行诊断治疗参考，意义巨大。但是大量的cta筛查，会导致原本工作压力大的医生更加负担重，因此，通过深度学习的技术来辅助医生进行血管病变分析是一大发展方向。
65.目前，学习复杂任务的深度学习模型一般要求有大量的数据支撑，而基于深度学习的血管病变分析模型训练，往往需要医生手动标注的大量cta数据集进行训练，由于标注任务的要求较高，因此往往需要经验丰富的医生来完成，这就导致标注数据的获取较为困
难。因此，如何确定血管病变，可以减少人工标注的操作同时保证确定血管病变的准确性，成为了亟待解决的问题。
66.基于此，本技术提出了一种血管病变的确定方法、装置、电子设备及存储介质，所述确定方法包括：获取血管图像；将所述血管图像输入血管病变分析模型，输出病变类型结果和病变程度结果；其中，血管病变分析模型通过以下步骤训练得到：(a)获取数量为第一预设阈值的无标记图像和预先标记好病变类型和病变程度的数量为第二预设阈值的有标记图像；其中，所述第一预设阈值是第二预设阈值的预设倍数；(b)将所述无标记图像和所述有标记图像作为输入图像以单张交替输入的方式输入至血管病变分析模型中；(c)若所述输入图像为无标记图像，则得到重建损失函数，根据所述重建损失函数训练所述血管病变分析模型，并返回执行步骤(b)；(d)若所述输入图像为有标记图像，则得到重建损失函数、病变类型损失函数以及病变程度损失函数，确定所述重建损失函数、病变类型损失函数以及病变程度损失函数是否同时满足目标条件，若不同时满足所述目标条件，则返回执行步骤(b)；若同时满足所述目标条件，则得到训练好的所述血管病变分析模型；所述目标条件为所述重建损失函数小于预设重建阈值、所述病变类型损失函数小于预设分类阈值以及所述病变程度损失函数小于预设程度阈值。
67.这样，采用本技术提供的技术方案能够通过大量无标记图像和少量有标记图像作为输入图像以单张交替输入的方式分别训练血管病变分析模型，以此得到训练好的血管病变分析模型可以确定出血管图像中血管的病变类型结果和病变程度结果，这种无需大量有标记图像的训练方式可以减少人工标注的操作，降低了医生的工作量，同时通过无标记图像和有标记图像的交替训练以及根据重建损失函数、病变类型损失函数以及病变程度损失函数同时满足目标条件的训练方式也保证了确定血管病变的准确性。
68.为便于对本技术进行理解，下面将结合具体实施例对本技术提供的技术方案进行详细说明。
69.请参阅图1，图1为本技术实施例所提供的一种血管病变的确定方法的流程图，如图1中所示，所述确定方法包括：
70.s101、获取血管图像；
71.该步骤中，血管图像可以是血管的cta拍摄图像，以便在早期发现血管病变迹象。
72.s102、将所述血管图像输入血管病变分析模型，输出病变类型结果和病变程度结果；
73.需要说明的是，在执行步骤s102前需要对血管病变分析模型进行训练，将血管图像输入训练好的血管病变分析模型，输出病变类型结果和病变程度结果；请参阅图2，图2为本技术实施例所提供的另一种业务指标的确定方法的流程图，如图2中所示，血管病变分析模型通过以下步骤训练得到：
74.s201、获取数量为第一预设阈值的无标记图像和预先标记好病变类型和病变程度的数量为第二预设阈值的有标记图像；
75.该步骤中，第一预设阈值是第二预设阈值的预设倍数，预设倍数是根据历史经验或实验数据进行预先设置的。在进行血管病变分析模型的训练前，一般是对少量数据集进行人工标注，标记血管的病变类型，病变程度，得到有标记图像，作为金标准供深度学习网络模型学习。
76.这里，模型训练是基于半监督学习(semi-supervised learning，ssl)进行训练的，ssl是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。ssl使用大量的未标记数据(例如无标记图像)，以及同时使用标记数据(例如有标记图像)，来进行模式识别工作。当使用ssl时，将会要求尽量少的人员来从事工作，同时，又能够带来比较高的准确性，因此，ssl正越来越受到人们的重视。学习复杂任务的深度学习模型一般要求有大量的数据支撑，往往需要处理该任务领域的有经验专家通过人工制作数据集来完成，特别是在血管病变分析领域，医疗资源的紧缺，和大量数据标注的需求，往往是矛盾的。所以一份质量好，数量大的训练数据集是非常珍贵与难得的。相反的是，随着科学技术的发展，cta检查越来越普及，我国每天都会有几万甚至几十万的cta拍摄量，也就是说原始数据量是完全足够的，只不过这些都是没有标签的数据，很难被监督学习所利用。因此，充分利用大量的无标签数据，结合部分有标签数据，完成深度学习网络模型的半监督训练，使得模型的训练既有大数据丰富信息的支持，又有关键信息(有标签数据)的约束，使得模型更加鲁棒地朝着解决目标任务的方向前进。
77.需要说明的是，数量为第一预设阈值的无标记图像和预先标记好病变类型和病变程度的数量为第二预设阈值的有标记图像均是经过数据处理后的图像；
78.其中，通过以下步骤进行数据处理：
79.s2011、针对每张有标记图像和每张无标记图像，对所述有标记图像和所述无标记图像按照预设空间分辨率进行重采样，得到空间分辨率统一的有标记图像和无标记图像；
80.s2012、将所述空间分辨率统一的有标记图像和无标记图像按照预设亮度范围进行图像亮度统一，得到图像亮度统一的有标记图像和无标记图像；
81.s2013、将所述图像亮度统一的有标记图像和无标记图像进行标准分数处理，得到数据处理后的数量为第一预设阈值的无标记图像和预先标记好病变类型和病变程度的数量为第二预设阈值的有标记图像。
82.该步骤中，是将手机到的样本图像进行数据整理融合，主要是将有标签的数据(有标记图像)和无标签的数据(无标记图像)经过统一的数据处理后整理到一个数据集上。
83.示例性的，总共收集了20000例左右的血管图像数据(样本图像)，其中包括医生在进行出具cta报告前对cta的一些半自动处理，主要包括血管中心线的提取，以及患者的定性分析；例如在20000例数据中，第一预设阈值和第二预设阈值是根据实验数据或历史经验预先设置的，若将第一预设阈值设置为19000，第二预设阈值设置为1000，则在20000例数据中随机挑选了1000例左右的数据，根据医生确认的血管中心线以及出具的cta报告，对血管的每个病变进行人工定位分析，主要标注病变在该血管中心线上的位置，以及各个位置处的病变类型和病变程度，将标注好的1000例左右的数据作为有标记图像；剩下的19000例不做额外的人工标记，作为无标记图像。
84.作为示例，考虑到这些例子来自不同家医院，以及由不同厂家的ct拍摄，存在一些客观的默认参数偏差，为避免这些偏差带来的影响，在训练前，我们会将这些数据进行一些预处理，其中包括空间分辨率的统一，比如将所有的ct都重采样至0.5
×
0.5
×
1mm3(预设空间分辨率)，考虑到保留最原始的ct值而非增加一些新的ct值便于学习最原始的特征，采用了最邻近插值法而非其他线性插值法；为避免一些cta数据的最小值不一致产生的问题，比如有些是-3000为最小，有些是-1000为最小，所以将超出一定范围的ct值设置为固定值，比
如《-1000的统一设置为-1000，》1000的统一设置为1000，以此得到亮度统一的有标记图像和无标记图像；最后为了消除一些数据分布偏差，采用z分数处理(标准分数处理)，将数据进行正态分布处理(减去均值除以方差)，得到数据处理后的数量为19000(第一预设阈值)的无标记图像和预先标记好病变类型和病变程度的数量为1000(第二预设阈值)的有标记图像。
85.s202、将所述无标记图像和所述有标记图像作为输入图像以单张交替输入的方式输入至血管病变分析模型中；
86.该步骤中，通过有标记图像和无标记图像以单张交替的方式输入至血管病变分析模型中训练该血管病变分析模型。
87.示例性的，总共的数据量是20000例，其中1000例有标记图像，19000例无标记图像，为了保证训练的公平性，采取有标记图像和无标记图像交替训练方式进行。具体地，第一次训练，在1000例有标记图像中随机抽取一个，进入有标签训练模式，第二次训练，在19000例无标记图像中随机抽取一个，进入无标签训练模式，第三次再回到1000例标记图像中随机抽取一个，进入有标签训练模式，如此循环往复的交替训练，以得到训练好的血管病变分析模型。
88.s203、若所述输入图像为无标记图像，则得到重建损失函数，根据所述重建损失函数训练所述血管病变分析模型，并返回执行步骤s202；
89.该步骤中，血管病变分析模型包括特征提取模块、图像重建模块和病变分析模块；若输入图像为无标记图像，则进入无标签训练模式，无标签训练模式只用到了特征提取模块和图像重建模块；这里，通过以下步骤得到重建损失函数：
90.s2031、将所述输入图像输入至所述特征提取模块进行特征提取，得到所述特征提取模块对应的特征图像；
91.该步骤中，特征提取模块包括多个提取网络结构，每个提取网络结构包括n个卷积层和m个池化层；将输入图像输入至特征提取模块进行特征提取，得到特征提取模块对应的特征图像的步骤，包括：
92.(1)、将所述输入图像输入至所述特征提取模块的第一个提取网络结构中，并将所述第一个提取网络结构作为当前提取网络结构，经过所述当前提取网络结构的n个卷积层提取所述输入图像的特征信息后，再经过所述当前提取网络结构的m个池化层对所述提取的特征信息进行浓缩，得到所述当前提取网络结构对应的特征图像；
93.(2)、将所述第一个提取网络结构的下一个提取网络结构更新为当前提取网络结构，并将上一个提取网络结构对应的特征图像作为输入图像输入至所述当前提取网络结构，继续得到所述当前提取网络结构对应的特征图像，直至遍历到所述特征提取模块中的最后一个提取网络结构，得到所述特征提取模块中每个提取网络结构对应的特征图像。
94.示例性的，请参阅图3，图3为本技术实施例所提供的一种血管病变分析模型的结构图，如图3中所示，血管病变分析模型由三部分构成，分别为特征提取模块，图像重建模块和病变分析模块。特征提取模块由三个提取网络结构构成，其中每个提取网络结构都包含了两个卷积层(n＝2)与一个池化层(m＝1)，这里要注意的是，池化层对于输入图像的x和y轴进行1/2的下采样，而对于z轴来说保持不变，提取网络结构z方向上的特征维度始终保持与输入图像的z轴一致，以识别z轴上血管中心线上的每一个点的病变情况。每个提取网络
结构中，两个卷积层的作用是提取基本特征，从上到下三个网络块，其中的卷积层作用不同在于它们提取特征的类型不同，提取网络结构1的卷积层偏向于纹理，边缘等局部信息，提取网络结构2的卷积层趋向于形状，灰度等更高级信息，提取网络结构3的卷积层更抽象，涉及到病变特征高维抽象化信息；而每个提取网络结构的池化层作用都是浓缩卷积层提取的特征信息，传递至下一个提取网络结构。
95.s2032、将所述特征图像输入至图像重建模块进行图像重建，得到所述图像重建模块输出的目标重建图像；
96.该步骤中，图像重建模块包括与特征提取模块相同数量的重建网络结构，每个重建网络结构包括n个卷积层和m个反卷积层；将特征图像输入至图像重建模块进行图像重建，得到图像重建模块输出的目标重建图像的步骤，包括：
97.(1)、将所述特征提取模块中每个提取网络结构对应的特征图像输入至所述重建网络结构对应的重建网络结构中；
98.(2)、将所述图像重建模块的第一个重建网络结构作为当前重建网络结构，并将所述特征提取模块的最后一个提取网络结构对应的特征图像经过所述当前重建网络结构的n个卷积层提取特征后，再经过所述当前重建网络结构的m个反卷积层进行上采样，得到所述当前重建网络结构对应的重建图像；
99.(3)、将所述第一个重建网络结构的下一个重建网络结构更新为当前重建网络结构，并将上一个重建网络结构对应的重建图像和所述特征提取模块中对应的提取网络结构对应的特征图像一起输入至所述当前重建网络结构中，继续得到所述当前重建网络结构对应的重建图像，直至遍历到所述图像重建模块中的最后一个重建网络结构，得到所述图像重建模块最后一个重建网络结构输出的目标重建图像。
100.该步骤中，如图3所示，图像重建模块的结构也与特征提取模块一致，由多个重建网络结构构成，重建网络结构的数量等于提取网络结构的数量，每个重建网络结构中，均有n个卷积层和m个反卷积层，每个重建网络结构中，第一个卷积层的输入为上一个重建网络结构的输出图像与特征提取模块对应的提取网络结构传输过来的特征图像，目的是在重建的时候能够最大程度地保存基本特征，而反卷积层的作用是将卷积层融合的特征进行上采样，使得输出的重建图像的大小在不丢失细节的基础上不断恢复至原图(第一个提取网络结构的输入图像)大小。
101.s2033、将所述目标重建图像和所述输入图像进行比对，得到重建损失函数。
102.该步骤中重建损失函数可以采用均方误差mse，将目标重建图像和输入图像进行比对，得到相似度，根据相似度确定出重建损失函数的值，相似度越大，重建损失函数的值越接近于0。
103.这里，在步骤s203中，可以根据实验数据或者历史经验预先设置一个预设重建阈值，当重建损失函数的值不小于该预设重建阈值时，通过修改血管病变分析模型的权重参数以训练血管病变分析模型，然后返回执行步骤s202，重新输入有标记图像，进入有标签训练模式。
104.s204、若所述输入图像为有标记图像，则得到重建损失函数、病变类型损失函数以及病变程度损失函数，确定所述重建损失函数、病变类型损失函数以及病变程度损失函数是否同时满足目标条件，若不同时满足所述目标条件，则返回执行步骤s202；若同时满足所
述目标条件，则得到训练好的所述血管病变分析模型；所述目标条件为所述重建损失函数小于预设重建阈值、所述病变类型损失函数小于预设分类阈值以及所述病变程度损失函数小于预设程度阈值。
105.需要说明的是，血管病变分析模型还包括病变分析模块；病变分析模块包括病变分类器和病变程度回归器；若输入图像为有标记图像，通过以下步骤得到病变类型损失函数和病变程度损失函数：
106.s2041、将所述特征提取模块中每个提取网络结构对应的特征图像输入至病变分析模块中进行叠加融合，得到目标特征图像；
107.s2042、将所述目标特征图像输入至所述病变分类器中进行分类，得到病变类型结果，根据所述病变类型结果和所述有标记图像中预先标记的病变类型，得到病变类型损失函数；
108.s2043、将所述目标特征图像输入至所述病变程度回归器中进行病变程度的预测，得到病变程度结果，根据所述病变程度结果和所述有标记图像中预先标记的病变程度，得到病变程度损失函数。
109.该步骤中，病变分析模块主要是将来自特征提取模块的不同尺度的基本特征信息进行融合，然后进行病变的分析，涉及到病变分类和病变程度的预测。病变分析模块的网络结构主要是两个并行的全连接层，分别作为病变分类器和病变程度回归器。
110.示例性的，特征提取模块具有三个提取网络结构，提取网络结构1输出特征图像1，提取网络结构2输出特征图像2，提取网络结构3输出特征图像3，特征图像1、特征图像2和特征图像3输入至病变分析模块中进行叠加融合，得到目标特征图像，将目标特征图像进行病变分析，分别输入至病变分类器和病变程度回归器中，病变分类器预测出输入的有标记图像中血管中心线的各个点对应的病变类型结果，病变程度回归器预测出输入的有标记图像中血管中心线的各个点对应的病变程度结果，根据预测出的病变类型结果和输入的有标记图像中对应的预先标记的病变类型，得到病变类型损失函数以量化预测病变类型分布和真实病变类型分布之间的差异；根据预测出的病变程度结果和输入的有标记图像中对应的预先标记的病变程度，得到病变程度损失函数以量化预测病变程度分布和真实病变程度分布之间的差异。
111.具体的，输入图像为有标记图像时，进入有标签训练模式中，有两个损失函数loss对网络参数进行约束，分别是重建损失函数loss，采用mse均方误差进行目标重建图像与输入的有标记图像进行对比；这里，得到目标重建图像和重建损失函数的步骤和上述无标签训练模式的步骤一致，在此不再赘述。病变分析损失函数loss有两个部分，分别是病变类型损失函数，采用交叉熵cross entropy进行约束，病变类型损失函数采用回归损失函数l1 loss进行约束；根据实验数据或历史经验预先设置预设分类阈值和预设程度阈值，当同时满足重建损失函数小于预设重建阈值、病变类型损失函数小于预设分类阈值以及病变程度损失函数小于预设程度阈值的条件时，才得到训练好的血管病变分析模型，否则，调整血管病变分析模型的权重参数以训练血管病变分析模型，并重新返回步骤s202，将无标记图像输入至血管病变分析模型，进入无标签训练模式。
112.需要说明的是，在步骤s102中，将血管图像输入血管病变分析模型，输出病变类型结果和病变程度结果的步骤，包括：
113.s1021、将所述血管图像输入血管病变分析模型，经过所述血管病变分析模型中的特征提取模块进行特征提取，得到所述血管图像的多张特征图像；
114.s1022、将所述血管图像的多张特征图像经过所述血管病变分析模型中的病变分析模块进行病变分析，得到所述病变分析模块的病变分类器输出的病变类型结果和所述病变分析模块的病变程度回归器输出的病变程度结果。
115.该步骤中，将训练好的血管病变分析模型应用在确定血管病变的场景下，在实际应用阶段的时候，不需要再对输入的血管图像进行重建，因此在血管病变分析模型的框架中可以将图像重建模块“拆除”，血管病变分析模型也变得更加轻量化。所以在应用阶段，血管图像输入到血管病变分析模型之后，经过特征提取模块得到多张特征图像，将多张特征图像经过病变分析模块的多尺度特征融合后，得到目标特征图像，可对目标特征图像进行最终的病变分析，由病变分类器输出病变类型结果，由病变程度回归器输出病变程度结果。
116.示例性的，请参阅图3，图3为本技术实施例所提供一种血管病变分析模型的结构图，如图3中所示，在进行血管病变分析模型的训练时，将无标记图像和有标记图像作为输入图像，针对每张输入图像，将该输入图像输入至特征提取模块的提取网络结构1中，经过提取网络结构1的卷积层和池化层，得到特征图像1，将特征图像1输入至图像重建模块对应的重建网络结构3中和特征提取模块的提取网络结构2中，经过提取网络结构2的卷积层和池化层，得到特征图像2，将特征图像2输入至图像重建模块对应的重建网络结构2中特征提取模块的提取网络结构3中，经过提取网络结构3的卷积层和池化层，得到特征图像3，将特征图像3输入至图像重建模块对应的重建网络结构1中，经过重建网络结构1的卷积层和反卷积层得到重建图像1，将重建图像1和特征图像2经过重建网络结构2的卷积层和反卷积层得到重建图像2，将重建图像2和特征图像1经过重建网络结构3的卷积层和反卷积层得到目标重建图像。这里，上述得到目标重建图像的过程在输入图像是无标记图像和有标记图像时均一致，若输入图形是有标记图像时，还需将得到的特征图像1、特征图像2和特征图像3均输入至病变分析模块，经过多尺度特征融合将特征图像1、特征图像2和特征图像3进行叠加得到目标特征图像，将目标特征图像同时输入至病变分类器和病变程度回归器进行病变分析，得到病变分类器输出的病变类型结果和病变程度回归器输出的病变程度结果。
117.示例性的，请参阅图4，图4为本技术实施例所提供一种训练血管病变分析模型的示意图，如图4中所示，训练血管病变分析模型的方式为有标签训练模式和无标签训练模式交替进行训练；在有标签训练模式时，将有标记图像作为输入图像输入至血管病变分析模型的特征提取模块中进行特征提取，将得到的多张特征图像分别输入至图像重建模块和病变分析模块中，图像重建模块根据接收到的多张特征图像进行图像重建，得到目标重建图像，根据目标重建图像得到重建损失函数，病变分析模块根据接收到的多张特征图像进行病变分析，得到病变类型损失函数和病变程度损失函数，判断是否同时满足重建损失函数小于预设重建阈值、病变类型损失函数小于预设分类阈值以及病变程度损失函数小于预设程度阈值，若同时满足，则训练过程结束，得到训练好的血管病变分析模型，否则，调整血管病变分析模型的权重参数，并进入无标签训练模式；在无标签训练模式时，将无标记图像作为输入图像输入至血管病变分析模型的特征提取模块中进行特征提取，将得到的多张特征图像输入至图像重建模块中，图像重建模块根据接收到的多张特征图像进行图像重建，得到目标重建图像，根据目标重建图像得到重建损失函数，判断重建损失函数是否小于预设
重建阈值，若是，则判断上一次有标签训练模式得到的病变类型损失函数和病变程度损失函数是否同时满足病变类型损失函数小于预设分类阈值以及病变程度损失函数小于预设程度阈值，若同时满足，则训练过程结束，得到训练好的血管病变分析模型，若不同时满足，则进入有标签训练模式；若重建损失函数不小于预设重建阈值，则调整血管病变分析模型的权重参数，并进入有标签训练模式；如此循环往复的进行交替训练，直至同时满足重建损失函数小于预设重建阈值、病变类型损失函数小于预设分类阈值以及病变程度损失函数小于预设程度阈值。
118.这里，通过充分利用无标记的大量数据，结合部分有标记的数据，对模型进行半监督学习，充分发挥大数据的信息优势以及结合部分有标记数据的任务导向，能为解决目标任务提供强有力的信息支持。同时，模型采用多通路网络模型结构进行训练，可以巧妙地将有标签与无标签数据混合到一起同步训练；此外，模型还采用多了尺度特征融合技术，能够将多通路的不同尺度的丰富特征，融合到最终的目标任务(血管病变分析)上来，通过利用大量的无标签数据(无标记图像)以及少量有标签数据(有标记图像)，对血管病变分析模型进行交替训练，此法能够充分利用无标签数据的丰富特征信息，来辅助少量有标签数据更好地完成目标任务(血管病变分析)。在充分大量利用无标签原始cta的基础上，对深度学习网络模型进行交替训练，不局限于操作系统，可以全自动快速完成计算，充分利用多通路网络模式，达到精度高，可解释性强，鲁棒性好等效果。并且，通过实验，证明了这种血管病变分析模型训练的结果是优于只用有标签数据训练的结果。
119.本技术实施例提供的一种血管病变的确定方法，所述确定方法包括：获取血管图像；将所述血管图像输入血管病变分析模型，输出病变类型结果和病变程度结果；其中，血管病变分析模型通过以下步骤训练得到：(a)获取数量为第一预设阈值的无标记图像和预先标记好病变类型和病变程度的数量为第二预设阈值的有标记图像；其中，所述第一预设阈值是第二预设阈值的预设倍数；(b)将所述无标记图像和所述有标记图像作为输入图像以单张交替输入的方式输入至血管病变分析模型中；(c)若所述输入图像为无标记图像，则得到重建损失函数，根据所述重建损失函数训练所述血管病变分析模型，并返回执行步骤(b)；(d)若所述输入图像为有标记图像，则得到重建损失函数、病变类型损失函数以及病变程度损失函数，确定所述重建损失函数、病变类型损失函数以及病变程度损失函数是否同时满足目标条件，若不同时满足所述目标条件，则返回执行步骤(b)；若同时满足所述目标条件，则得到训练好的所述血管病变分析模型；所述目标条件为所述重建损失函数小于预设重建阈值、所述病变类型损失函数小于预设分类阈值以及所述病变程度损失函数小于预设程度阈值。
120.这样，采用本技术提供的技术方案能够通过大量无标记图像和少量有标记图像作为输入图像以单张交替输入的方式分别训练血管病变分析模型，以此得到训练好的血管病变分析模型可以确定出血管图像中血管的病变类型结果和病变程度结果，这种无需大量有标记图像的训练方式可以减少人工标注的操作，降低了医生的工作量，同时通过无标记图像和有标记图像的交替训练以及根据重建损失函数、病变类型损失函数以及病变程度损失函数同时满足目标条件的训练方式也保证了确定血管病变的准确性。
121.基于同一申请构思，本技术实施例中还提供了与上述实施例提供一种血管病变的确定方法对应的一种血管病变的确定装置，由于本技术实施例中的装置解决问题的原理与
本技术上述实施例一种血管病变的确定方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
122.请参阅图5、图6，图5为本技术实施例所提供的一种血管病变的确定装置的结构图之一，图6为本技术实施例所提供的一种血管病变的确定装置的结构图之二。如图5中所示，所述确定装置510包括：
123.获取模块511，用于获取血管图像；
124.输出模块512，用于将所述血管图像输入血管病变分析模型，输出病变类型结果和病变程度结果；
125.训练模块513，用于训练血管病变分析模型；所述训练模块包括获取单元5131、输入单元5132、第一训练单元5133以及第二训练单元5134；
126.所述获取单元5131，用于获取数量为第一预设阈值的无标记图像和预先标记好病变类型和病变程度的数量为第二预设阈值的有标记图像；其中，所述第一预设阈值是第二预设阈值的预设倍数；
127.所述输入单元5132，用于将所述无标记图像和所述有标记图像作为输入图像以单张交替输入的方式输入至血管病变分析模型中；
128.所述第一训练单元5133，用于在所述输入图像为无标记图像时，得到重建损失函数，根据所述重建损失函数训练所述血管病变分析模型，并返回所述输入单元；
129.所述第二训练单元5134，用于在所述输入图像为有标记图像时，得到重建损失函数、病变类型损失函数以及病变程度损失函数，确定所述重建损失函数、病变类型损失函数以及病变程度损失函数是否同时满足目标条件，若不同时满足所述目标条件，则进入所述输入单元；若同时满足所述目标条件，则得到训练好的所述血管病变分析模型；所述目标条件为所述重建损失函数小于预设重建阈值、所述病变类型损失函数小于预设分类阈值以及所述病变程度损失函数小于预设程度阈值。
130.可选的，所述血管病变分析模型包括特征提取模块和图像重建模块；所述第一训练单元5133和所述第二训练单元5134在用于得到重建损失函数时，所述第一训练单元5133和所述第二训练单元5134具体用于：
131.将所述输入图像输入至所述特征提取模块进行特征提取，得到所述特征提取模块对应的特征图像；
132.将所述特征图像输入至图像重建模块进行图像重建，得到所述图像重建模块输出的目标重建图像；
133.将所述目标重建图像和所述输入图像进行比对，得到重建损失函数。
134.可选的，所述特征提取模块包括多个提取网络结构，每个提取网络结构包括n个卷积层和m个池化层；所述血管病变分析模型包括特征提取模块和图像重建模块；所述第一训练单元5133和所述第二训练单元5134在用于将所述输入图像输入至所述特征提取模块进行特征提取，得到所述特征提取模块对应的特征图像时，所述第一训练单元5133和所述第二训练单元5134具体用于：
135.将所述输入图像输入至所述特征提取模块的第一个提取网络结构中，并将所述第一个提取网络结构作为当前提取网络结构，经过所述当前提取网络结构的n个卷积层提取所述输入图像的特征信息后，再经过所述当前提取网络结构的m个池化层对所述提取的特
征信息进行浓缩，得到所述当前提取网络结构对应的特征图像；
136.将所述第一个提取网络结构的下一个提取网络结构更新为当前提取网络结构，并将上一个提取网络结构对应的特征图像作为输入图像输入至所述当前提取网络结构，继续得到所述当前提取网络结构对应的特征图像，直至遍历到所述特征提取模块中的最后一个提取网络结构，得到所述特征提取模块中每个提取网络结构对应的特征图像。
137.可选的，所述图像重建模块包括与所述特征提取模块相同数量的重建网络结构，每个重建网络结构包括n个卷积层和m个反卷积层；所述第一训练单元5133和所述第二训练单元5134在用于将所述特征图像输入至图像重建模块进行图像重建，得到所述图像重建模块输出的目标重建图像时，所述第一训练单元5133和所述第二训练单元5134具体用于：
138.将所述特征提取模块中每个提取网络结构对应的特征图像输入至所述重建网络结构对应的重建网络结构中；
139.将所述图像重建模块的第一个重建网络结构作为当前重建网络结构，并将所述特征提取模块的最后一个提取网络结构对应的特征图像经过所述当前重建网络结构的n个卷积层提取特征后，再经过所述当前重建网络结构的m个反卷积层进行上采样，得到所述当前重建网络结构对应的重建图像；
140.将所述第一个重建网络结构的下一个重建网络结构更新为当前重建网络结构，并将上一个重建网络结构对应的重建图像和所述特征提取模块中对应的提取网络结构对应的特征图像一起输入至所述当前重建网络结构中，继续得到所述当前重建网络结构对应的重建图像，直至遍历到所述图像重建模块中的最后一个重建网络结构，得到所述图像重建模块最后一个重建网络结构输出的目标重建图像。
141.可选的，所述血管病变分析模型还包括病变分析模块；所述病变分析模块包括病变分类器和病变程度回归器；所述第二训练单元5134在用于得到病变类型损失函数和病变程度损失函数时，所述第二训练单元5134具体用于：
142.将所述特征提取模块中每个提取网络结构对应的特征图像输入至病变分析模块中进行叠加融合，得到目标特征图像；
143.将所述目标特征图像输入至所述病变分类器中进行分类，得到病变类型结果，根据所述病变类型结果和所述有标记图像中预先标记的病变类型，得到病变类型损失函数；
144.将所述目标特征图像输入至所述病变程度回归器中进行病变程度的预测，得到病变程度结果，根据所述病变程度结果和所述有标记图像中预先标记的病变程度，得到病变程度损失函数。
145.可选的，如图6所示，所述数量为第一预设阈值的无标记图像和预先标记好病变类型和病变程度的数量为第二预设阈值的有标记图像均是经过数据处理后的图像；所述训练模块513还包括处理单元5135，所述处理单元5135用于：
146.针对每张有标记图像和每张无标记图像，对所述有标记图像和所述无标记图像按照预设空间分辨率进行重采样，得到空间分辨率统一的有标记图像和无标记图像；
147.将所述空间分辨率统一的有标记图像和无标记图像按照预设亮度范围进行图像亮度统一，得到图像亮度统一的有标记图像和无标记图像；
148.将所述图像亮度统一的有标记图像和无标记图像进行标准分数处理，得到数据处理后的数量为第一预设阈值的无标记图像和预先标记好病变类型和病变程度的数量为第
二预设阈值的有标记图像。
149.可选的，所述输出模块512在用于将所述血管图像输入血管病变分析模型，输出病变类型结果和病变程度结果时，所述输出模块512具体用于：
150.将所述血管图像输入血管病变分析模型，经过所述血管病变分析模型中的特征提取模块进行特征提取，得到所述血管图像的多张特征图像；
151.将所述血管图像的多张特征图像经过所述血管病变分析模型中的病变分析模块进行病变分析，得到所述病变分析模块的病变类型器输出的病变类型结果和所述病变分析模块的病变程度回归器输出的病变程度结果。
152.本技术实施例提供的一种血管病变的确定装置，所述确定装置包括：获取模块，用于获取血管图像；输出模块，用于将所述血管图像输入血管病变分析模型，输出病变类型结果和病变程度结果；训练模块，用于训练血管病变分析模型；所述训练模块包括获取单元、输入单元、第一训练单元以及第二训练单元；所述获取单元，用于获取数量为第一预设阈值的无标记图像和预先标记好病变类型和病变程度的数量为第二预设阈值的有标记图像；其中，所述第一预设阈值是第二预设阈值的预设倍数；所述输入单元，用于将所述无标记图像和所述有标记图像作为输入图像以单张交替输入的方式输入至血管病变分析模型中；所述第一训练单元，用于在所述输入图像为无标记图像时，得到重建损失函数，根据所述重建损失函数训练所述血管病变分析模型，并返回所述输入单元；所述第二训练单元，用于在所述输入图像为有标记图像时，得到重建损失函数、病变类型损失函数以及病变程度损失函数，确定所述重建损失函数、病变类型损失函数以及病变程度损失函数是否同时满足目标条件，若不同时满足所述目标条件，则进入所述输入单元；若同时满足所述目标条件，则得到训练好的所述血管病变分析模型；所述目标条件为所述重建损失函数小于预设重建阈值、所述病变类型损失函数小于预设分类阈值以及所述病变程度损失函数小于预设程度阈值。
153.这样，采用本技术提供的技术方案能够通过大量无标记图像和少量有标记图像作为输入图像以单张交替输入的方式分别训练血管病变分析模型，以此得到训练好的血管病变分析模型可以确定出血管图像中血管的病变类型结果和病变程度结果，这种无需大量有标记图像的训练方式可以减少人工标注的操作，降低了医生的工作量，同时通过无标记图像和有标记图像的交替训练以及根据重建损失函数、病变类型损失函数以及病变程度损失函数同时满足目标条件的训练方式也保证了确定血管病变的准确性。
154.请参阅图7，图7为本技术实施例所提供的一种电子设备的结构示意图。如图7中所示，所述电子设备700包括处理器710、存储器720和总线730。
155.所述存储器720存储有所述处理器710可执行的机器可读指令，当电子设备700运行时，所述处理器710与所述存储器720之间通过总线730通信，所述机器可读指令被所述处理器710执行时，可以执行如上述图1以及图2所示方法实施例中的血管病变的确定方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
156.本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1以及图2所示方法实施例中的血管病变的确定方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。
157.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
158.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
159.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
160.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
161.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
162.最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。