融合多示例学习和多任务深度影像组学的生存期分析系统

1.本发明属于生物医学工程领域，具体涉及一种融合多示例学习和多任务深度影像组学的生存期分析系统、方法、设备。


背景技术：

2.磁共振影像(magnetic resonance imaging，mri)和ct(computed tomograph)图像作为一种常规的诊疗工具和筛查工具，在临床上发挥着越来越重要的作用。比如，mri图像作为鼻咽癌诊疗中一种常规、无创的影像分期工具，在软组织造影方面具有优势。研究表明，影像组学对鼻咽癌的生存期预测具有潜在价值。但由于有些影像图片的体素在不同维度之间的尺寸存在大的差异(比如鼻咽癌的mri图片的像素横截面上尺寸为0.5mm，但层厚为5mm)，目前常见的方法是提取单张影像图像的病灶特征进行分析，例如，“一种基于影像组学的生存期预测方法及装置”，该专利采用的是手工的影像组学特征来预测患者的生存期，要求精准且重现性高的病灶勾画，适合提取单张影像图像的病灶特征，但没有考虑多个临床结果的相关性，导致了影像组学特征只能片面地表征肿瘤。
3.综上，由于传统的手工影像特征要求高精准、高重现性的病灶勾画，只适合提取单张影像图像的病灶特征，且建模时并未考虑多个临床结果的相关性，造成提取的影像特征鲁棒性较差，进而导致生存期分析结果准确性较低。基于此，本发明提出了一种融合多示例学习和多任务深度影像组学的生存期分析系统。


技术实现要素：

4.为了解决现有技术中的上述问题，即为了解决传统的手工影像特征要求高精准、高重现性的病灶勾画，提取单张影像图像的病灶特征的片面性，建模时并未考虑多个临床结果的相关性，造成提取的影像特征鲁棒性较差、代表性弱，进而导致生存期分析结果准确性较低的问题，本发明提出了一种融合多示例学习和多任务深度影像组学的生存期分析系统，该系统包括：获取模块、预处理模块、临床终点预测模块、分析模块；
5.所述获取模块，配置为获取待分析的mr影像、对应的临床风险因子；所述临床风险因子包括患者的性别、年龄、tnm肿瘤分期、肿瘤家族史、吸烟史、饮酒史及血检指标；
6.所述预处理模块，配置为在mr影像的横断位mri图像中勾画病灶掩膜；勾画后，对横断位mri图像进行预处理，并在预处理后的横断位mri图像中选取以勾画的病灶掩膜为中心的固定尺寸区域作为感兴趣区域；
7.所述临床终点预测模块，配置为将感兴趣区域以及相应的病灶掩膜输入预构建的生存数据预测模型，得到各个临床终点的风险预测值；所述临床终点包括死亡、转移、复发以及临床进展；
8.所述分析模块，配置为将各个临床终点的风险预测值和临床风险因子输入预构建的生存期分析模型，得到生存期分析结果；
9.其中，
10.所述生存数据预测模型是基于卷积神经网络和三个并行的全连接层构建；
11.所述生存期分析模型由基于lasso的cox比例风险模型构建。
12.在一些优选的实施方式中，所述预处理模块中的“对横断位mri图像进行预处理”，其方法为：
13.通过双线性插值算法对横断位mri图像进行像素尺寸调整；
14.利用直方图匹配方法对调整后的横断位mri图像进行灰度校正；
15.通过z
‑
score方法对灰度校正后的横断位mri图像进行灰度归一化处理。
16.在一些优选的实施方式中，“利用直方图匹配方法对调整后的横断位mri图像进行灰度校正”，其方法为：
[0017][0018]
其中，x表示原横断位mri图像的灰度值，x
new
表示校正后的横断位mri图像的灰度值，μ
1i
，μ
i
和μ
2i
分别表示原横断位mri图像灰度范围内的三个标志点，μ
1s
，μ
s
和μ
2s
为目标域中的三个标志点。
[0019]
在一些优选的实施方式中，所述临床终点预测模块“将感兴趣区域以及相应的病灶掩膜输入预构建的生存数据预测模型，得到各个临床终点的风险预测值”，其方法为：
[0020]
将感兴趣区域以及相应的病灶掩膜输入生存数据预测模型的卷积神经网络，提取与生存期相关的高维影像特征；
[0021]
基于提取的高维影像特征，通过生存数据预测模型的三个并行的全连接层，得到复发、转移、死亡三个临床终点的风险预测值；并将复发、转移、死亡三个临床终点的风险预测值的最大值作为临床进展对应的临床终点的风险预测值。
[0022]
在一些优选的实施方式中，所述分析模块中的“将各个临床终点的风险预测值和临床风险因子输入预构建的生存期分析模型，得到生存期分析结果”，其方法为：
[0023]
通过lasso回归模型从各个临床终点的风险预测值和临床风险因子中选取独立的预后变量，作为风险变量；
[0024]
将各风险变量输入cox比例风险模型获取生存期分析结果；
[0025]
其中，所述独立的预后变量的选取方法为：使用偏似然值作为lasso回归模型的优化指标，当偏似然值达到最大值时停止筛选，余下的变量作为独立的预后变量。
[0026]
在一些优选的实施方式中，所述生存数据预测模型，其训练方法为：
[0027]
a10，采集多位患者治疗前的mr影像及其对应的临床风险因子、临床终点的随访时间和状态，构建训练数据集；
[0028]
a20，在mr影像的横断位mri图像中勾画病灶掩膜；勾画后，对横断位mri图像进行预处理，并在预处理后的横断位mri图像中选取以勾画的病灶掩膜为中心的固定尺寸区域作为感兴趣区域；
[0029]
a30，分批的将感兴趣区域以及相应的病灶掩膜输入预构建的生存数据预测模型，得到各个临床终点的风险预测值；
[0030]
a40，基于各个临床终点的风险预测值、所述临床终点的随访时间和状态，计算负的cox偏似然损失值，并使用误差反传算法更新生存数据预测模型的模型参数；
[0031]
a50，循环步骤a30
‑
a40，直至负的cox偏似然损失值不再变小，得到训练好的生存数据预测模型。
[0032]
在一些优选的实施方式中，所述生存数据预测模型其在训练时，学习率策略为余弦退火下降策略，误差反传算法为随机梯度下降算法，batch size设置为128。
[0033]
本发明的第二方面，提出了一种融合多示例学习和多任务深度影像组学的生存期分析方法，该方法包括：
[0034]
s10，获取待分析的mr影像、对应的临床风险因子；所述临床风险因子包括患者的性别、年龄、tnm肿瘤分期、肿瘤家族史、吸烟史、饮酒史及血检指标；
[0035]
s20，在mr影像的横断位mri图像中勾画病灶掩膜；勾画后，对横断位mri图像进行预处理，并在预处理后的横断位mri图像中选取以勾画的病灶掩膜为中心的固定尺寸区域作为感兴趣区域；
[0036]
s30，将感兴趣区域以及相应的病灶掩膜输入预构建的生存数据预测模型，得到各个临床终点的风险预测值；所述临床终点包括死亡、转移、复发以及临床进展；
[0037]
s40，将各个临床终点的风险预测值和临床风险因子输入预构建的生存期分析模型，得到生存期分析结果；
[0038]
其中，
[0039]
所述生存数据预测模型是基于卷积神经网络和三个并行的全连接层构建；
[0040]
所述生存期分析模型由基于lasso的cox比例风险模型构建。
[0041]
本发明的第三方面，提出了一种包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的融合多示例学习和多任务深度影像组学的生存期分析方法。
[0042]
本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于被所述计算机执行以实现上述的融合多示例学习和多任务深度影像组学的生存期分析方法。
[0043]
本发明的有益效果：
[0044]
本发明提高了影像特征提取的鲁棒性以及生存期分析结果的准确性。
[0045]
1)本发明提出的生存数据预测模型以病灶为中心的图像块为输入，不要求精准的病灶勾画，同时输入病灶掩模，告知模型应重点关注的区域，且模型能自动地、端到端地输出预测不同临床终点的生存数据的预测标签。这样在避免了影像体素尺寸各向异性的同时，充分利用病灶的三维信息，提高了影像特征提取的鲁棒性。
[0046]
2)本发明利用了多示例学习来挖掘与多个临床终点的生存数据的预测标签，结合独立的临床风险因子可同时建立针对不同临床终点的生存期预测模型，可无创地得到患者的针对多个临床终点的生存期评估，提升了生存期分析结果的准确性。
附图说明
[0047]
通过阅读参照以下附图所做的对非限制性实施例所做的详细描述，本申请的其他特征、目的和优点将会变得更明显。
[0048]
图1是本发明一种实施例的融合多示例学习和多任务深度影像组学的生存期分析
系统的框架示意图；
[0049]
图2为本发明一种实施例的生存数据预测模型的训练流程示意图；
[0050]
图3是本发明一种实施例的融合多示例学习和多任务深度影像组学的生存期分析方法的流程示意图；
[0051]
图4是本发明一种实施例的生存数据预测模型的结构示意图；
[0052]
图5是本发明一种实施例的适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
[0053]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0054]
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0055]
本发明第一实施例的一种融合多示例学习和多任务深度影像组学的生存期分析系统，如图1所示，该系统包括：获取模块、预处理模块、临床终点预测模块、分析模块；
[0056]
所述获取模块，配置为获取待分析的mr影像、对应的临床风险因子；所述临床风险因子包括患者的性别、年龄、tnm肿瘤分期、肿瘤家族史、吸烟史、饮酒史及血检指标；
[0057]
所述预处理模块，配置为在mr影像的横断位mri图像中勾画病灶掩膜；勾画后，对横断位mri图像进行预处理，并在预处理后的横断位mri图像中选取以勾画的病灶掩膜为中心的固定尺寸区域作为感兴趣区域；
[0058]
所述临床终点预测模块，配置为将感兴趣区域以及相应的病灶掩膜输入预构建的生存数据预测模型，得到各个临床终点的风险预测值；所述临床终点包括死亡、转移、复发以及临床进展；
[0059]
所述分析模块，配置为将各个临床终点的风险预测值和临床风险因子输入预构建的生存期分析模型，得到生存期分析结果；
[0060]
其中，
[0061]
所述生存数据预测模型是基于卷积神经网络和三个并行的全连接层构建；
[0062]
所述生存期分析模型由基于lasso的cox比例风险模型构建。
[0063]
为了更清晰地对本发明融合多示例学习和多任务深度影像组学的生存期分析系统进行说明，下面对本发明系统一种实施例中各模块进行展开详述。
[0064]
在下述实施例中，先对生存数据预测模型的训练过程进行详述，再对基于融合多示例学习和多任务深度影像组学的生存期分析系统获取生存期分析结果的过程进行详述。
[0065]
1、生存数据预测模型的训练过程，如图2所示
[0066]
a10，采集多位患者治疗前的mr影像及其对应的临床风险因子、临床终点的随访时间和状态，构建训练数据集；
[0067]
在本实施例中，先采集多位患者(例如鼻咽癌患者)治疗前的mr影像(本发明中以
每名患者的横断位的mr影像为包)、临床风险因子(如性别、年龄、tnm肿瘤分期、肿瘤家族史、吸烟史、饮酒史及血检指标等)和多个临床终点(包括死亡、转移、复发、临床进展(即病情进展))的随访时间和状态，作为训练数据，构建训练数据集。
[0068]
其中，各个临床终点的随访时间为从某个时间点开始到发生该临床事件或最后的随访时间点为止的时间长度，起始时间点由使用者定义，本发明优选以开始接受治疗时间点为起始时间点；临床终点的状态是一个二值变量，代表在随访时间内是否发生该临床事件。
[0069]
a20，在mr影像的横断位mri图像中勾画病灶掩膜；勾画后，对横断位mri图像进行预处理，并在预处理后的横断位mri图像中选取以勾画的病灶掩膜为中心的固定尺寸区域作为感兴趣区域；
[0070]
在本实施例中，让有经验的医生在横断位的mri图像中病灶掩膜，比如鼻咽层面和颅底层面的原发灶，若有必要也可勾画咽后淋巴结进行分析。在勾画的过程中，若有冠状位和矢状位的mri图像，可以用作勾画的参考。
[0071]
勾画完病灶掩膜后，我们还需要对横断位的mri图像进行预处理，包括像素尺寸调整、灰度校正和灰度归一化处理。具体如下：
[0072]
使用双线性插值算法对mri横截面图像的进行像素尺寸调整；即将像素尺寸换到相同的大小尺度；
[0073]
使用直方图匹配方法对调整后的横断位mri图像进行灰度校正，将各患者的影像变换到同一目标域，以削弱机型和机型参数对影像灰度的影响。校正后的横断位mri图像灰度值和原来的横断位mri图像灰度值的关系为：x
new
＝f(x)。
[0074]
在本发明中优选为sun等人提出的直方图匹配方法，如公式(1)所示：
[0075][0076]
其中，x表示原横断位mri图像的灰度值，x
new
表示校正后的横断位mri图像的灰度值，μ
1i
，μ
i
和μ
2i
分别表示原横断位mri图像灰度范围内的三个标志点，μ
1s
，μ
s
和μ
2s
为目标域中的三个标志点。
[0077]
为了加快深度学习网络的收敛，我们使用z
‑
score方法来归一化输入的感兴趣区域的灰度值，z
‑
score的定义为：
[0078]
f(x)＝(x
‑
x_mean)/x_std
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0079]
其中，x_mean为用于训练的感兴趣区域的平均灰度值，x_std为用于训练的感兴趣区域的灰度值的方差。
[0080]
预处理结束后，取以勾画的病灶掩膜为中心的固定尺寸的图像方块为感兴趣区域。
[0081]
a30，分批的将感兴趣区域以及相应的病灶掩膜输入预构建的生存数据预测模型，得到各个临床终点的风险预测值；
[0082]
在本实施例中，训练生存数据预测模型(基于卷积神经网络、三个并行的全连接层构建，卷积神经网络可以使用但不局限于vgg，resnet和densenet框架，网络的深度由训练集的数据规模决定，一般不超过50层)时，输入样本有两个通道，一个通道为感兴趣区域，另
一个通道为感兴趣区域的病灶掩模，如图4所示，输入的标签为四个临床终点的随访时间和状态。
[0083]
卷积神经网络的终端使用三个并列的全连接层分别同时预测死亡、转移和复发的风险值，然后使用三个风险值中的最大值作为临床进展的风险值；在本发明中，每名患者的所有的横断位图像及其病灶掩模为包，每张横断位图像及其病灶掩模为一个示例(即上文的一个输入样本)，根据多实例学习假设，如果一个包的中有一个以上的示例被标定为正的，那么这个包就被标定为正的，因此本发明中若某名患者有一个输入样本被判断为高风险值，则该患者属于高危病例。
[0084]
生存数据预测模型的主干网络，即卷积神经网络在本发明中优选用resnet
‑
18，使用验证集方法来选择最优的网络参数，得到各个临床终点的风险预测值，作为预测标签。
[0085]
a40，基于各个临床终点的风险预测值、所述临床终点的随访时间和状态，计算负的cox偏似然损失值，并使用误差反传算法更新生存数据预测模型的模型参数；
[0086]
在本实施例中，基于临床进展的风险预测值，我们使用多示例学习选择每位患者的风险预测值最大的示例，然后用这些示例来更新网络权重。生存数据预测模型的batch size可以设置为128，学习率策略为余弦退火下降策略，误差反传算法为随机梯度下降算法。
[0087]
a50，循环步骤a30
‑
a40，直至负的cox偏似然损失值不再变小，得到训练好的生存数据预测模型。
[0088]
在本实施例中，将感兴趣区域以及相应的病灶掩膜分批输入生存数据预测模型，对生存数据预测模型进行训练，直至得到训练好的生存数据预测模型。
[0089]
2、融合多示例学习和多任务深度影像组学的生存期分析系统
[0090]
所述获取模块，配置为获取待分析的mr影像、对应的临床风险因子；所述临床风险因子包括患者的性别、年龄、tnm肿瘤分期、肿瘤家族史、吸烟史、饮酒史及血检指标；
[0091]
在本实施例中，获取待分析的mr影像及其对应的临床风险因子。
[0092]
所述预处理模块，配置为在mr影像的横断位mri图像中勾画病灶掩膜；勾画后，对横断位mri图像进行预处理，并在预处理后的横断位mri图像中选取以勾画的病灶掩膜为中心的固定尺寸区域作为感兴趣区域；
[0093]
在本实施例中，对横断位mri图像进行预处理，具体为：
[0094]
通过双线性插值算法对横断位mri图像进行像素尺寸调整；
[0095]
利用直方图匹配方法对调整后的横断位mri图像进行灰度校正；
[0096]
通过z
‑
score方法对灰度校正后的横断位mri图像进行灰度归一化处理。
[0097]
所述临床终点预测模块，配置为将感兴趣区域以及相应的病灶掩膜输入预构建的生存数据预测模型，得到各个临床终点的风险预测值；所述临床终点包括死亡、转移、复发以及临床进展；
[0098]
在本实施例中，基于感兴趣区域以及相应的病灶掩膜，通过上述训练好的生存数据预测模型，得到各个临床终点的风险预测值。即使用三个并列的全连接层同时预测死亡、转移和复发的风险，然后使用三个风险中的最大值作为临床进展的风险预测值。
[0099]
所述分析模块，配置为将各个临床终点的风险预测值和临床风险因子输入预构建的生存期分析模型，得到生存期分析结果。
[0100]
在本实施例中，为融合不同层次(如影像，tnm分期，年龄和治疗前的ebv
‑
dna水平等)的预后风险信息，我们使用lasso(least absolute shrinkage and selection operator)回归模型，也可以替换为随机森林等特征选择方法，从各个临床终点的风险预测值和临床风险因子中选择独立的预后变量(即从各个临床终点的风险预测值和临床风险因子包含的变量中选择出一部分变量，作为预后变量)，然后使用cox比例风险模型建立完善的生存期预测模型，即生存期预测模型基于lasso回归模型、cox比例风险模型构建。使用预测不同临床终点的风险预测值，再结合独立的临床风险因子，通过构建的生存期分析模型，可以预测相应的生存期分析结果。
[0101]
另外，本发明中，预后变量的选取方法为：以偏似然值作为lasso回归模型的优化指标，偏似然值达到最大值时保留的特征变量为独立的预后变量。将选取后的独立的预后变量送入cox比例风险模型确定各变量的权重系数以得到生存期分析模型。
[0102]
需要说明的是，上述实施例提供的融合多示例学习和多任务深度影像组学的生存期分析系统，仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块来完成，即将本发明实施例中的模块或者步骤再分解或者组合，例如，上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块，以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称，仅仅是为了区分各个模块或者步骤，不视为对本发明的不当限定。
[0103]
本发明第二实施例的一种融合多示例学习和多任务深度影像组学的生存期分析方法，如图3所示，包括：
[0104]
s10，获取待分析的mr影像、对应的临床风险因子；所述临床风险因子包括患者的性别、年龄、tnm肿瘤分期、肿瘤家族史、吸烟史、饮酒史及血检指标；
[0105]
s20，在mr影像的横断位mri图像中勾画病灶区域以及病灶掩膜；勾画后，对横断位mri图像进行预处理，并在预处理后的横断位mri图像中选取以勾画的病灶区域为中心的固定尺寸区域作为感兴趣区域；
[0106]
s30，将感兴趣区域以及感兴趣区域的病灶掩膜输入预构建的生存数据预测模型，得到各个临床终点的风险预测值；所述临床终点包括死亡、转移、复发以及临床进展；
[0107]
s40，将各个临床终点的风险预测值和临床风险因子输入预构建的生存期分析模型，得到生存期分析结果；
[0108]
其中，
[0109]
所述生存数据预测模型是基于卷积神经网络和三个并行的全连接层构建；
[0110]
所述生存期分析模型由基于lasso的cox比例风险模型构建。
[0111]
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的方法的具体的工作过程及有关说明，可以参考前述系统实施例中的对应过程，在此不再赘述。
[0112]
本发明第三实施例的一种设备，包括：至少一个处理器；以及与至少一个所述处理器通信连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令用于被所述处理器执行以实现上述的融合多示例学习和多任务深度影像组学的生存期分析方法。
[0113]
本发明第四实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有
计算机指令，所述计算机指令用于被所述计算机执行以实现上述的融合多示例学习和多任务深度影像组学的生存期分析方法。
[0114]
所述技术领域的技术人员可以清楚的了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实例中的对应过程，在此不再赘述。
[0115]
下面参考图5，其示出了适于用来实现本申请方法、系统、设备实施例的服务器的计算机系统的结构示意图。图5示出的服务器仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
[0116]
如图5所示，计算机系统包括中央处理单元(cpu，central processing unit)501，其可以根据存储在只读存储器(rom，read only memory)502中的程序或者从存储部分508加载到随机访问存储器(ram，random access memory)503中的程序而执行各种适当的动作和处理。在ram503中，还存储有系统操作所需的各种程序和数据。cpu501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o，input/output)接口505也连接至总线504。
[0117]
以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt，cathode ray tube)、液晶显示器(lcd，liquid crystal display)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan(局域网，local area network)卡、调制解调器等的网络接口卡的通讯部分509。通讯部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
[0118]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通讯部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上
述的任意合适的组合。
[0119]
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言
‑
诸如java、smalltalk、c++，还包括常规的过程式程序设计语言
‑
诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)
‑
连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0120]
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0121]
术语“第一”、“第二”等是用于区别类似的对象，而不是用于描述或表示特定的顺序或先后次序。
[0122]
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
[0123]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。