DR征象识别装置和方法与流程

本发明涉及计算机视觉技术领域，尤其涉及一种dr征象识别装置和方法。

背景技术：

随着人工智能的发展，基于dr(digitalradiography，数字化成像技术)影像的计算机辅助系统(computer-aidedsystem，cad)应运而生。cad的应用，能够减少医师工作量，提高医师阅片效率。

目前，深度学习技术被广泛应用于cad的设计中。用于cad的深度学习技术可以大体分为两类：其一是应用图像分割思路进行的病灶区域识别，多采用基于unet结构的子网络或者改进型网络；其二是采用基于目标检测的思路进行的病灶区域检测，多采用诸如retinnet等目标检测模型。

然而，目前基于cad的征象识别仅是基于dr影像中的征象本身的特征进行的，并不考虑相关医学知识，导致由此生成的识别结果在医学上不具备可解释性，可信度低。

技术实现要素：

本发明实施例提供一种dr征象识别装置和方法，用以解决现有的dr征象识别不考虑相关医学知识，导致由此生成的识别结果在医学上不具备可解释性，可信度低的问题。

第一方面，本发明实施例提供一种dr征象识别装置，包括：

影像确定单元，用于确定待识别的dr影像；

征象识别单元，用于将所述dr影像输入至征象识别模型，得到所述征象识别模型输出的征象识别结果；

其中，所述征象识别模型用于确定所述dr影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及所述空间分布张量和分类预测张量，进行dr征象识别。

第二方面，本发明实施例提供一种dr征象识别方法，包括：

确定待识别的dr影像；

将所述dr影像输入至征象识别模型，得到所述征象识别模型输出的征象识别结果；

其中，所述征象识别模型用于确定所述dr影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及所述空间分布张量和分类预测张量，进行dr征象识别。

本发明实施例提供的一种dr征象识别装置和方法，结合预设征象关联矩阵，以及空间分布张量和分类预测张量，进行dr征象识别，从而得到具有医学关联性的征象识别结果，在医学上具有高度的解释性，能够提高征象识别的可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的dr征象识别方法的流程示意图；

图2为本发明实施例提供的征象识别模型的结构示意图；

图3为本发明实施例提供的dr征象识别装置的结构示意图；

图4为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前基于cad的征象识别均存在以下问题：其一是针对dr影像的征象识别仅针对于征象本身，不考虑病症与征象之间关联性；其二是仅考虑征象本身，不考虑征象的空间分布，对此，本发明实施例提供一种dr征象识别方法，用于实现在医学上具有可解释性的高可信度的dr征象识别。

图1为本发明实施例提供的dr征象识别方法的流程示意图，如图1所示，该方法包括：

步骤110，确定待识别的dr影像。

步骤120，将dr影像输入至征象识别模型，得到征象识别模型输出的征象识别结果；其中，征象识别模型用于确定dr影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及空间分布张量和分类预测张量，进行dr征象识别。

具体地，在医学上，不同疾病所对应的征象在发病部位上存在区别，例如相较于肺结核征象，在胸部偏下位置更加容易找到肺炎征象。由此可见，疾病发作的空间位置可以作为判断征象从属的重要依据。然而在常用的病灶检测方法中，例如基于分割或检测的模型，并未考虑引入病灶本身的空间分布属性。本发明实施例中，dr影像的空间分布张量表征不同征象在dr影像中的空间分布信息，即不同征象在dr影像中的具体分布位置。

此外，因病毒所导致的疾病在医学影像角度上存在相关性，例如dr影像上索条征象和渗出征象同时存在，往往代表着病症具有较强的活动性，并且可作为区分肺结核和肺炎的重要参考。征象之间的关联关系对应着疾病发生的特点以及阶段，征象之间的关联关系可以作为进行征象识别的解释依据。本发明实施例中，预设征象关联矩阵表征预先设定的某一疾病所对应的各种征象两两之间的关联关系，具体可以体现为每两种征象同时发生的概率矩阵。

在进行征象识别时，将dr影像输入至征象识别模型，由征象识别模型基于dr影像确定其对应的空间分布张量和分类预测张量，此处分类预测张量表征dr影像中可能存在的征象类型。随即，征象识别模型结合预设征象关联矩阵，以及所述空间分布张量和分类预测张量，在充分考虑征象分布的空间信息以及征象之间关联关系的情况下，进行dr征象识别，并输出医学上具有可解释性的征象识别结果。

由此得到的征象识别结果，可以与医师诊断得到的诊断结果所对应的各种征象相比较，从而验证医师的诊断结果是否准确。针对于同一类疾病的dr影像的征象识别结果，还可以用于对该类疾病所体现的征象进行大规模的数据统计，从而帮助人们快速了解该类疾病。

在执行步骤120之前，还可以预先训练得到征象识别模型，具体可以通过如下方式训练得到征象识别模型：首先，收集大量样本dr影像，并确定样本dr影像中包含的征象作为样本dr影像的样本征象识别结果。随即，基于样本dr影像及其对应的样本征象识别结果训练初始模型，从而得到征象识别模型。

本发明实施例提供的方法，结合预设征象关联矩阵，以及空间分布张量和分类预测张量，进行dr征象识别，从而得到具有医学关联性的征象识别结果，且在医学上具有高度的解释性，能够提高征象识别的可靠性。

进一步地，征象识别结果在医学上的解释性主要体现在如下三个方面：

一是征象识别模型的整体识别过程符合医师先发现再识别的过程，通过模拟医师的阅片过程中对征象的思辨，使得识别过程具有解释性；二是充分考虑了征象之间固有的关联性；三是充分考虑了征象的空间分布属性。

基于上述实施例，图2为本发明实施例提供的征象识别模型的结构示意图，如图2所示，征象识别模型包括空间注意力分析层、多标签分类层、注意力校正层以及征象输出层。

其中，空间注意力分析层用于确定dr影像的空间分布张量；多标签分类层用于确定dr影像的分类预测张量；注意力校正层用于基于空间分布张量对分类预测张量进行校正，并输出分类校正张量；征象输出层用于基于分类校正张量和预设征象关联矩阵，确定征象识别结果。

对应地，步骤120具体包括：

步骤121，将dr影像的图像张量输入至空间注意力分析层，得到空间注意力分析层输出的空间分布张量。

具体地，dr影像的图像张量即dr影像的张量表示。

空间注意力分析层用于对输入的图像张量进行注意力分析，并输出空间分布张量。此处的空间分布张量中包含有针对于每一预设征象的空间分布信息，假设共存在17种预设征象，则每一预设征象的空间分布信息对应于空间分布张量中的一个通道，具体可以体现为该预设征象的分布mask张量，即将图像张量中属于该预设征象的点值设置为1，不属于该预设征象的点值设置为0，从而表征该预设征象在dr影像中的分布位置。

此处的空间注意力分析层可以作为征象识别模型中的一层，也可以作为独立运行的模型。空间注意力分析层可以通过vgg模型结构实现。

步骤122，将图像张量输入至多标签分类层，得到多标签分类层输出的分类预测张量。

具体地，多标签分类层用于对输入的图像张量进行分析，并输出分类预测张量。此处的分类预测张量用于表征该dr影像中可能存在的征象类型，具体可以体现为n×1大小的矩阵，其中n为预设征象的数量，矩阵中的每个元素对应一个预设征象，若dr影像中包含该预设征象，则该预设征象对应的元素值为1，否则该预设征象对应的元素值为0。

此处的多标签分类层可以作为征象识别模型中的一层，也可以作为独立运行的模型。多标签分类层可以通过resnet101模型结构实现，

步骤123，将空间分布张量和分类预测张量输入至注意力校正层，得到注意力校正层输出的分类校正张量。

具体地，注意力校正层基于空间分布张量对分类预测张量进行注意力校正，并输出注意力校正后的分类预测张量，即分类校正张量。由此得到的分类校正张量结合了各个征象的空间分布信息，相对于单纯通过图像分类得到的分类预测张量在医学上具有可解释性。

此处，注意力校正层可以是基于grad-cam构建的。

步骤124，将分类校正张量输入至征象输出层，得到征象输出层输出的征象识别结果。

具体地，征象输出层用于对分类校正张量和预设征象关联矩阵进行分析，结合预先设定的疾病所对应的各种征象两两之间的关联关系，对分类校正张量所指示的dr影像中可能包含的各个征象的概率进行调整，并输出征象识别结果。

本发明实施例提供的方法，通过注意力校正层结合空间分布张量和分类预测张量，通过征象输出层结合分类校正张量和预设征象关联矩阵，从征象的空间分布规则和征象之间的关联关系上为征象识别提供医学上的可解释性，进而提高征象识别的可靠性。

基于上述任一实施例，图像张量是对dr影像进行归一化后得到的。

具体地，在将dr影像输入征象识别模型之前，可以对dr影像进行基于最大值和最小值的归一化，从而将dr影像中每一像素点的值规范到0至1之间，为后续图像张量的处理提供条件。

基于上述任一实施例，空间注意力分析层是基于样本dr影像及其对应的样本空间分布张量预训练得到的；多标签分类层是基于样本dr影像及其对应的样本分类预测张量预训练得到的。

具体地，空间注意力分析层和多标签分类层均可以作为独立运行的模型，在对征象识别模型进行训练之前，优先对空间注意力分析层和多标签分类层分别进行预训练，并结合预训练后的空间注意力分析层和多标签分类层，以及预先确定的预设征象关联矩阵，对注意力校正层进行训练，从而得到征象识别模型。

基于上述任一实施例，预设征象关联矩阵的确定方法包括如下步骤：

步骤210，确定预设疾病的多个样本dr影像的征象信息。

步骤220，对多个样本dr影像的征象信息进行数据挖掘，得到预设疾病的征象关联信息。

步骤230，基于征象关联信息构建预设征象关联矩阵。

具体地，预设疾病即预先设定的一种疾病，样本dr影像均为确诊为该预设疾病的患者的dr影像，样本dr影像的征象信息用于表征样本dr影像中包含的征象。

通过对多个样本dr影像的征象信息进行数据挖掘，即可得到预设疾病下的各个征象两两之间的关系，即征象关联信息。进一步地，此处的数据挖掘可以通过fp-growth方法实现。

在得到征象关联信息后，可以对征象关联信息中包含的各个征象两两之间的关系进行编码，从而得到预设征象关联矩阵。

此外，在步骤230之前，还可以使用阈值去除征象关联信息中由于人为因素所引入的噪声等不充分关系，由此得到征象关联信息中仅包含各个征象之间的频繁项关系。

基于上述任一实施例，预设疾病为新型冠状病毒肺炎，预设征象关联矩阵所表征的是新型冠状病毒肺炎中各个征象两两之间的关系。由此得到的征象识别模型能够更针对性地实现新型冠状病毒肺炎患者的dr影像的高可靠性的征象识别。

基于上述任一实施例，基于新型冠状病毒肺炎检测的征象识别模型的训练方法具体包括如下步骤：

首先，预先构建预设征象关联矩阵：

预先对大量的新型冠状病毒肺炎患者的dr影像进行分析，多个样本dr影像的征象信息，并应用fp-growth方法进行数据挖掘，得到新型冠状病毒肺炎的征象关联信息；使用阈值去除因为人为因素所引入的噪声等不充分关系，获得征象两两之间的频繁项关系，最终获得共17组频繁项。基于频繁项关系进行编码，编码方式为计算归一化的条件概率矩阵，即一个17x17大小的矩阵，即预设征象关联矩阵。假设预设征象关联矩阵第一行代表的是索条影，第二列代表的是空洞影，则第一行第二列的元素表明的是在具有空洞影的情况下，索条影发生的概率。

随即，分别预训练空间注意力分析模型和多标签分类模型作为征象识别模型的空间注意力分析层和多标签分类层：

针对于空间注意力分析模型，其预训练的输入为样本dr影像，输出为17种征象的分布mask所构成的17个通道的张量，即样本dr影像的样本空间分布张量。训练后的空间注意力分析模型具有针对dr胸片进行上述17种病灶发病区域的注意力生成能力。

针对于多标签分类模型，其预训练的输入为样本dr影像，输出为样本分类预测张量。

完成空间注意力分析模型和多标签分类模型的预训练后，基于grad-cam方法对这两个模型的注意力机制进行分析，从而使得输出的分类校正张量中的高值部分的位置尽量同上述空间注意力分析模型的输出相一致。训练完毕后，即可得到用于后续推理的注意力校正层，注意力校正层可以将多标签分类模型的输出整合成符合征象空间关注分布的分类校正张量。

基于上述任一实施例，用于新型冠状病毒肺炎检测的征象识别方法包括：

对dr影像进行归一化，得到图像张量。

将图像张量输入至空间注意力分析层，空间注意力分析层进行分析得到为17x256x256pixels大小的输出张量矩阵，随后进行sigmoid获得对17个特征值的mask作为空间分布张量并输出。

将图像张量输入至所述多标签分类层，得到多标签分类层输出的分类预测张量。

将空间分布张量和所述分类预测张量输入至注意力校正层，得到注意力校正层输出的分类校正张量。

将分类校正张量输入至征象输出层，由征象输出层将分类校正张量与预设征象关联矩阵相乘，获得一个1×17的矩阵，17来源于经过分析所得的17种高相关征象。此后使用阈值th(该阈值通常设置为0.5)进行过滤，将17个数值中高于0.5的数值设置为1，低于0.5数值设置为0，从而得到征象识别结果。征象识别结果中，为1的表明该dr影像中存在对应的征象，而为0的表明该dr影像中不存在对应的征象。

本发明实施例提供的方法，结合预设征象关联矩阵，以及空间分布张量和分类预测张量，进行dr征象识别，从而得到具有医学关联性的征象识别结果，且在医学上具有高度的解释性，能够提高征象识别的可靠性。

基于上述任一实施例，图3为本发明实施例提供的dr征象识别装置的结构示意图，如图3所示，该装置包括影像确定单元310和征象识别单元320；

其中，影像确定单元310用于确定待识别的dr影像；

征象识别单元320用于将所述dr影像输入至征象识别模型，得到所述征象识别模型输出的征象识别结果；

其中，所述征象识别模型用于确定所述dr影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及所述空间分布张量和分类预测张量，进行dr征象识别。

具体地，在医学上，不同疾病所对应的征象在发病部位上存在区别，例如相较于肺结核征象，在胸部偏下位置更加容易找到肺炎征象。由此可见，疾病发作的空间位置可以作为判断征象从属的重要依据。然而在常用的病灶检测方法中，例如基于分割或检测的模型，并未考虑引入病灶本身的空间分布属性。本发明实施例中，dr影像的空间分布张量表征不同征象在dr影像中的空间分布信息，即不同征象在dr影像中的具体分布位置。

此外，因病毒所导致的疾病在医学影像角度上存在相关性，例如dr影像上索条征象和渗出征象同时存在，往往代表着病症具有较强的活动性，并且可作为区分肺结核和肺炎的重要参考。征象之间的关联关系对应着疾病发生的特点以及阶段，征象之间的关联关系可以作为进行征象识别的解释依据。本发明实施例中，预设征象关联矩阵表征预先设定的某一疾病所对应的各种征象两两之间的关联关系，具体可以体现为每两种征象同时发生的概率矩阵。

征象识别单元320用于将dr影像输入至征象识别模型，由征象识别模型基于dr影像确定其对应的空间分布张量和分类预测张量，此处分类预测张量表征dr影像中可能存在的征象类型。随即，征象识别模型结合预设征象关联矩阵，以及所述空间分布张量和分类预测张量，在充分考虑征象分布的空间信息以及征象之间关联关系的情况下，进行dr征象识别，并输出医学上具有可解释性的征象识别结果。

由此得到的征象识别结果，可以与医师基于dr影像得到的诊断结果所对应的各种征象相比较，从而验证医师的诊断结果是否准确。针对于同一类疾病的dr影像的征象识别结果，还可以用于对该类疾病所体现的征象进行大规模的数据统计，从而帮助人们快速了解该类疾病。

本发明实施例提供的装置，结合预设征象关联矩阵，以及空间分布张量和分类预测张量，进行dr征象识别，从而得到具有医学关联性的征象识别结果，且在医学上具有高度的解释性，能够提高征象识别的可靠性。

基于上述任一实施例，所述征象识别模型包括空间注意力分析层、多标签分类层、注意力校正层以及征象输出层。

其中，空间注意力分析层用于确定dr影像的空间分布张量；多标签分类层用于确定dr影像的分类预测张量；注意力校正层用于基于空间分布张量对分类预测张量进行校正，并输出分类校正张量；征象输出层用于基于分类校正张量和预设征象关联矩阵，确定征象识别结果。

基于上述任一实施例，所述征象识别单元320包括：

空间注意力分析子单元，用于将所述dr影像的图像张量输入至所述空间注意力分析层，得到所述空间注意力分析层输出的所述空间分布张量；

多标签分类子单元，用于将所述图像张量输入至所述多标签分类层，得到所述多标签分类层输出的所述分类预测张量；

注意力校正层子单元，用于将所述空间分布张量和所述分类预测张量输入至所述注意力校正层，得到所述注意力校正层输出的所述分类校正张量；

征象输出子单元，用于将所述分类校正张量输入至所述征象输出层，得到所述征象输出层输出的所述征象识别结果。

具体地，空间注意力分析子单元中，dr影像的图像张量即dr影像的张量表示。空间注意力分析层用于对输入的图像张量进行注意力分析，并输出空间分布张量。此处的空间分布张量中包含有针对于每一预设征象的空间分布信息，假设共存在17种预设征象，则每一预设征象的空间分布信息对应于空间分布张量中的一个通道，具体可以体现为该预设征象的分布mask张量，即将图像张量中属于该预设征象的点值设置为1，不属于该预设征象的点值设置为0，从而表征该预设征象在dr影像中的分布位置。

此处的空间注意力分析层可以作为征象识别模型中的一层，也可以作为独立运行的模型。空间注意力分析层可以通过vgg模型结构实现。

多标签分类子单元中，多标签分类层用于对输入的图像张量进行分析，并输出分类预测张量。此处的分类预测张量用于表征该dr影像中可能存在的征象类型，具体可以体现为n×1大小的矩阵，其中n为预设征象的数量，矩阵中的每个元素对应一个预设征象，若dr影像中包含该预设征象，则该预设征象对应的元素值为1，否则该预设征象对应的元素值为0。

此处的多标签分类层可以作为征象识别模型中的一层，也可以作为独立运行的模型。多标签分类层可以通过resnet101模型结构实现，

注意力校正子单元中，注意力校正层基于空间分布张量对分类预测张量进行注意力校正，并输出注意力校正后的分类预测张量，即分类校正张量。由此得到的分类校正张量结合了各个征象的空间分布信息，相对于单纯通过图像分类得到的分类预测张量在医学上具有可解释性。

此处，注意力校正层可以是基于grad-cam构建的。

征象输出子单元中，征象输出层用于对分类校正张量和预设征象关联矩阵进行分析，结合预先设定的疾病所对应的各种征象两两之间的关联关系，对分类校正张量所指示的dr影像中可能包含的各个征象的概率进行调整，并输出征象识别结果。

本发明实施例提供的装置，通过注意力校正层结合空间分布张量和分类预测张量，通过征象输出层结合分类校正张量和预设征象关联矩阵，从征象的空间分布规则和征象之间的关联关系上为征象识别提供医学上的可解释性，进而提高征象识别的可靠性。

基于上述任一实施例，所述图像张量是对所述dr影像进行归一化后得到的。

具体地，在将dr影像输入征象识别模型之前，可以对dr影像进行基于最大值和最小值的归一化，从而将dr影像中每一像素点的值规范到0至1之间，为后续图像张量的处理提供条件。

基于上述任一实施例，所述空间注意力分析层是基于样本dr影像及其对应的样本空间分布张量预训练得到的；

所述多标签分类层是基于样本dr影像及其对应的样本分类预测张量预训练得到的。

具体地，空间注意力分析层和多标签分类层均可以作为独立运行的模型，在对征象识别模型进行训练之前，优先对空间注意力分析层和多标签分类层分别进行预训练，并结合预训练后的空间注意力分析层和多标签分类层，以及预先确定的预设征象关联矩阵，对注意力校正层进行训练，从而得到征象识别模型。

基于上述任一实施例，该装置还包括关联矩阵确定单元；关联矩阵确定单元具体用于：

确定预设疾病的多个样本dr影像的征象信息；

对所述多个样本dr影像的征象信息进行数据挖掘，得到所述预设疾病的征象关联信息；

基于所述征象关联信息构建所述预设征象关联矩阵。

具体地，预设疾病即预先设定的一种疾病，样本dr影像均为确诊为该预设疾病的患者的dr影像，样本dr影像的征象信息用于表征样本dr影像中包含的征象。

通过对多个样本dr影像的征象信息进行数据挖掘，即可得到预设疾病下的各个征象两两之间的关系，即征象关联信息。进一步地，此处的数据挖掘可以通过fp-growth方法实现。

在得到征象关联信息后，可以对征象关联信息中包含的各个征象两两之间的关系进行编码，从而得到预设征象关联矩阵。

此外，在构建预设征象关联矩阵之前，关联矩阵确定单元还可以使用阈值去除征象关联信息中由于人为因素所引入的噪声等不充分关系，由此得到征象关联信息中仅包含各个征象之间的频繁项关系。

基于上述任一实施例，所述预设疾病为新型冠状病毒肺炎，预设征象关联矩阵所表征的是新型冠状病毒肺炎中各个征象两两之间的关系。由此得到的征象识别模型能够更针对性地实现新型冠状病毒肺炎患者的dr影像的高可靠性的征象识别。

图4为本发明实施例提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communicationsinterface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑命令，以执行如下方法：确定待识别的dr影像；将所述dr影像输入至征象识别模型，得到所述征象识别模型输出的征象识别结果；其中，所述征象识别模型用于确定所述dr影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及所述空间分布张量和分类预测张量，进行dr征象识别。

此外，上述的存储器430中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定待识别的dr影像；将所述dr影像输入至征象识别模型，得到所述征象识别模型输出的征象识别结果；其中，所述征象识别模型用于确定所述dr影像的空间分布张量和分类预测张量，并基于预设征象关联矩阵，以及所述空间分布张量和分类预测张量，进行dr征象识别。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。