地物分类方法及装置与流程

本发明涉及遥感
技术领域：
，具体而言，涉及一种地物分类方法及装置。
背景技术：
：高光谱图像是当前遥感领域的前沿技术，其能够获取上百个光谱连续的波段。与全色、多光谱遥感图像相比，高光谱图像具有更加高的光谱分辨率，能够提供更加丰富的地物信息，从而更好的识别地物。但是，高光谱图像不能很好的解决复杂城市区域的建筑物阴影、云覆盖等难题，另外，在对更复杂的城市区域进行地物分类时，高光谱图像不能有效区分由相同材料组成的不同地物，因此，需要提取更具可分性的空谱特征。基于形态学属性剖面的空间结构特征能够有效提取高光谱图像中多尺度结构信息，但是由于高光谱图像的复杂性和多样性，单一的特征对高光谱图像的描述有限，在大场景高光谱图像的识别分类中，难以获取足够的训练样本，计算代价大。技术实现要素：本发明的目的在于提供一种地物分类方法及装置，用以改善上述问题。为了实现上述目的，本发明实施例采用的技术方案如下：第一方面，本发明提供了一种地物分类方法，所述方法包括：提取高光谱图像的多个属性剖面特征，得到第一图像；提取激光扫描图像的属性剖面特征，得到第二图像；将第一图像和第二图像进行融合，得到第三图像；利用预设的卷积神经网络，对第三图像进行特征提取与分类，得到地物分类结果。第二方面，本发明提供了一种地物分类装置，所述装置包括第一提取模块、第二提取模块、图像融合模块及地物分类模块。其中，第一提取模块用于提取高光谱图像的多个属性剖面特征，得到第一图像；第二提取模块用于提取激光扫描图像的属性剖面特征，得到第二图像；图像融合模块用于将第一图像和第二图像进行融合，得到第三图像；地物分类模块用于利用预设的卷积神经网络，对第三图像进行特征提取与分类，得到地物分类结果。相对现有技术，本发明具有以下有益效果：本发明提供的一种地物分类方法及装置，通过将高光谱图像的多个属性剖面特征和激光扫描图像的属性剖面特征进行融合，将髙光谱图像丰富的光谱信息和激光扫描图像精确的高程信息进行互补，解决了现有技术中由于光谱信息不准确导致的地物分类受局限的问题。另外，利用卷积神经网络进行特征提取与分类，降低了对训练样本的数量要求，同时提升了地物分类的精度。为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。附图说明为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本发明实施例提供的电子设备的方框示意图。图2示出了本发明实施例提供的地物分类方法流程图。图3为图2示出的步骤s101的子步骤流程图。图4为图3示出的子步骤s1013的子步骤流程图。图5为图2示出的步骤s104的子步骤流程图。图6为图5示出的子步骤s1042的子步骤流程图。图7为图5示出的子步骤s1043的子步骤流程图。图8示出了本发明实施例提供的地物分类装置的方框示意图。图9为图8示出的地物分类装置中第一提取模块的方框示意图。图10为图9示出的第一提取模块中执行单元的方框示意图。图11为图8示出的地物分类装置中地物分类模块的方框示意图。图12为图11示出的地物分类模块中图像特征提取单元的方框示意图。图13为图11示出的地物分类模块中图像特征分类单元的方框示意图。图标：100-电子设备；101-存储器；102-存储控制器；103-处理器；200-地物分类装置；201-第一提取模块；2011-图像获取单元；2012-主成分分析单元；2013-执行单元；20131-特征获取单元；20132-特征叠加单元；2014-第一图像获得单元；202-第二提取模块；203-图像融合模块；204-地物分类模块；2041-图像块获取单元；2042-图像特征提取单元；20421-第一子执行单元；20422-第二子执行单元；20423-图像特征获得单元；2043-图像特征分类单元；20431-特征矢量获得单元；20432-概率值计算单元；20433-地物类别获得单元；2044-地物分类结果获得单元。具体实施方式下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。请参照图1，图1示出了本发明较佳实施例提供的电子设备100的方框示意图。电子设备100可以是，但不限于台式机、笔记本电脑、智能手机、平板电脑、膝上型便携计算机、车载电脑、个人数字助理(personaldigitalassistant，pda)、穿戴式移动终端等等。所述电子设备100包括地物分类装置200、存储器101、存储控制器102及处理器103。所述存储器101、存储控制器102及处理器103各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述地物分类装置200包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述电子设备100的操作系统(operatingsystem，os)中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块，例如所述地物分类装置200包括的软件功能模块或计算机程序。其中，存储器101可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序，本发明任一实施例揭示的流程定义的服务器所执行的方法可以应用于处理器103中，或者由处理器103实现。处理器103可以是一种集成电路芯片，具有信号处理能力。上述的处理器103可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)、语音处理器以及视频处理器等；还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。第一实施例请参照图2，图2示出了本发明较佳实施例提供的地物分类方法流程图。地物分类方法包括以下步骤：步骤s101，提取高光谱图像的多个属性剖面特征，得到第一图像。在本发明实施例中，第一图像可以是高光谱图像的扩展形态学多属性剖面特征，可以利用形态学属性剖面操作提取高光谱图像的扩展形态学多属性剖面特征，高光谱图像的扩展形态学多属性可以是根据高光谱图像计算得到的，包括面积属性、惯性矩属性、标准差属性等。作为一种实施方式，提取高光谱图像的多个属性剖面特征得到第一图像的方法可以包括以下步骤：第一，利用主成分分析方法提取高光谱图像的前三个主成分图像，分别表示为i1、i2、i3；第二，选取有序阈值λ，且λ∈{100,500，1000,5000}，将选定的有序阈值λ与高光谱图像的面积属性进行比较，分别对前三个主成分图像i1、i2、i3进行开运算和闭运算，得到每个主成分图像ij(j＝1，2，3)的面积属性的属性剖面特征，可以根据下式获取每个主成分图像的面积属性的属性剖面特征：其中，γt表示开运算，可以是变薄操作，表示闭运算，可以是增厚操作。第三，将前三个主成分图像i1、i2、i3的属性剖面特征进行叠加，得到高光谱图像的面积的属性剖面特征，可以根据式子eap＝{ap(i1),ap(i2),ap(i3)}获取高光谱图像的面积的属性剖面特征：第四，将面积属性、惯性矩属性、标准差属性的属性剖面特征进行叠加，得到高光谱图像的扩展形态学多属性剖面特征，即第一图像，可以利用式子emap＝{eap1，eap′2,…,eapn}得到高光谱图像的扩展形态学多属性剖面特征。请参照图3，步骤s102可以包括以下子步骤：子步骤s1011，获取高光谱图像。子步骤s1012，对高光谱图像进行主成分分析，得到多个主成分图像。子步骤s1013，根据任意一个形态学属性，得到多个主成分图像的属性剖面特征，其中，形态学属性包括面积属性、惯性矩属性及标准差属性。请参照图4，步骤s1013可以包括以下子步骤：子步骤s10131，根据任意一个形态学属性，对每个主成分图像进行开运算和闭运算，获取每个主成分图像的属性剖面特征。子步骤s10132，将每个主成分图像的属性剖面特征进行叠加，得到多个主成分图像的属性剖面特征。子步骤s1014，将多个形态学属性的属性剖面特征进行叠加，得到第一图像。步骤s102，提取激光扫描图像的属性剖面特征，得到第二图像。在本发明实施例中，第二图像可以是激光扫描图像的的形态学属性剖面特征，可以利用形态学属性剖面操作提取激光扫描图像的形态学属性剖面特征。作为一种实施方式，对于激光扫描图像，可以根据形态学属性增厚操作和变薄操作的指标簇进行重建，从而得到激光扫描图像的属性剖面特征，即第二图像，可以根据下式得到激光扫描图像的属性剖面特征：其中，γt表示开运算，可以是变薄操作，表示闭运算，可以是增厚操作。步骤s103，将第一图像和第二图像进行融合，得到第三图像。在本发明实施例中，可以将步骤s101得到的高光谱图像的扩展形态学多属性剖面特征和步骤s102得到的激光扫描图像的属性剖面特征进行像素级别融合，得到融合后的第三图像，第三图像可以根据式子χ＝(emap(xh)；ap(xl))获得。步骤s104，利用预设的卷积神经网络，对第三图像进行特征提取与分类，得到地物分类结果。在本发明实施例中，对第三图像进行特征提取与分类的方法可以包括以下步骤：第一、以第三图像中的每个像素点为中心、获取多个大小为n×n的图像块；第二、利用预设的卷积神经网络对第三图像进行特征提取与分类，首先，利用不同权重滤波器通过局部感受野对多个大小为n×n的图像块进行卷积操作提取抽象特征，其次，利用池化层降低卷积层输出结果的特征向量，再次，全连接层与池化后的特征图相连，将其拉平为特征矢量，最后，输出层为多类逻辑回归层，可输出0到1之间数值，代表着计算每个特征矢量属于每个预设地物分类的概率值。作为一种实施方式，预设的卷积神经网络的架构为表1所示。表1卷积神经网络的架构卷积层relu层池化层dropout11×11×40有无无11×11×40有2×2无5×5×80有无无5×5×80有2×2无3×3×100有无无3×3×100有无无3×3×100有2×250％其中，第1层卷积层：卷积核大小为11×11×40；第2层卷积层；卷积核大小为11×11×40；第3层池化层：接受域大小为2*2；第4层卷积层：卷积核大小为5×5×80；第5层卷积层：卷积核大小为5×5×80；第6层池化层：接受域大小为2*2；第7层卷积层：卷积核大小为3×3×100；第8层卷积层：卷积核大小为3×3×100；第9层卷积层：卷积核大小为3×3×100；第10层池化层：接受域大小为2*2；随机丢失层(也称dropout层)：设置于每层卷积层和每层池化层之后，随机丢失值为50％。请参照图5，步骤s104可以包括以下子步骤：子步骤s1041，以第三图像中每个像素点为中心，获取多个大小为n×n的图像块，其中，n为大于1的整数。在本发明实施例中，将第三图像以每个像素点为中心取大小为21×21的图像块作为卷积神经网络的输入。子步骤s1042，将多个图像块输入卷积神经网络，利用卷积神经网络的第一网络进行深度特征学习并提取图像特征，其中，第一网络包括卷积层及池化层。在本发明实施例中，将多个大小为n×n的图像块作为卷积神经网络的输入，第一网络包括7层卷积层及3层池化层，利用卷积神经网络的第一网络进行深度特征学习并提取图像特征的方法可以包括以下步骤：第一，用7层卷积层的不同卷积核对输入的多个图像块进行卷积求和操作、外加偏置，再将结果并经过relu激励函数输出，形成当前层的神经元。作为一种实施方式，可以根据下式得到第i层第j个特征图在(x,y,z)位置处神经元的值：其中，m指的是第(i-1)层连接到当前第j层特征图的特征图，pi和qi是空间卷积核的高和宽，ri是光谱维度核的大小，是连接第m个特征图(p,q,r)位置的权重值，bij是第i层第j个特征图的偏置。作为一种实施方式，relu激励函数为非线性激励函数，用于使数据稀疏，其表达式为第二，对第i层特征图的每一个神经元采用最大池化法，用固定大小窗口进行下采样，降低特征图对于平移、缩放和旋转的敏感度。最大池化法可以表示为其中，u(n,1)是采用的窗口函数，aj是邻域中的最大值，在本发明实施例中，池化层窗口大小为2×2。第三，利用随机丢失层(也称dropout层)随机选择卷积层和池化层中的的某些隐含层节点的权重不工作，设置随机丢失的比例为50％，则每次训练随机丢弃50％隐含层的节点来进行训练，避免每次训练时所有的滤波器都共同作用放大或者缩小某些特征，防止过拟合。请参照图6，步骤s1042可以包括以下子步骤：子步骤s10421，将多个图像块输入卷积神经网络，利用多层卷积层进行卷积求和、加偏置，并经过relu激励函数，得到每层卷积层的输出特征图。子步骤s10422，利用每层卷积层后的池化层对该卷积层的输出特征图进行下采样，得到特征映射图。在本发明实施例中，将第一层卷积层的输出特征图作为第二层卷积层的输入特征图，利用第二层卷积层进行卷积求和、加偏置，并经过relu激励函数，得到第二层卷积层的输出特征图；将第二层卷积层的输出特征图输入第二层卷积层后的池化层，该池化层对输出特征图进行下采样，得到特征映射图；将该特征映射图输入第三层卷积层，利用第三层卷积层进行卷积求和、加偏置，并经过relu激励函数，得到第三层卷积层的输出特征图，依次类推，直到得到最后一层卷积层的输出特征图。子步骤s10423，利用最后一层卷积层后的池化层对该卷积层的输出特征图进行下采样，得到图像特征。子步骤s1043，将从第一网络提取到的图像特征输入第二网络并进行分类，得到每个图像特征的地物类别，其中，第二网络包括全连接层及多类逻辑回归层。在本发明实施例中，利用第一网络得到图像特征之后，输入第二网络并进行分类，得到每个图像特征的地物类别，可以利用以下步骤实现：第一，全连接层与最后池化后的特征图相连，利用全连接层将图像特征拉平为特征矢量，全连接层神经元个数就是图像特征个数，其直接影响卷积神经网络的拟合效果和训练速度；第二，卷积神经网络的最终输出层为多类逻辑回归层，可输出0到1之间数值，代表着每个特征矢量属于每个预设地物分类的概率值。给定输入r，可由式子得到特征矢量属于第j类的概率。作为一种实施方式，预设地物分类可以包括，但不限于土壤、道路、铁路、停车场、居民区、商业区等。第三，卷积神经网络参数训练分为前向传播和后向传播阶段，前向传播过程为给定待推断的输入计算输出，将训练样本送入网络，逐层变换，提取特征，得到激励响应。在后向传播过程中，卷积神经网络根据损失来计算梯度进行学习，将得到的损失函数，利用梯度下降法对权重和偏置进行更新，自动求导并反向组合每一层梯度来计算整个网络的梯度，损失函数可以根据下式计算：其中，式中m为图像块的个数，k为类别个数，1{·}是示性函数，其取值规则为：1{值为真的表达式}＝1，1{值为假的表达式}＝0。请参照图7，步骤s1043可以包括以下子步骤：子步骤s10431，利用全连接层对最后一层池化层输出的图像特征进行拉平，得到特征矢量，其中，全连接层的每个神经元对应1个图像特征。子步骤s10432，利用多类逻辑回归层，计算每个特征矢量属于每个预设地物分类的概率值。子步骤s10433，获取每个特征矢量的最大概率值对应的预设地物分类，并将该预设地物分类作为该特征矢量对应的图像特征的地物类别。子步骤s1044，将每个图像特征的地物类别进行融合，得到地物分类结果。在本发明实施例中，将本发明所提供地物分类方法与基于emp形态学变换、基于支持向量机、基于ep提取特征和基于epf的分类方法进行了比较，如表2所示。表2几种分类方法的比较由表2可以看到，本发明提出的地物分类方法获得的分类结果与其他方法的分类结果相比，分类精度更高，具有更大的实用价值。在本发明实施例中，首先，将高光谱图像的多个属性剖面特征和激光扫描图像的属性剖面特征进行融合，将髙光谱图像丰富的光谱信息和激光扫描图像精确的高程信息进行互补，避免了只基于髙光谱图像存在的建筑物阴影、云覆盖和其他地物光谱信息不准确导致地物分类受局限的问题；第二，基于形态学属性剖面提取特征的方法可以综合多种不同类型的属性特征，从而更加全面地描述图像的空间几何特征；第三，基于卷积神经网络的特征提取和分类方法，能够克服常规分类方法忽略图像空间结构特征和缺乏泛化能力的缺点，提升了整体的分类精度。因此，本发明提出的地物分类方法既能对几何变换、形变、光照具有一定程度的不变性，同时又能够有效解决城市区域建筑物阴影问题和受天气影响的大区域误分类问题，故对图像的后续分析处理及其在实际应用中具有重大意义和实用价值。第二实施例请参照图8，图8示出了本发明实施例提供的地物分类装置200的方框示意图。地物分类装置200包括第一提取模块201、第二提取模块202、图像融合模块203及地物分类模块204。第一提取模块201，用于提取高光谱图像的多个属性剖面特征，得到第一图像。在本发明实施例中，第一提取模块201可以用于执行步骤s101。请参照图9，图9为图8示出的地物分类装置200中第一提取模块201的方框示意图。第一提取模块201包括图像获取单元2011、主成分分析单元2012、执行单元2013及第一图像获得单元2014。图像获取单元2011，用于获取高光谱图像。在本发明实施例中，图像获取单元2011可以用于执行子步骤s1011。主成分分析单元2012，用于对高光谱图像进行主成分分析，得到多个主成分图像。在本发明实施例中，主成分分析单元2012可以用于执行子步骤s1012。执行单元2013，用于根据任意一个形态学属性，得到多个主成分图像的属性剖面特征，其中，形态学属性包括面积属性、惯性矩属性及标准差属性。在本发明实施例中，执行单元2013可以用于执行子步骤s1013。请参照图10，图10为图9示出的第一提取模块201中执行单元2013的方框示意图。执行单元2013包括特征获取单元20131及特征叠加单元20132。特征获取单元20131，用于根据任意一个形态学属性，对每个主成分图像进行开运算和闭运算，获取每个主成分图像的属性剖面特征。在本发明实施例中，特征获取单元20131可以用于执行子步骤s10131。特征叠加单元20132，用于将每个主成分图像的属性剖面特征进行叠加，得到多个主成分图像的属性剖面特征。在本发明实施例中，特征叠加单元20132可以用于执行子步骤s10132。第一图像获得单元2014，用于将多个形态学属性的属性剖面特征进行叠加，得到第一图像。在本发明实施例中，第一图像获得单元2014可以用于执行子步骤s1014。第二提取模块202，用于提取激光扫描图像的属性剖面特征，得到第二图像。在本发明实施例中，第二提取模块202可以用于执行步骤s102。图像融合模块203，用于将第一图像和第二图像进行融合，得到第三图像。在本发明实施例中，图像融合模块203可以用于执行步骤s103。地物分类模块204，用于利用预设的卷积神经网络，对第三图像进行特征提取与分类，得到地物分类结果。在本发明实施例中，地物分类模块204可以用于执行步骤s104。请参照图11，图11为图8示出的地物分类装置200中地物分类模块204的方框示意图。地物分类模块204包括图像块获取单元2041、图像特征提取单元2042、图像特征分类单元2043及地物分类结果获得单元2044。图像块获取单元2041，用于以第三图像中每个像素点为中心，获取多个大小为n×n的图像块，其中，n为大于1的整数。在本发明实施例中，图像块获取单元2041可以用于执行子步骤s1041。图像特征提取单元2042，用于将多个图像块输入卷积神经网络，利用卷积神经网络的第一网络进行深度特征学习并提取图像特征，其中，第一网络包括卷积层及池化层。在本发明实施例中，图像特征提取单元2042可以用于执行子步骤s1042。请参照图12，图12为图11示出的地物分类模块204中图像特征提取单元2042的方框示意图。图像特征提取单元2042包括第一子执行单元20421、第二子执行单元20422及图像特征获得单元20423。第一子执行单元20421，用于将多个图像块输入卷积神经网络，利用多层卷积层进行卷积求和、加偏置，并经过relu激励函数，得到每层卷积层的输出特征图。在本发明实施例中，第一子执行单元20421可以用于执行子步骤s10421。第二子执行单元20422，用于利用每层卷积层后的池化层对该卷积层的输出特征图进行下采样，得到特征映射图。在本发明实施例中，第二子执行单元20422可以用于执行子步骤s10422。下采样单元20423，用于利用最后一层卷积层后的池化层对该卷积层的输出特征图进行下采样，得到图像特征。在本发明实施例中，图像特征获得单元20423可以用于执行子步骤s10423。图像特征分类单元2043，用于将从第一网络提取到的图像特征输入第二网络并进行分类，得到每个图像特征的地物类别，其中，第二网络包括全连接层及多类逻辑回归层。在本发明实施例中，图像特征分类单元2043可以用于执行子步骤s1043。请参照图13，图13为图11示出的地物分类模块204中图像特征分类单元2043的方框示意图。图像特征分类单元2043包括特征矢量获得单元20431、概率值计算单元20432及地物类别获得单元20433。特征矢量获得单元20431，用于利用全连接层对最后一层池化层输出的图像特征进行拉平，得到特征矢量，其中，全连接层的每个神经元对应1个图像特征。在本发明实施例中，特征矢量获得单元20431可以用于执行子步骤s10431。概率值计算单元20432，用于利用多类逻辑回归层，计算每个特征矢量属于每个预设地物分类的概率值。在本发明实施例中，概率值计算单元20432可以用于执行子步骤s10432。地物类别获得单元20433，用于获取每个特征矢量的最大概率值对应的预设地物分类，并将该预设地物分类作为该特征矢量对应的图像特征的地物类别。在本发明实施例中，地物类别获得单元20433可以用于执行子步骤s10433。地物分类结果获得单元2044，用于将每个图像特征的地物类别进行融合，得到地物分类结果。在本发明实施例中，地物分类结果获得单元2044可以用于执行子步骤s1044。综上所述，本发明提供的一种地物分类方法及装置，所述方法包括：提取高光谱图像的多个属性剖面特征，得到第一图像；提取激光扫描图像的属性剖面特征，得到第二图像；将第一图像和第二图像进行融合，得到第三图像；利用预设的卷积神经网络，对第三图像进行特征提取与分类，得到地物分类结果。本发明提出的地物分类方法，首先，将高光谱图像的多个属性剖面特征和激光扫描图像的属性剖面特征进行融合，将髙光谱图像丰富的光谱信息和激光扫描图像精确的高程信息进行互补，避免了只基于髙光谱图像存在的建筑物阴影、云覆盖和其他地物光谱信息不准确导致地物分类受局限的问题；第二，基于形态学属性剖面提取特征的方法可以综合多种不同类型的属性特征，从而更加全面地描述图像的空间几何特征；第三，基于卷积神经网络的特征提取和分类方法，能够克服常规分类方法忽略图像空间结构特征和缺乏泛化能力的缺点，提升了整体的分类精度。该方法既能对几何变换、形变、光照具有一定程度的不变性，同时又能够有效解决城市区域建筑物阴影问题和受天气影响的大区域误分类问题，因此对图像的后续分析处理及其在实际应用中具有重大意义和实用价值。在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。当前第1页12