一种目标识别定位及呈现方法、装置、设备及存储介质

1.本技术涉及航拍识别定位技术领域，更具体地，涉及一种目标识别定位及呈现方法、装置、设备及存储介质。


背景技术：

2.在基于视觉的可见光摄像头的无人机目标识别定位中，目前主要的做法是粗略估计方法，即认为感兴趣目标的目标检测识别结果的物理世界坐标，约等于是目标所在航拍照片的几何中心点的物理世界坐标。由于每张正射航拍照片的几何中心点坐标是已知的，故目标在照片中所在位置距离照片几何中心点越近，该方法提供的目标的物理世界坐标就越准确，但是误差较大。这种粗略估计方法所提供的对目标的物理世界定位方法精度较低，未能利用好目标的像素坐标信息及固定翼无人机的正射航拍姿态信息。
3.现有的对于遥感/无人机目标检测效果较好的算法都是采用自顶向下(top-down)结构实现多尺度特征融合的思想，也就是将高层语义信息和底层细节信息结合在一起，增强目标特征表示，同时也为小目标提供上下文信息提高判别性。但是，融合后的特征在前景目标突显的同时，也引入了大量的背景信息，这是因为在采用自顶向下结构进行融合时，是将最深层特征依次连续叠加到浅层特征中，由于最深层特征的感受野很大，对于浅层小目标来说，最深层特征的加入相当于给浅层小目标引入太大的感受野，即加入太多的背景干扰，太大的感受野会损害小目标检测的性能。尤其是无人机视角下的车辆绝大部分都是小尺度的目标，采用自顶向下的特征融合结构是不利于目标的检测。


技术实现要素：

4.针对现有技术的至少一个缺陷或改进需求，本发明提供了一种目标识别定位及呈现方法、装置、设备及存储介质，实现了从目标检测像素坐标到物理世界经纬度坐标的转换，提高了目标定位的精确度。
5.为实现上述目的，按照本发明的第一个方面，提供了一种目标识别定位及呈现方法，该方法包括以下步骤：
6.获取航拍图像，根据航拍设备的航向角信息将航拍图像旋转，使航拍图像方向与地理地图方向相同；
7.建立目标检测模型，将所述旋转后的航拍图片输入至训练后的目标检测模型中，得到目标物体被标识后的航拍图像；
8.在所述被标识后的航拍图像中建立第一坐标系，根据相机参数获取目标物体的像素位置；
9.以航拍设备与被标识后的航拍图像建立第二坐标系，根据航拍设备的航向角信息、相对地面高度与地理坐标获取目标物体的地理坐标；
10.根据所述目标物体的地理坐标，在预先生成的航拍地域三维数字地形上对定位目标进行可视化标注呈现。
11.进一步的，上述目标视觉识别定位及呈现方法，其中，所述在被标识后的航拍图像中建立第一坐标系，根据相机参数获取目标物体的像素位置，具体包括：
12.根据相机参数，获得整个航拍图像的像素尺寸、图像中心点的像素坐标与目标物体的像素坐标；
13.根据整个航拍图像的像素尺寸，获得第一边界点与第二边界点的像素坐标；其中，所述第一边界点与所述图像中心点第一方向上的距离为0，所述第二边界点与所述图像中心点第二方向上的距离为0，其中，所述第一方向与第二方向相互垂直且均为水平方向。
14.进一步的，上述目标视觉识别定位及呈现方法，其中，所述以航拍设备与被标识后的航拍图像建立第二坐标系，根据航拍设备的航向角信息、相对地面高度、地理坐标获取目标物体的地理坐标，具体包括：
15.根据所述目标物体与图像中心点的地理横坐标之差的绝对值、所述第一边界点与图像中心点地理横坐标之差的绝对值、航拍图像中目标物体与图像中心点第一方向上的距离，以及航拍图像中第一边界点与图像中心点第一方向上的距离之间的比例关系，建立第一方程式；
16.根据所述目标物体与图像中心点的像素横坐标之差的绝对值、所述第一边界点与图像中心点像素横坐标之差的绝对值、航拍图像中目标物体与图像中心点第一方向上的距离，以及航拍图像中第一边界点与图像中心点第一方向上的距离之间的比例关系，建立第二方程式；
17.根据图像中心点的地理横坐标、第一边界点的地理横坐标、航拍图像中第一边界点与图像中心点第一方向上的距离以及航拍设备在第一方向上的第一航向角之间的关系，建立第三方程式；
18.根据航拍设备到图像中心点的距离、所述第一航向角、以及航拍图像中第一边界点与图像中心点第一方向上的距离之间的三角关系，建立第四方程式；
19.根据上述第一方程式、第二方程式、第三方程式、以及第四方程式建立第一方程组，求解目标物体的地理横坐标。
20.进一步的，上述目标视觉识别定位及呈现方法，其中，所述以航拍设备与被标识后的航拍图像建立第二坐标系，根据航拍设备的航向角信息、相对地面高度、地理坐标获取目标物体的地理坐标，还包括：
21.根据所述目标物体与图像中心点的地理纵坐标之差的绝对值、所述第二边界点与图像中心点地理纵坐标之差的绝对值、航拍图像中目标物体与图像中心点第二方向上的距离，以及航拍图像中第二边界点与图像中心点第二方向上的距离之间的比例关系，建立第五方程式；
22.根据所述目标物体与图像中心点的像素纵坐标之差的绝对值、所述第二边界点与图像中心点像素纵坐标之差的绝对值、航拍图像中目标物体与图像中心点第二方向上的距离，以及航拍图像中第二边界点与图像中心点第二方向上的距离之间的比例关系，建立第六方程式；
23.根据图像中心点的地理纵坐标、第二边界点的地理纵坐标、航拍图像中第二边界点与图像中心点第二方向上的距离以及航拍设备在第二方向上的第二航向角之间的关系，建立第七方程式；
24.根据航拍设备到图像中心点的距离、所述第二航向角、以及航拍图像中第二边界点与图像中心点第二方向上的距离之间的三角关系，建立第八方程式；
25.根据上述第五方程式、第六方程式、第七方程式、以及第八方程式建立第二方程组，求解目标物体的地理纵坐标。
26.进一步的，上述目标视觉识别定位及呈现方法，所述将旋转后的航拍图片输入至训练后的目标检测模型中，得到目标物体被标识后的航拍图像，具体包括：
27.将航拍图片不同分辨率的特征图输入通道注意力模块与空间注意力模块，沿着通道和空间两个不同的维度依次计算每个所述特征图的注意力权重并进行自适应特征细化，输出所有特征细化后的特征图。
28.进一步的，上述目标视觉识别定位及呈现方法，所述将旋转后的航拍图片输入至训练后的目标检测模型中，得到被标识后的目标物体图像，还包括：
29.在所述特征细化后的特征图中选择相邻的浅层特征图与深层特征图进行特征融合，并通过非线性操作和卷积操作对融合后的特征图进行整合后标识目标物体。
30.进一步的，上述目标视觉识别定位及呈现方法，所述目标检测模型基于交叉熵损失函数进行交替训练，所述交叉损失函数定义如下式：
31.l(p
t
)＝-α(1-p
t
)γlog(p
t
)
32.其中可调参数γ≥0，α为权重因子，p
t
定义为式为：
[0033][0034]
其中,p表示标识出的图像内容为目标物体的概率；
[0035]
通过调整可调参数γ的大小，增大对困难样本的权重，以提高检测性能。
[0036]
按照本发明的第二个方面，还提供了一种目标识别定位及呈现装置，其包括：
[0037]
图像获取模块，用于获取航拍图像，并根据航拍设备的航向角信息将航拍图像旋转，使航拍图像方向与地理地图方向相同；
[0038]
目标识别模块，建立目标检测模型，将所述旋转后的航拍图片输入至训练后的目标检测模型中，得到目标物体被标识后的航拍图像；
[0039]
目标定位模块，在所述被标识后的航拍图像中建立第一坐标系，根据相机参数获取目标物体的像素位置；以航拍设备与被标识后的航拍图像建立第二坐标系，根据航拍设备的航向角信息、相对地面高度、地理坐标获取目标物体的地理坐标；
[0040]
误差评估模块，根据所述目标物体的地理坐标，在预先生成的航拍地域三维数字地形上对定位目标进行可视化标注呈现。
[0041]
按照本发明的第三个方面，还提供了一种目标识别定位及呈现设备，其包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行上述任一项所述方法的步骤。
[0042]
按照本发明的第四个方面，还提供了一种存储介质，其存储有可由目标视觉识别定位及呈现设备执行的计算机程序，当所述计算机程序在目标视觉识别定位及呈现设备上运行时，使得所述目标视觉识别定位及呈现设备执行上述任一项所述方法的步骤。
[0043]
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0044]
(1)本发明提供的一种目标识别定位及呈现方法、装置、设备及存储介质，通过对被标识的航拍图片与航拍设备建立坐标系，根据目标物体相对于航拍图像中心点的距离，结合航拍图像中心点的地理坐标以及利用图像像素坐标与实际地理坐标之间的关系，计算出目标物体的地理坐标，该计算方式利用了目标物体的像素信息，将目标检测像素坐标转换为物理世界经纬度坐标，效率较高，大大提升了目标定位的精确度；
[0045]
(2)本发明提供的一种目标识别定位及呈现方法、装置、设备及存储介质，将相邻层特征融合为浅层小目标提供有效的上下文信息，并采用改进的交叉熵损失函数交替训练优化平衡策略解决样本不均衡的问题，提高了目标检测识别模型的map(平均精度均值)指标；
[0046]
(3)本发明提供的一种目标识别定位及呈现方法、装置、设备及存储介质，借助航拍区域的三维数字地形，实现了对目标定位结果经纬度坐标的可视化标注、呈现和坐标误差测量，能够结合地表关键参照物对目标定位误差进行可视化度量读取，进行直观分析。
附图说明
[0047]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048]
图1为本技术实施例提供的一种目标识别定位及呈现方法的流程示意图；
[0049]
图2为本技术实施例提供的通道注意力模块与空间注意力模块结构示意图；
[0050]
图3为本技术实施例提供的相邻层特征融合流程示意图；
[0051]
图4为本技术实施例提供的目标物体坐标示意图。
具体实施方式
[0052]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0053]
本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0054]
一方面，本技术提供一种目标识别定位及呈现方法，图1为本技术实施例提供的一种目标识别定位及呈现方法的流程示意图，请参阅图1，该方法包括以下步骤：
[0055]
(1)获取航拍图像，根据航拍设备的航向角信息将航拍图像旋转，使航拍图像方向与地理地图方向相同；
[0056]
具体地，航拍设备正射采集的航拍图像经过图像预处理操作之后，需要结合航拍设备拍摄时刻的航向角信息，即航拍设备与地理北方的夹角信息，对图像按照航向角进行顺时针旋转，使得图像的北方与地理地图北方方向重合，即使图像第二方向上边界与南北
方向平行。
[0057]
(2)建立目标检测模型，将所述旋转后的航拍图片输入至训练后的目标检测模型中，得到目标物体被标识后的航拍图像；
[0058]
具体地，图2为本技术实施例提供的通道注意力模块与空间注意力模块结构示意图。请参阅图2，通道注意力模块采用通道注意力机制，用于计算输入图像各个通道的权重，增强或抑制不同通道的权重；空间注意力模块采用空间注意力机制，是对通道注意力的补充，用于基于通道的方向加重注意力权重。
[0059]
首先，将航拍图片不同分辨率的特征图输入至通道注意力模块中，通道注意力机制将输入特征图的空间维度通过squeeze操作进行特征压缩，再通过excitation操作对每个特征生成权重，将该权重应用于原来的每个特征通道，学习不同通道的重要性，增强或抑制不同通道的权重；再将通过通道注意力模块后的特征图输入空间注意力模块，空间注意力机制基于通道的方向加重注意力权重，得到特征细化后的特征图。
[0060]
进一步地，在所有特征细化后的特征图中选择浅层特征图与含有上下文信息的相邻深层特征图进行融合，并通过非线性操作和卷积操作对融合后的特征图进行整合后标识目标物体。
[0061]
具体地，图3为本技术实施例提供的相邻层特征融合流程示意图。请参阅图3，首先，将深层特征图fn经过2
×
2的反卷积操作进行特征学习得到f'n，此时特征图f'n的尺度为深层特征图fn的2倍，与要融合的浅层特征图f
n-1
尺度相同；再将相邻的浅层特征图f
n-1
经过3
×
3的卷积操作后再通过relu非线性操作层进行特征整合得到特征图f'
n-1
；最后，将尺度大小和通道维数都相同的特征图f'n和f'
n-1
进行点对点相加实现特征融合，将相加后的结果再经过一个relu非线性操作层和一个3
×
3的卷积层对融合后的特征进行整合得到预测层p
n-1
。其中，n≥1，且为自然数，表示特征图的层数。
[0062]
相邻层特征融合模块(adjacent connection module,acm)选择相邻两层特征进行融合，在提取更抽象语义特征的同时，将浅层特征和深层特征整合到同一个特征域下，能够避免多层连接带来感受野太大引入背景干扰的问题，为小目标提供有效的上下文信息，增强无人机视角下目标的特征表示，融合后的特征对目标检测起到积极的作用。
[0063]
通常的目标检测网络是采用的是交叉熵损失函数完成分类任务，而该损失函数对所有样本的权重都是相同的，也就是每个样本对整体损失的贡献是一样的。但由于无人机车辆数据集中存在着严重的样本不均衡问题，这就使得大量简单样本的损失累加对整体损失的贡献非常大，而少量的困难样本对整体损失的贡献就显得微乎其微了，这样导致网络很难提取到判别性特征。
[0064]
针对此问题，本技术设置了基于改进的交叉熵损失函数进行交替训练，其中，改进的交叉熵损失函数设置调制因子(1-p
t
)γ，使得每个样本能够根据分类预测概率p
t
的大小自动调整对整体损失函数的贡献，即该调节因子可以自动降低简单样本对损失函数的贡献，提升困难样本的权重使得网络能够在训练过程中更加专注于困难样本的训练，在一定程度上改善样本不均衡问题。
[0065]
改进的交叉熵损失函数的定义如式(1)，
[0066]
l(p
t
)＝-α(1-p
t
)γlog(p
t
)
ꢀꢀ
(1)
[0067]
其中可调参数γ≥0，α为权重因子，p
t
定义如式(2)，
[0068][0069]
其中，p表示标识出的图像内容为目标物体的概率。
[0070]
当γ不断增大时，容易分类样本(概率较大的样本或简单样本)的损失值越来越小而难以分类样本(概率较小的样本或困难样本)的损失值却越来越大，因此网络就可以降低简单样本对损失函数的贡献，增大困难样本的权重，使得网络能够更加专注于困难样本的训练。
[0071]
在第一阶段，采用交叉熵损失函数对网络进行初步的迭代训练，学习整体样本特征分布，简单样本在此阶段可以获得判别式特征表示，这样使得困难样本可以借助简单样本卡的特征表示，提升自身的判别性特征。
[0072]
在第二阶段，利用调制因子(1-p
t
)γ增加困难样本大卡车的权重，使困难样本受到更多的关注从而得到充分的训练。通过该交替训练策略，可以提高无人机车辆目标检测的性能。
[0073]
(3)在被标识后的航拍图像中建立第一坐标系，根据相机参数获取目标物体的像素位置；
[0074]
具体地，图4为本技术实施例提供的目标物体坐标示意图。请参阅图4，根据相机参数，获得整个航拍图像的像素尺寸(xw,yh)，图像中心点的像素坐标为(xc,yc)，目标物体的像素坐标为(x
t
,y
t
)，第一边界点的像素坐标为(xw,yh/2)，第二边界点的像素坐标为(xw/2,yh)；其中，第一边界点与图像中心点之间第一方向上的距离为dh，第二方向上的距离为0，第二边界点与图像中心点之间第二方向上的距离为dw，第一方向上的距离为0，目标物体与图像中心点之间第一方向上的距离为d
yc
，目标物体与图像中心点之间第二方向上的距离为d
xc
。第一方向为第一坐标系的x轴所在的方向，为地理的南北走向，第二方向为第二坐标系的y轴所在的方向，为地理的东西走向。
[0075]
(4)以航拍设备与被标识后的航拍图像建立第二坐标系，根据航拍设备的航向角信息、相对地面高度、地理坐标获取目标物体的地理坐标；
[0076]
根据目标物体与图像中心点的地理横坐标之差的绝对值、第一边界点与图像中心点地理横坐标之差的绝对值、航拍图像中目标物体与图像中心点第一方向上的距离，以及航拍图像中第一边界点与图像中心点第一方向上的距离之间的比例关系，建立第一方程式；根据目标物体与图像中心点的像素横坐标之差的绝对值、第一边界点与图像中心点像素横坐标之差的绝对值、航拍图像中目标物体与图像中心点第一方向上的距离，以及航拍图像中第一边界点与图像中心点第一方向上的距离之间的比例关系，建立第二方程式；根据图像中心点的地理横坐标、第一边界点的地理横坐标、航拍图像中第一边界点与图像中心点第一方向上的距离以及航拍设备在所述第二坐标系的横坐标方向的第一航向角之间的关系，建立第三方程式；根据航拍设备到图像中心点第一方向上的距离、所述第一航向角、以及航拍图像中第一边界点与图像中心点第一方向上的距离之间的三角关系，建立第四方程式；根据上述第一方程式、第二方程式、第三方程式、以及第四方程式建立第一方程组，求解目标物体的地理横坐标。
[0077]
根据目标物体与图像中心点的地理纵坐标之差的绝对值、第二边界点与图像中心
点地理纵坐标之差的绝对值、航拍图像中目标物体与图像中心点第二方向上的距离，以及航拍图像中第一边界点与图像中心点第二方向上的距离之间的比例关系，建立第五方程式；根据目标物体与图像中心点的像素纵坐标之差的绝对值、第二边界点与图像中心点像素纵坐标之差的绝对值、航拍图像中目标物体与图像中心点第二方向上的距离，以及航拍图像中第二边界点与图像中心点第二方向上的距离之间的比例关系，建立第六方程式；根据图像中心点的地理纵坐标、第二边界点的地理纵坐标、航拍图像中第二边界点与图像中心点第二方向上的距离以及航拍设备在所述第二坐标系的纵坐标方向的第二航向角之间的关系，建立第七方程式；根据航拍设备到图像中心点第一方向上的距离、所述第二航向角、以及航拍图像中第二边界点与图像中心点第二方向上的距离之间的三角关系，建立第八方程式；根据上述第五方程式、第六方程式、第七方程式、以及第八方程式建立第二方程组，求解目标物体的地理纵坐标。
[0078]
具体地，设置图像中心点的地理坐标为(νc,εc)，目标物体的地理坐标为(ν
x
,εy)，第一边界点的地理坐标为(νb,εb)，第二边界点的地理坐标为(νd,εd)；其中，航拍设备的正投影恰好落在图像中心点上，且航拍设备到图像中心点之间的距离为h，所述正投影线和航拍设备与第一边界点连线之间的夹角为第一航向角α，所述正投影线和航拍设备与第而二边界点连线之间的夹角为第二航向角β。
[0079]
并且，在物理世界中每间隔1公里，沿经线(南北方向)，经度不变，纬度变化约1/111度(111单位为km)，沿纬线(东西方向)，纬度为θ时，纬度不变，经度变化约1/(111*cosθ)度。所以，该问题可转换为，根据所有的这些已知条件，求解目标的地理经纬度坐标(ν
x
,εy)问题。并且，此处的经纬度为中国区域的经纬度，即东经e和北纬n，下面将对旋转处理后的图像根据目标物体与图像中心点的相对位置，分四种情况进行讨论，求解目标物体的经纬度坐标。
[0080]
在旋转处理后的图像中，当目标物体在图像中心点右下方区域时，根据图像像素坐标与地理坐标之间的比例关系，得到如下方程式(3)-(6)，
[0081][0082][0083][0084]dh
＝htanα
ꢀꢀ
(6)
[0085]
根据方程式(3)-(6)求解得出目标物体的地理纬度坐标n
x
，如式(7)所示，
[0086][0087]
同理，可以得到如下方程式(8)-(10)，
[0088]
[0089][0090][0091]dw
＝htanβ
ꢀꢀ
(11)
[0092]
根据方程式(8)-(11)计算得出目标物体的地理经度坐标εy，如式(12)所示，
[0093][0094]
最终得到目标物体的地理经纬度坐标(ν
x
,εy)如式(13)所示
[0095][0096]
同理，在旋转处理后的图像中，当目标物体在图像中心点右上方区域时，得到目标物体的地理经纬度坐标如式(14)所示，
[0097][0098]
在旋转处理后的图像中，当目标物体在图像中心点左下方区域时，得到目标物体的地理经纬度坐标如式(15)所示，
[0099][0100]
在旋转处理后的图像中，当目标物体在图像中心点左上方区域时，得到目标物体的地理坐标如式(16)所示，
[0101][0102]
综上，目标物体的经纬度坐标可表示为式(17)，
[0103][0104]
(5)根据所述目标物体的地理坐标，在预先生成的航拍地域三维数字地形上对定位目标进行可视化标注呈现，结合所述旋转后的航拍图片和三维数字地图上的关键地貌参
照物，测量目标定位的实际误差。
[0105]
在一个具体的实施例中，对目标检测结果置信度为0.78的车辆目标进行识别并定位标注，得出定位误差为约10米，可以满足诸如光缆线路巡检等大部分行业领域的固定翼无人机航拍目标定位精度要求。
[0106]
另一方面，本技术还提供一种目标识别定位及呈现装置，该装置包括图像获取模块、目标识别模块、目标定位模块和误差评估模块。
[0107]
其中，图像获取模块用于将航拍设备正射采集的航拍图像进行图像预处理操作之后，对图像按照航向角进行顺时针旋转，使得航拍图像方向与地理地图方向相同，即图像的北方与地理地图北方方向重合，图像的垂直边界与南北方向平行。
[0108]
目标识别模块，将上述旋转后的航拍图片输入目标识别模块中，经过特征图细化、特征融合等操作后，对图像中目标物体进行标识；
[0109]
目标识别模块包括空间与通道双注意力模块与特征融合模块。在航拍设备拍摄的图像中，由于覆盖区域的过大，总是包含具有迷惑性的地理要素与易混淆的非目标。利用通道与空间双注意力模块可以提取人重点关注的区域，抵抗具有迷惑性的信息，聚焦于有用的目标。通道与空间双注意力模块是一个简单有效，且轻量级的模块，将其集成到卷积神经网络中，可以提取特征图中重点区域，并且可以以端到端的方式进行训练。特征融合模块选择相邻两层特征进行融合，从而避免多层连接带来感受野太大引入背景干扰的问题，为小目标提供有效的上下文信息，增强无人机视角下车辆弱小目标的特征表示。
[0110]
目标定位模块，根据目标物体相对于航拍图像中心点的距离，结合航拍图像中心点的地理坐标以及利用图像像素坐标与实际地理坐标之间的关系建立多个方程组，对目标物体的地理坐标进行求解；
[0111]
误差评估模块，根据目标物体的地理坐标，在预先生成的航拍地域三维数字地形上对定位目标进行可视化标注呈现，结合旋转后的航拍图片和三维数字地图上的关键地貌参照物，测量目标定位的实际误差。
[0112]
本技术还提供了一种目标识别定位及呈现设备，其包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行上述目标视觉识别定位及呈现方法的步骤。
[0113]
本技术还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、dvd、cd-rom、微型驱动器以及磁光盘、rom、ram、eprom、eeprom、dram、vram、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器ic)，或适合于存储指令和/或数据的任何类型的媒介或设备。
[0114]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0115]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0116]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0117]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0118]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0119]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0120]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
[0121]
以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。
[0122]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0123]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。