一种图像检测方法及相关装置与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像检测方法及相关装置。


背景技术：

2.随着机器学习技术的快速发展以及计算能力的极速提高，基于深度学习的计算机视觉算法广泛地运用到视频监控、智能驾驶等任务中，极大地提高了摄像头对环境的感知能力。
3.然而在真实场景中，各种各样的视频的采集设备会面临各种复杂环境，尤其是下雨、下雪天、夜晚、雾霾等环境，rgb图像上的目标可辩识度低，特征不明显，各种传感器也会受到很大的影响，此时由具有特定特征的图像数据训练得到的深度学习模型将不能很好地识别出低辨识目标，摄像头将严重“失明”，将带来极大的安全隐患。
4.研究表明，多模态图像数据的融合有助于提高在某些复杂应用场景下目标检测等视觉算法的性能，在很多情况下其他模态的传感器信息对传统的单目rgb相机具有很好的信息补种作用。


技术实现要素：

5.本技术主要解决的技术问题是提供一种图像检测方法及相关装置，以提高复杂环境下对低辨识目标的检测和识别性能。
6.为了解决上述技术问题，本技术提供一种图像检测方法，包括：获取到包括待检测目标的多模态图像；利用多模态目标检测网络对多模态图像进行特征提取以及特征融合，得到待检测目标的融合特征；基于融合特征对待检测目标进行识别。
7.其中，利用多模态目标检测网络的特征提取网络对多模态图像进行特征提取以及特征融合，得到待检测目标的融合特征的步骤，包括：利用多模态目标检测网络对多模态图像分别进行特征提取；将提取的多模态图像的特征进行融合，得到融合特征。
8.其中，将提取的多模态图像的特征进行融合，得到融合特征的步骤，包括：利用多模态目标检测网络的矩阵串接函数对多模态图像的特征进行特征融合，并进行降维处理，得到融合特征。
9.其中，利用多模态目标检测网络对多模态图像进行特征提取以及特征融合，得到待检测目标的融合特征的步骤，包括：利用多模态目标检测网络的第一子卷积网络、第二子卷积网络、第三子卷积网络、第四子卷积网络以及第五卷积网络依次对多模态图像的特征进行特征提取，得到多模态图像的特征图；利用多模态目标检测网络的矩阵串接函数对特征图进行特征融合，得到融合图；利用多模态目标检测网络的卷积核对融合图进行降维特征提取，得到融合特征。
10.其中，将提取的多模态图像的特征进行融合，得到融合特征的步骤，包括：将提取的多模态图像的特征进行融合，得到多模态图像的融合图；对融合图进行高层语义特征提取，得到融合特征。
11.其中，将提取的多模态图像的特征进行融合，得到多模态图像的融合图的步骤，包括：利用多模态目标检测网络的第一子卷积网络对多模态图像进行特征提取，得到多模态图像的特征图；利用多模态目标检测网络的矩阵串接函数对特征图进行特征融合，得到融合图；利用多模态目标检测网络卷积核对融合图进行降维特征提取，得到降维后的融合图；对融合图进行高层语义特征提取，得到融合特征的步骤，包括：利用多模态目标检测网络的第二子卷积网络、第三子卷积网络、第四子卷积网络以及第五子卷积网络依次对降维后的融合图进行特征提取，得到融合特征。
12.其中，利用多模态目标检测网络对多模态图像进行特征提取以及特征融合，得到待检测目标的融合特征的步骤，包括：在特征提取网络之前利用多模态目标检测网络的矩阵串接函数对多模态图像的特征进行融合；利用卷积核对融合后的多模态图像进行降维，得到堆叠特征图；利用特征提取网络对堆叠特征图进行高层语义特征提取，得到融合特征。
13.其中，获取到包括待检测目标的多模态图像的步骤，包括：对获得的初始图像进行配准，得到同一时间具有相同视角和重叠区域的多模态图像。
14.其中，基于融合特征对待检测目标进行识别的步骤，包括：利用多模态目标检测网络的区域生成网络、感兴趣区域池化网络以及全连接层网络对融合特征进行分类和边界框回归处理，得到待检测目标。
15.其中，多模态目标检测网络还包括faster r
‑
cnn目标检测算法。
16.其中，多模态图像包括彩色图像、红外图像以及偏振图像；彩色图像由彩色相机获取，红外图像由红外相机获取，偏振图像由偏振相机获取；其中，彩色相机、红外相机与偏振相机由固定装置固定在同一垂直平面内，以使彩色相机、红外相机以及偏振相机的拍摄轴线在同一垂直平面内。
17.其中，利用多模态目标检测网络对多模态图像进行特征提取以及特征融合，得到待检测目标的融合特征的步骤之前，还包括：获取多模态图像数据集、初始模型以及目标图像；利用初始模型分别对多模态图像数据集中的待检测目标进行识别，得到待检测目标图像；利用目标图像和待检测目标图像对初始模型进行训练，并将训练完成后的模型确定为多模态目标检测网络。
18.其中，利用多模态目标检测网络对多模态图像进行特征提取以及特征融合，得到待检测目标的融合特征的步骤，包括：利用多模态目标检测网络的矩阵串接函数对多模态图像的通道进行矩阵串接。
19.本技术还提供一种终端，用于识别多模态图像中的待检测目标，该终端包括相互耦接的处理器和存储器，存储器用于存储程序指令，处理器用于执行存储器存储的程序指令以实现上述任一项实施方式的图像检测方法。
20.本技术还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，用于实现上述任一实施方式的图像检测方法。
21.本技术的有益效果是：通过多模态图像检测装置获取包括待检测目标的多模态图像，通过多模态目标检测网络对多模态图像进行特征提取以及特征融合，得到待检测目标的融合特征，并基于融合特征对待检测目标进行识别，从而提高了复杂环境下相机对低辨识目标的检测和识别性能。
附图说明
22.图1是本技术图像检测方法一实施方式的流程示意图；
23.图2为本技术三模态传感器图像采集装置一实施方式的结构示意图；
24.图3为本技术三模态特征提取网络一实施方式的结构示意图；
25.图4为本技术多模态图像检测方法的第一实施方式的流程示意图；
26.图5为本技术三模态目标检测网络第一实施方式的结构示意图；
27.图6为本技术多模态图像检测方法的第一实施方式的流程示意图；
28.图7为本技术三模态目标检测网络第二实施方式的结构示意图；
29.图8为本技术多模态图像检测方法的第三实施方式的流程示意图；
30.图9为本技术三模态目标检测网络第三实施方式的结构示意图；
31.图10为本技术中终端一实施方式的结构示意图；
32.图11为本技术计算机可读存储介质一实施方式的结构示意图。
具体实施方式
33.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
34.本技术提供一种图像检测方法，以获取图像中的待检测目标，具体请参阅图1，图1为本技术图像检测方法一实施方式的流程示意图。如图1所示，图像检测方法包括：
35.步骤s11：获取到包括待检测目标的多模态图像；
36.其中，多模态图像包括通过不同成像方式生成的图像。在本实施例中，多模态图像包括彩色图像、红外图像、偏振图像，在其他实施例中还可以包括其它模态的图像。其中，彩色图像、红外图像以及偏振图像均包括待检测目标。
37.其中，获取到多模态图像的步骤还包括：对获得的初始图像进行配准处理，以得到相同视角和重叠区域的多模态图像。
38.其中，多模态图像中的彩色图像由彩色相机获取，红外图像由红外相机获取，偏振图像由偏振相机获取。
39.在本实施例中，为了获得成对的彩色图像、红外图像以及偏振图像，还提供一种三模态传感器图像采集装置，请进一步参阅图2，图2为本技术三模态传感器图像采集装置一实施方式的结构示意图。如图2所示，该采集装置使用自制的铝合金架固定装置4将rgb相机1、红外相机2和偏振相机3搭载在一起，以三台设备的拍摄轴线定位，保证其拍摄轴线在同一垂直平面内。其中固定装置4可以如图2所示，也可以是其它形状，在此不作限定。在本实施例中，还包括对彩色图像、红外图像和偏振图像进行配准操作，使该三模态传感器图像采集装置可以实时获取同一时间具有相同视角和重叠区域的三模态图像。
40.步骤s12：利用多模态目标检测网络对多模态图像进行特征提取以及特征融合，得到待检测目标的融合特征。
41.具体地，基于faster r
‑
cnn目标检测算法，设计多个通道的深度卷积特征提取神经网络融合多模态图像的特征，具体地，选取vgg
‑
16作为骨干特征提取网络。在本实施例
中，多模态目标检测网络包括faster r
‑
cnn目标检测算法，faster r
‑
cnn目标检测算法包括vgg
‑
16特征提取网络以及矩阵串接函数。具体地，利用vgg
‑
16对多模态图像进行特征提取，利用矩阵串接函数对多模态图像进行特征融合。
42.其中，特征提取网络vgg
‑
16包括第一子卷积网络1、第二子卷积网络2、第三子卷积网络3、第四子卷积网络4以及第五子卷积网络5，具体请参阅图3，图3为本技术特征提取网络一实施方式的结构示意图。如图3所示，第二子卷积网络21连接第一子卷积网络，用于提取第一子卷积网络1输出的图像的特征；第三子卷积网络3连接第二子卷积网络2，用于提取第二子卷积网络2输出的图像的特征；第四子卷积网络4连接第三子卷积网络3，用于提取第三子卷积网络3输出的图像的特征；第五子卷积网络5连接第四子卷积网络4，用于提取第四子卷积网络4输出的图像的特征。其中，每个子卷积网路还包括串接层a、卷积层b、池化层c。具体地，经过第一子卷积网络处理后的图像为64维度的图像，经过第二子卷积网路处理后的图像为128维度的图像，经过第三子卷积网络处理后的图像为256维度的图像，经过第四子卷积网络处理后的图像为512维度的图像，其中，由于数据集中存在很多远距离拍摄分辨率较低的目标，像素信息较少，为了提高此类目标的检测，去除了特征提取网络的最后一个池化层，提升高层特征的分辨率，保留更多图片的细节，防止下采样过度造成小目标特征丢失。因此，经过第五子卷积网路处理后的图像的维度不变，还为512维度的图像。
43.在本实施例中，特征提取网络vgg
‑
16还包括彩色、红外、偏振等三个子网络，每个彩色子网络、红外子网络以及偏振子网络均包括第一子卷积网络1、第二子卷积网络2、第三子卷积网络3、第四子卷积网络4以及第五子卷积网络5，在其它实施例中，可根据多模态图像的个数设计多个模态的子网络，在此不作限定。具体地，将配准好的彩色图像、偏振图像以及红外图像输入到多模态目标检测网络中提取不同模态图像的特征。具体请进一步参阅图3，图3为本技术三模态特征提取网络一实施方式的结构示意图。如图3所示：三模态目标检测网络包括三个子网络(彩色子网络、红外子网络以及偏振子网络)，每个子网络包括五个子卷积网路conv1
‑
conv5，在本实施例中，分别将步骤s11获得的彩色图像、偏振图像、红外图像输入至特征提取网络vgg
‑
16中进行特征提取，具体地，图像经过第一子卷积网络进行压缩处理后，得到64层像素(维度)的图像，再经过第二子卷积网络处理得到128层像素(维度)的图像，再经过第三子卷积网络处理得到256层像素(维度)的图像，经过第四子卷积网络处理得到512层像素(维度)的图像，经过第五子卷积网络将图像进行特征提取处理得到512层像素(维度)的图像的特征。
44.其中，矩阵串接函数的公式如下：f＝f(m1,m2,m3)，其中，m1为彩色图像或者彩色图像特征矩阵，维度为(b,c,h,w)；m2为红外图像或者红外图像特征矩阵，维度为(b,c,h,w)；m3为偏振图像或者偏振图像特征矩阵，维度为(b,c,h,w)。其中，b为每次送入三模态目标检测网络训练的多模态图像对的对数，c为图像或者图像特征矩阵的通道数，h，w分别为图像或者图像特征矩阵的高度和宽度。经过矩阵串接函数得到f矩阵的维度为(b,3c,h,w)。在本实施例中，通过矩阵串接函数将三模态图像或者特征矩阵在通道数这个维度上进行了矩阵的串接，得到通道数为原来3倍的图像特征矩阵。然后，利用1
×
1的卷积核对该图像特征矩阵进行降维处理，得到堆叠特征图。
45.在本实施例中，通过在整个多模态目标检测算法的不同阶段通过矩阵串接函数和1
×
1的卷积核将彩色、偏振、红外模态的特征进行融合和通道数的降维处理，得到融合后的
多模态特征图；然后将融合后的多模态特征图继续通过多模态目标检测算法的卷积神经网络进行高层语义特征的提取。
46.本技术根据融合的不同阶段具体对以下三种卷积操作进行具体描述。
47.在第一实施方式中，利用矩阵串接函数在多模态目标检测网络的第四个卷积块或者第五个卷积块之后对多模态图像进行特征融合，下面对在多模态目标检测网络的第五个卷积块之后对多模态图像进行特征融合的技术方案进行具体阐述。具体地，请参阅图4，图4为本技术多模态图像检测方法的第一实施方式的流程示意图。如图4所示，包括：
48.步骤s41：利用多模态目标检测网络的特征提取网络对多模态图像分别进行特征提取。
49.具体地，选取vgg
‑
16作为骨干特征提取网络。利用vgg
‑
16的三个子网络分别对多模态图像进行四次卷积处理，得到512维度的多模态图像(包括512维度的彩色图像、512维度红外图像和512维度偏振图像)，然后进行特征融合。
50.步骤s42：将提取的多模态图像的特征进行融合，得到融合特征。
51.具体地，利用多模态目标检测网络的矩阵串接函数对多模态图像的特征进行特征融合，并进行降维处理，得到融合特征。
52.利用矩阵串接函数将512维度的多模态图像在通道数这个维度上进行堆叠得到1536维度的堆叠特征图。然后通过1
×
1的卷积核对1536维度的堆叠特征图进行降维处理得到512维度的融合特征。
53.在本实施例中，采用在vgg
‑
16的后期对不同模态的特征图进行特征级的融合，能够有效地降低前期对不同模态图像进行像素级配准所带来的对齐误差产生的不利影响。
54.为了更清晰地说明上述技术方案，请进一步参阅图5，图5为本技术三模态目标检测网络第一实施方式的结构示意图。如图5所示：
55.具体地，分别将经过配准后的偏振图像、红外图像和彩色图像输入至偏振子网络、红外子网络和彩色子网络中，如图中虚线框所示，虚线框内为三个通道的vgg
‑
16特征提取网络，通过三个通道的vgg
‑
16特征提取网络分别提取偏振图像特征、红外图像特征和彩色图像特征。具体地，经过五次子卷积网络处理后得到512层像素的偏振图像特征图、红外图像特征图和彩色图像特征图。然后，利用矩阵串接函数将原来的512层像素的偏振图像特征图、红外图像特征图和彩色图像特征图在通道数上进行堆叠得到1536层像素的堆叠特征图。之后，再通过1
×
1的卷积核将融合的1536维度的堆叠特征图降低到512维的堆叠特征图。最后，再通过去除了池化层的第五层卷积层进行特征提取处理，得到512维度的融合特征。
56.之后，沿用faster r
‑
cnn网络中各个部分的损失函数，将融合后的融合特征的参数继续经过faster r
‑
cnn网络中的rpn层(区域生成网络)、roi池化层(感兴趣区域池化网络)以及全连接层进行模型训练，将三个模态的信息逐层传递进行最后的分类和边界框回归处理，得到目标图像。
57.在第二实施方式中，利用矩阵串接函数在多模态目标检测网络的前期对多模态图像进行特征融合。下面对在多模态目标检测网络的第一个卷积块之后对多模态图像进行特征融合的技术方案进行具体阐述。具体地，请参阅图6，图6为本技术多模态图像检测方法的第二实施方式的流程示意图。如图6所示，包括：
58.步骤s61：利用多模态目标检测网络的特征提取网络对多模态图像分别进行特征提取。
59.具体地，基于faster r
‑
cnn目标检测算法，设计三个通道的深度卷积特征提取神经网络融合红外图像、偏振图像和彩色图像的特征，选取vgg
‑
16作为骨干特征提取网络。其中，vgg
‑
16包括五个子卷积网络。在本实施例中，通过第一个子卷积网络分别对多模态图像进行特征提取，得到的64维度的彩色图像特征图、红外图像特征图以及偏振图像特征图。
60.步骤s62：将提取的多模态图像的特征进行融合，得到多模态图像的融合图。
61.具体地，利用多模态目标检测网络的矩阵串接函数对多模态图像的特征进行特征融合，并进行降维处理，得到64维度的融合图。
62.具体地，利用矩阵串接函数将上述步骤s61得到的64维度的彩色图像特征图、红外图像特征图以及偏振图像特征图在通道数这个维度上进行串接，得到192维度的融合图，再通过1
×
1的卷积核将融合的192维度的堆叠特征图降低到64维度的融合图。
63.步骤s63：对堆叠特征图进行高层语义特征提取，得到融合特征。
64.具体地，利用特征提取网络vgg
‑
16的第二、第三、第四以及第五子卷积网络依次对64维度的堆叠特征图进行高层语义特征提取，得到512维度的融合特征。
65.其中，请进一步参阅图7，图7为本技术三模态目标检测网络第二实施方式的结构示意图。如图7所示，将偏振图像、红外图像以及彩色图像分别输入至偏振子网络、红外子网络以及彩色子网络的第一子卷积网络进行处理得到64维度的图像。然后，利用矩阵串接函数将64维度的偏振图像特征图、红外图像特征图和彩色图像特征图在通道数上进行堆叠得到192维度的融合图。再通过1
×
1的卷积核将融合的192维度的融合图降低到64维的第一多模态特征图。之后，再将64维度的第一多模态特征图经过第二子卷积网络进行特征提取得到128维度的特征图，经过第三子卷积网络处理得到256维度的特征图，经过第四子卷积网络以及第五子卷积网络处理得到512维度的融合特征。最后，沿用faster r
‑
cnn网络中各个部分的损失函数，将融合后的融合特征的参数继续经过faster r
‑
cnn网络中的rpn层、roi池化层以及全连接层进行模型训练，将三个模态的信息逐层传递进行最后的分类和边界框回归处理，得到目标图像。
66.在本实施例中，充分考虑到算法的实时性和工程落地的可行性，通过在特征提取网络vgg
‑
16的不同子卷积网络将不同模态的图像进行特征融合，保证三模态目标检测算法检测性能的同时，极大地减少了模型的计算量。
67.在第三实施方式中，利用矩阵串接函数在多模态目标检测网络的第一子卷积网络之前对多模态图像进行特征融合，具体地，请参阅图8，图8为本技术多模态图像检测方法的第三实施方式的流程示意图。如图8所示，包括：
68.步骤s81：利用多模态目标检测网络的矩阵串接函数对多模态图像的特征进行融合。
69.具体地，将配准后的大小相同的三模态图像对(彩色、红外、偏振图像)在最后一个通道上通过矩阵串接函数f进行串接，将三个三通道(r、g、b)的图像变为9通道的串接图。其中，初始的多模态图像为32维度的3通道图像。
70.步骤s82：利用卷积核对融合后的多模态图像进行降维，得到堆叠特征图。
71.通过1
×
1的卷积核将串接图进行融合并将9通道降低到原来的3通道的堆叠特征
图。然后将融合后的堆叠特征图送到vgg
‑
16特征提取网络进行高层语义特征的提取。
72.步骤s83：对堆叠特征图进行高层语义特征提取，得到融合特征。
73.利用特征提取网络vgg
‑
16的五子卷积网络依次对第二多模态特征图进行高层语义特征提取，得到512维度的融合特征。
74.请进一步参阅图9，图9为本技术三模态目标检测网络第三实施方式的结构示意图。如图9所示，利用矩阵串接函数将原来3维度的偏振图像特征图、红外图像特征图和彩色图像特征图在通道数上进行堆叠得到9维度的堆叠特征图。再通过1
×
1的子卷积网络将融合的9维度的堆叠特征图降低到3维度的第二多模态特征图。然后，将第二多模态特征图经过vgg
‑
16的第一子卷积网络进行处理得到64维度的图像。然后，之后，再将64维度的第一多模态特征图经过第二子卷积网络进行特征提取得到128维度的特征图，经过第三子卷积网络处理得到256维度的特征图，经过第四子卷积网络以及第五子卷积网络处理得到512维度的融合特征。最后，沿用faster r
‑
cnn网络中各个部分的损失函数，将融合后的融合特征的参数继续经过faster r
‑
cnn网络中的rpn层、roi池化层以及全连接层进行模型训练，将三个模态的信息逐层传递进行最后的分类和边界框回归处理，得到目标图像。
75.在本实施例中，同样，充分考虑到算法的实时性和工程落地的可行性，通过在特征提取网络vgg
‑
16的之前就将不同的图像进行特征融合，保证三模态目标检测算法检测性能的同时，进一步地减少了模型的计算量。
76.步骤s13：基于融合特征对待检测目标进行识别。
77.具体地，利用faster r
‑
cnn网络中的rpn层(区域生成网络)、roi(感兴趣区域)池化层以及全连接层进行模型训练，将三个模态的信息逐层传递进行最后的分类和边界框回归处理，得到目标图像，从而识别出待检测目标。
78.在本实施例的有益效果是：首先搭建三模态传感器图像采集装置，获得成对的彩色图像、红外图像、偏振图像数据，同时对采集到的彩色图像、红外图像和偏振图像进行同步后的配准操作，使得三模态图像采集系统可以实时获取同一时间具有相同视角和重叠区域的目标图像对。然后设计三模态目标检测算法，实现不同模态图像特征的融合，将融合后的特征图继续经过faster r
‑
cnn后面的区域生成网络(rpn)层以及感兴趣区域(roi)池化层，最终到达全连接层，将三个模态的信息逐层传递进行最后的分类和边界框回归，从而从图像中清晰地识别出待检测目标。同时，充分利用红外图像和偏振图像的不同特性(红外相机采用热成像原理，根据环境的温度差异来成像，不受光照条件影响以及带有偏振镜头的rgb偏振相机可以滤除由于偏振光在影像上形成的亮斑、耀斑，改善这类亮斑处的影像清晰度)，从而在很多复杂环境下，红外相机和偏振相机对单目rgb相机具有很好的信息补种作用，通过多通道的深度卷积神经网络分别提取不同模态特征并进行特征的融合，能够有效提高复杂环境下对低辨识目标的检测和识别性能，解决复杂环境下对低辨识目标的漏检和误检问题，使得目标检测网络具有更好的鲁棒性。
79.需要说明的是，在本实施例中以三模态图像的目标检测方法为例进行说明，但不限于只对三种图像进行目标检测的方法。在本实施例中，还可以根据实际情况增加多模态图像的目标检测方法，具体地，当多模态图像为四种模态图像时，设计四模态图像采集装置，以及设计四通道的特征提取网络vgg
‑
16(包括四个子网络)对多模态图像进行特征提取，以及faster r
‑
cnn网络后续的rpn层、roi池化层以及全连接层的模型训练。
80.本技术还提供一种终端，请参阅图10，图10为本技术中终端一实施方式的结构示意图。
81.终端100包括相互耦接的处理器101和存储器102，处理器101用于执行存储器102存储的程序指令以实现上述任一方法实施例中的图像检测方法。该终端除包括上述处理器和存储器之外，还可根据需求包括触摸屏、打印组件、通信电路等，在此不做限定。
82.具体而言，处理器101用于控制其自身以及存储器102以实现上述任一图像检测方法实施例中的步骤。处理器101还可以称为cpu(central processing unit，中央处理单元)。处理器101可能是一种集成电路芯片，具有信号的处理能力。处理器101还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field
‑
programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器101可以由多个集成电路芯片共同实现。
83.本技术还提供一种计算机可读存储介质，请参阅图11，图11为本技术计算机可读存储介质一实施方式的结构示意图。
84.计算机可读存储介质110包括其上存储的计算机程序1101，计算机程序1101被上述处理器执行时实现上述任一方法实施例中的图像检测方法对应执行的步骤。
85.具体地，集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质110中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质110中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
86.以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。