图像匹配方法、违建检测方法、终端设备以及存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像匹配方法、违建检测方法、终端设备以及计算机存储介质。


背景技术：

2.图像比对，也叫图像变化检测，要求两张图像是经过配准的。通常配准两张图像的流程是：首先分别从两张图像上提取特征点，接着将两组特征点进行匹配，然后根据匹配的特征点技术两张图像间的单应矩阵，最后根据单应矩阵将一张图像重投影到另一张图像的坐标系中。想要用一个单应矩阵来描述两张图像之间的关系，必须满足一定的先决条件，两张图像必须是同一个平面的成像，或者两张图像的相机位姿差异只包含旋转。然而在正射底图与无人机影像的匹配中，这两个条件都不满足：图像中的屋顶、地面往往都不在同一个平面上，两张图像的相机位姿存在平移。


技术实现要素：

3.本技术提供一种图像匹配方法、违建检测方法、终端设备以及计算机存储介质。
4.本技术采用的一个技术方案是提供一种图像匹配方法，所述图像匹配方法包括：
5.获取无人机图像，以及基于所述无人机图像获取对应正射地图切片；
6.提取所述无人机图像的若干第一特征点，以及提取所述正射地图切片的若干第二特征点；
7.对若干所述第一特征点和若干所述第二特征点进行特征点匹配，获取若干特征点分组；
8.基于若干所述特征点分组对所述正射地图切片的所有像素点进行分组，获取若干像素分组；
9.利用若干所述像素分组形成若干掩膜，并将利用若干掩膜处理后的所述正射地图切片与所述无人机图像进行重投影，得到重投影后的匹配图像。
10.其中，所述基于若干所述特征点分组对所述正射地图切片的所有像素点进行分组，获取若干像素分组，包括：
11.获取每一所述特征点分组在所述正射地图切片的特征位置；
12.获取所述正射地图切片中所有像素点与每一所述特征点分组的特征位置的距离；
13.将所述正射地图切片中每一像素点分配到距离最近的特征点分组；
14.按照若干所述特征点分组及其分配的像素点形成若干所述像素分组。
15.其中，所述特征点分组在所述正射地图切片的特征位置，由所述特征点分组中每一特征点在所述正射地图切片上的像素位置组成。
16.其中，所述将利用若干掩膜处理后的所述正射地图切片与所述无人机图像进行重投影，得到重投影后的匹配图像，包括：
17.获取每一像素分组的第一单应矩阵；
18.利用每一第一单应矩阵将若干掩膜处理后的所述正射地图切片的对应图像与所述无人机图像进行重投影；
19.将多组重投影结果进行叠加，形成所述重投影后的匹配图像。
20.其中，所述将利用若干掩膜处理后的所述正射地图切片与所述无人机图像进行重投影，得到重投影后的匹配图像，包括：
21.将利用若干掩膜处理后的所述正射地图切片重投影到所述无人机图像的坐标系中，利用投影后的正射地图切片与所述无人机图像叠加，形成所述重投影后的匹配图像。
22.其中，所述将利用若干掩膜处理后的所述正射地图切片与所述无人机图像进行重投影，得到重投影后的匹配图像，包括：
23.将所述无人机图像重投影到利用若干掩膜处理后的所述正射地图切片的坐标系中，利用投影后的无人机图像与所述正射地图切片叠加，形成所述重投影后的匹配图像。
24.其中，所述对若干所述第一特征点和若干所述第二特征点进行特征点匹配，获取若干特征点分组，包括：
25.对若干所述第一特征点和若干所述第二特征点进行特征点匹配，将匹配成功的第一特征点和第二特征点组成第一特征点分组；
26.对剩余的所述第一特征点和剩余的所述第二特征点进行特征点匹配，将匹配成功的第一特征点和第二特征点组成第二特征点分组，直至特征点分组完成。
27.其中，所述图像匹配方法还包括：
28.判断若干所述第一特征点和若干所述第二特征点中剩余未分组的特征点的数量是否小于第一预设阈值，或者最近新分组的特征点分组的特征点数量是否小于第二预设阈值；
29.若是，确定特征点分组完成；
30.若否，确定特征点分组未完成，从剩余未分组的特征点中获取若干内点组成最新的特征点分组。
31.其中，所述从剩余未分组的特征点中获取若干内点组成最新的特征点分组，包括：
32.根据剩余未分组的特征点计算第二单应矩阵；
33.按照所述第二单应矩阵将剩余未分组的特征点进行投影，将投影后位置误差小于第三预设阈值的特征点确定为内点；
34.利用确定为内点的若干特征点组成最新的特征点分组。
35.其中，所述基于所述无人机图像获取对应正射地图切片，包括：
36.读取所述无人机图像的定位信息；
37.按照所述定位信息从正射地图中裁切出与所述无人机图像范围相同的正射地图切片。
38.本技术采用的另一个技术方案是提供一种违建检测方法，所述违建检测方法包括：
39.获取实时的无人机图像，以及基于所述无人机图像获取对应正射地图切片；
40.获取所述无人机图像与所述正射地图切片的匹配图像，其中，匹配图像的获取方式如上述的图像匹配方法；
41.基于所述匹配图像获取所述无人机图像中建筑物的差异信息；
42.根据所述差异信息判断是否出现违建建筑。
43.本技术采用的另一个技术方案是提供一种终端设备，所述终端设备包括存储器以及与所述存储器耦接的处理器；
44.其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的图像匹配方法和/或违建检测方法。
45.本技术采用的另一个技术方案是提供一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以实现如上述的图像匹配方法和/或违建检测方法。
46.本技术的有益效果是：终端设备获取无人机图像，以及基于所述无人机图像获取对应正射地图切片；提取所述无人机图像的若干第一特征点，以及提取所述正射地图切片的若干第二特征点；对若干所述第一特征点和若干所述第二特征点进行特征点匹配，获取若干特征点分组；基于若干所述特征点分组对所述正射地图切片的所有像素点进行分组，获取若干像素分组；利用若干所述像素分组形成若干掩膜，并将利用若干掩膜处理后的所述正射地图切片与所述无人机图像进行重投影，得到重投影后的匹配图像。本技术的图像匹配方法能够通过将特征点的分组信息传递给所有像素点，从而优化像素分组的边缘，实现正射地图与非正射无人机图像之间的重投影。
附图说明
47.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
48.图1是本技术提供的图像匹配方法一实施例的流程示意图；
49.图2是本技术提供的图像匹配方法总流程的示意图；
50.图3是本技术提供的无人机图像一实施例的示意图；
51.图4是本技术提供的正射地图切片一实施例的示意图；
52.图5是图1所示图像匹配方法步骤s14的具体子步骤的流程示意图；
53.图6是本技术提供的正射地图重投影结果一实施例的示意图；
54.图7是图1所示图像匹配方法步骤s15的具体子步骤的流程示意图；
55.图8是本技术提供的违建检测方法一实施例的流程示意图；
56.图9是本技术提供的终端设备一实施例的结构示意图；
57.图10是本技术提供的计算机存储介质一实施例的结构示意图。
具体实施方式
58.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
59.违建监管一直以来是城市治理的重要工作之一，传统的以人工方式进行违章建筑
的巡查耗时费力，对于违章建筑的监管也不够及时有效，同时，由于巡视角度的限制，无法及时发现建筑物顶部的违法乱搭及加建行为，导致后续需要投入大量的时间及精力开展违章建筑物的拆除和重建工作。如何长期、及时且低成本的进行违建管控和整治，将违建的事后治理转变为事中甚至是事前预防，有效防止违章扩建加建行为，提升监管部门效能，是目前亟待解决的问题。
60.基于无人机的违建巡检平台有望帮助市政管理部门解决这一难题。违建巡检平台的建设分为底图构建和例行巡检两个阶段。在底图构建阶段，使用无人机按照高重叠率的作业方式，在目标区域拍摄大量影像，利用摄影测量技术，将这些影像拼接成为正射地图和高精度数字表面模型(dsm，digital slope model)，正射地图和dsm作为目标区域的底图进行管理。在例行巡检阶段，使用无人机按照低重叠率的作业方式，拍摄目标区域影像，并采用图像比对技术，对无人机影像和正射地图进行比对，以检测违章建筑。
61.然而，由于图像中的屋顶、地面往往都不在同一个平面上，两张图像的相机位姿存在平移，导致在正射底图与无人机影像的匹配中，影响配准的效果。对此，本技术提出一种图像匹配方法，可以实现正射地图与非正射无人机影像之间的配准。本技术的图像匹配方法将正射地图切片分割为多个图块，每个图块都是单个平面成像，因此可以使用多个单应矩阵分别将这些图块与非正射无人机配准。
62.请参阅图1和图2，图1是本技术提供的图像匹配方法一实施例的流程示意图，图2是本技术提供的图像匹配方法总流程的示意图。
63.其中，本技术的图像匹配方法应用于一种图像匹配装置，其中，本技术的图像匹配装置可以为服务器，也可以为由服务器和终端设备相互配合的系统。相应地，图像匹配装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和终端设备中。
64.进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本技术实施例的图像匹配方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
65.具体而言，如图1所示，本技术实施例的图像匹配方法具体包括以下步骤：
66.步骤s11：获取无人机图像，以及基于无人机图像获取对应正射地图切片。
67.在本技术实施例中，图像匹配装置获取无人机图像，主要数据来源在于无人机在目标区域上方实时拍摄。图像匹配装置进一步根据无人机图像获取对应的正射地图切片。
68.如图2所示，图像匹配装置预存有大区域的正射地图，或者从云端服务器中获取大区域的正射地图。然后，图像匹配装置通过读取无人机图像exif(可交换图像文件格式，exchangeable image file format)中的gps信息，如目标区域的经纬度等，根据gps信息从正射地图中裁切出与无人机影像范围相当的地图切片。
69.具体地，图3是本技术提供的无人机图像一实施例的示意图，图4是本技术提供的正射地图切片一实施例的示意图。对比图3和图4可知，正射地图切片的内容与无人机图像的内容基本一致，两个的gps信息完全相同。
70.在其他实施方式中，图像匹配装置可以在无人机图像的gps信息确定的地图区域
基础上外扩预设区域，从而在考虑相机畸变以及计算误差等的情况下，保证正射地图切片能够提供无人机图像匹配的所有像素信息。
71.图3是本技术提供的无人机图像一实施例的示意图，图4是本技术提供的正射地图切片一实施例的示意图。
72.步骤s12：提取无人机图像的若干第一特征点，以及提取正射地图切片的若干第二特征点。
73.步骤s13：对若干第一特征点和若干第二特征点进行特征点匹配，获取若干特征点分组。
74.在本技术实施例中，图像匹配装置提取无人机图像的若干第一特征点，以及提取正射地图切片的若干第二特征点，然后对若干第一特征点和若干第二特征点进行特征点匹配。其中，特征点匹配的匹配关系可以为第一特征点与第二特征点的像素相似度，和/或形状相似度等。
75.具体地，图像匹配装置可以将所有第一特征点与所有第二特征点进行首次特征点匹配，将首次特征点匹配成功的第一特征点和第二特征点组成第一特征点分组。图像匹配装置继续将首次特征点匹配剩余的第一特征点与剩余的第二特征点进行第二次特征点匹配，将第二次特征点匹配成功的第一特征点和第二特征点组成第二特征点分组。经过多次特征点匹配，直到没有剩余的第一特征点和第二特征点，或者当前分组情况满足特征点分组完成条件时，即可得到若干特征点分组。
76.例如，无人机图像和正射地图切片一共提取出1000个特征点，在首次特征点匹配中，成功将300个特征点进行匹配，并将该300个特征点组成第一特征点分组。然后，图像匹配装置将剩余的700个特征点继续进行匹配，直至满足特征点分组完成的条件为止。
77.进一步地，图像匹配装置在进行每次特征点匹配完成之后，即可判断特征点分组是否完成，判断的依据是剩余未分组的特征点的数量是否小于第一预设阈值，或者最近新分组的特征点数量是否小于第二预设阈值。若剩余未分组的特征点的数量小于第一预设阈值，或者最近新分组的特征点数量小于第二预设阈值，则判定特征点分组完成。若剩余未分组的特征点的数量大于等于第一预设阈值，且最近新分组的特征点数量大于等于第二预设阈值，则判定特征点分组未完成。
78.若特征点分组未完成，图像匹配装置可以ransac算法解算当前未分组特征点的单应矩阵，将所有内点作为新的一个特征点分组。其中，内点是指按照单应矩阵投影后位置误差小于第三预设阈值的特征点。然后，继续判断特征点分组是否完成，重复以上动作直至特征点分组完成。
79.若特征点分组完成，则进入步骤s14。
80.步骤s14：基于若干特征点分组对正射地图切片的所有像素点进行分组，获取若干像素分组。
81.在本技术实施例中，图像匹配装置将若干特征点分组的分组信息按照就近原则传递给正射地图切片，或者无人机图像上的所有像素点。然后，图像匹配装置对正射地图切片，或者无人机图像进行超像素分割，超像素分割内部按照少数服从多数的原则重新修正分组信息，从而使像素分组的边缘更接近实际的纹理边缘。
82.其中，超像素最直观的解释，便是把一些具有相似特性的像素“聚合”起来，形成一
个更具有代表性的大“元素”。而这个新的元素，将作为其他图像处理算法的基本单位。一来大大降低了维度；二来可以剔除一些异常像素点。
83.下面，以对正射地图切片的所有像素点进行超像素分割为例，超像素分割的具体过程具体请参阅图5，图5是图1所示图像匹配方法步骤s14的具体子步骤的流程示意图。
84.需要说明的是，在其他实施例中，也可以对无人机图像的所有像素点进行超像素分割。
85.具体而言，如图5所示，本技术实施例的图像匹配方法具体包括以下步骤：
86.步骤s141：获取每一特征点分组在正射地图切片的特征位置。
87.在本技术实施例中，图像匹配装置获取每一特征点分组在正射地图切片的特征位置。其中，特征点分组的特征位置，可以由特征点分组中每一特征点在正射地图切片上的像素位置组成，也可以由特征点分组中所有特征点在正射地图切片上的像素坐标平均值决定，也可以由特征点分组中所有特征点在正射地图切片上的像素坐标的聚类中心决定等等。
88.步骤s142：获取正射地图切片中所有像素点与每一特征点分组的特征位置的距离。
89.步骤s143：将正射地图切片中每一像素点分配到距离最近的特征点分组。
90.在本技术实施例中，图像匹配装置计算正射地图切片中的每一像素点的像素位置与所有特征点分组的位置距离，然后将每个像素点分配到位置距离最小的特征点分组，从而对特征点分组的分组信息进行重新修正。
91.步骤s144：按照若干特征点分组及其分配的像素点形成若干像素分组。
92.在本技术实施例中，图像匹配装置将正射地图切片的所有像素点分配完成后，将所有特征点分组及其分配的像素点组成新的像素分组。本技术利用特征点分组对正射地图切片进行超像素分割，形成像素分组，从而使得像素分组的边缘更接近实际的纹理边缘。
93.步骤s15：利用若干像素分组形成若干掩膜，并将利用若干掩膜处理后的正射地图切片与无人机图像进行重投影，得到重投影后的匹配图像。
94.在本技术实施例中，图像匹配装置按照像素分组依次形成掩膜，并使用与像素分组对应的单应矩阵，将掩膜后的正射地图切片重投影到无人机图像的坐标系中，或者将掩膜后的无人机图像重投影到正射地图切片。图像匹配装置将多组重投影相叠加就是最终的重投影结果，即得到最终重投影后的匹配图像。具体请参阅图6，图6是本技术提供的正射地图重投影结果一实施例的示意图。
95.具体地，图像匹配装置将利用若干所述掩膜处理后的正射地图切片重投影到所述无人机图像的坐标系中，利用投影后的正射地图切片与所述无人机图像叠加，形成所述重投影后的匹配图像。
96.或者，图像匹配装置将所述无人机图像重投影到利用若干所述掩膜处理后的正射地图切片的坐标系中，利用投影后的无人机图像与所述正射地图切片叠加，形成所述重投影后的匹配图像。
97.进一步地，如图3所示的图像为无人机巡检获得的非正射图像，由于无人机的飞行高度较低，透视关系较明显，可以看到建筑物的侧立面；建筑物屋顶的高度各不相同，不处于同一个平面，无法使用单个单应矩阵实现与正射地图的匹配。如图6为正射地图切片按照
本技术所述的图像匹配方法匹配到图3所示的无人机图像上的结果。
98.另外，由于正射地图不包含建筑物侧立面的信息，因此投影过后侧立面对应区域存在像素缺失。重投影后，地图上建筑物的屋顶与无人机图像的屋顶对齐，满足后续基于图像比对的违建检测的要求。对于投影后侧立面位置像素缺失的问题，可以使用无人机图像对应位置的像素进行填充，基于深度学习的图像比对算法能有效滤除这些区域的噪声。
99.进一步地，由于每一掩膜后得到的正射地图切片区域可以近似于同一个平面，图像匹配装置还可以计算每一掩膜的正射地图切片区域与无人机图像的单应矩阵，从而使用多个单应矩阵，分块执行正射地图切片到非正射无人机图像的重投影。上述重投影过程具体请继续参阅图7，图7是图1所示图像匹配方法步骤s15的具体子步骤的流程示意图。
100.需要说明的是，在其他实施例中，图像匹配装置还可以计算每一掩膜的无人机图像区域与正射地图切片的单应矩阵，从而使用多个单应矩阵，分块执行非正射无人机图像到正射地图切片的重投影。
101.具体而言，如图7所示，本技术实施例的图像匹配方法具体包括以下步骤：
102.步骤s151：获取每一像素分组的第一单应矩阵。
103.在本技术实施例中，图像匹配装置获取每一像素分组中来自无人机图像的像素点和来自正射地图切片的像素点之间的单应矩阵。
104.其中，单应矩阵(homography matrix)等同于透视变换中使用的矩阵。透视变换描述了两个平面之间的映射关系。理解之所以称为单应矩阵，是因为两个平面之间的关系是确定的，只能通过唯一的矩阵来表示这个变换，故称之为单应矩阵。
105.步骤s152：利用每一第一单应矩阵将若干掩膜处理后的正射地图切片的对应图像与无人机图像进行重投影。
106.步骤s153：将多组重投影结果进行叠加，形成重投影后的匹配图像。
107.在本技术实施例中，图像匹配装置按照步骤s151计算得到的单应矩阵，将掩膜处理后的正射地图切片或者原始正射地图切片重投影到无人机图像的坐标系中。由于步骤151中分别计算了多个正射地图切片区域，即每一像素分组对应的图像区域分别与无人机图像的单应矩阵，图像匹配装置可以利用多个单应矩阵将掩膜处理后的正射地图切片分块重投影到无人机图像的坐标系中。
108.图像匹配装置在所有正射地图切片区域均掩膜处理完成，多次重投影相叠加即得到将原始正射地图切片匹配到无人机图像上的结果，即得到重投影后的匹配图像。
109.在本技术实施例中，图像匹配装置获取无人机图像，以及基于所述无人机图像获取对应正射地图切片；提取所述无人机图像的若干第一特征点，以及提取所述正射地图切片的若干第二特征点；对若干所述第一特征点和若干所述第二特征点进行特征点匹配，获取若干特征点分组；基于若干所述特征点分组对所述正射地图切片的所有像素点进行分组，获取若干像素分组；利用若干所述像素分组形成若干掩膜，并将利用若干所述掩膜处理后的正射地图切片与所述无人机图像进行重投影，得到重投影后的匹配图像。本技术的图像匹配方法能够通过将特征点的分组信息传递给所有像素点，从而优化像素分组的边缘，实现正射地图与非正射无人机图像之间的重投影。
110.基于上述实施例的图像匹配方法，本技术进一步提出了一种违建检测方法，具体请参阅图8，图8是本技术提供的违建检测方法一实施例的流程示意图。
111.其中，本技术的违建检测方法应用于一种违建检测装置，其中，本技术的违建检测装置可以为服务器，也可以为由服务器和终端设备相互配合的系统。相应地，违建检测装置包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以分别设置于服务器和终端设备中。
112.进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。在一些可能的实现方式中，本技术实施例的违建检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
113.具体而言，如图8所示，本技术实施例的违建检测方法具体包括以下步骤：
114.步骤s21：获取实时的无人机图像，以及基于无人机图像获取对应正射地图切片。
115.在本技术实施例中，步骤s21的内容在上述实施例中的步骤s11中已有详细阐述，在此不再赘述。
116.步骤s22：获取无人机图像与正射地图切片的匹配图像。
117.步骤s23：基于匹配图像获取无人机图像中建筑物的差异信息。
118.在本技术实施例中，违建检测装置可以利用如图6所示的正射地图重投影结果分析出无人机图像中建筑物的变化差异信息。
119.步骤s24：根据差异信息判断是否出现违建建筑。
120.在本技术实施例中，违建检测装置依靠多次图像重投影结果的建筑物差异以及深度信息，可以估算出差异异常位置，再结合人员普查，即可大幅度提高违建查处效率，减低人工成本。
121.本技术的图像匹配方法和违建检测方法可以直接对非正射无人机图像和正射地图进行配准后比对，不需要每次巡检都拼接正射大图，对巡检的图像重叠率没有要求，因此作业效率更高，能够满足大场景的巡检要求；另外，本技术的图像匹配方法和违建检测方法也不需要无人机拍摄正射图像，普通的低空飞行的无人机也可以用于作业，降低违建检测的技术门槛，提高违建检测的普用性。
122.以上实施例，仅是对本技术的其中一种常见案例而已，并非对本技术的技术范围做任何限制，故凡是依据本技术方案的实质对以上内容所做的任何细微修改、等同变化或者修饰，均仍属于本技术技术方案的范围内。
123.请继续参见图9，图9是本技术提供的终端设备一实施例的结构示意图。本技术实施例的终端设备500包括处理器51、存储器52、输入输出设备53以及总线54。
124.该处理器51、存储器52、输入输出设备53分别与总线54相连，该存储器52中存储有程序数据，处理器51用于执行程序数据以实现上述实施例所述的图像匹配方法和/或违建检测方法。
125.在本技术实施例中，处理器51还可以称为cpu(central processing unit，中央处理单元)。处理器51可能是一种集成电路芯片，具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(dsp，digital signal process)、专用集成电路(asic，application specific integrated circuit)、现场可编程门阵列(fpga，field programmable gate array)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立
硬件组件。通用处理器可以是微处理器或者该处理器51也可以是任何常规的处理器等。
126.本技术还提供一种计算机存储介质，请继续参阅图10，图10是本技术提供的计算机存储介质一实施例的结构示意图，该计算机存储介质600中存储有程序数据61，该程序数据61在被处理器执行时，用以实现上述实施例所述的图像匹配方法和/或违建检测方法。
127.本技术的实施例以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
128.以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，方式利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。