一种图像匹配方法、装置、定位方法及系统与流程

本发明涉及图像匹配定位技术领域，尤其涉及一种图像匹配方法、装置、定位方法及系统。

背景技术：

当前无人航空器产业发展迅猛，基于无人机、无人探孔器平台的目标侦测被广泛用于军事、工业、农业、抢险救援等各个领域，不仅能拍摄、获取目标的清楚图像、视频，还能对目标进行智能分析和自动定位。

航拍地面目标定位技术一直是各类研究人员和工程人员关注的热门技术，该技术主要基于gps、惯导、激光雷达测距、和摄影测量技术，通常是综合使用这些技术完成最终的目标定位。现阶段相关技术主要有基于gps/惯导/激光雷达测距的组合定位技术和基于gps/惯导/摄影测量的组合定位技术。后者又可以继续细分为基于gps/惯导/交会测量的组合定位技术和基于gps/惯导/反向投影测量的组合定位技术。

(1)基于gps/惯导/激光雷达测距的组合定位技术，利用gps提供机载平台的位置，利用惯导提供平台的姿态和航向，利用激光雷达测量目标与机载平台之间的距离，然后根据机载平台位置、姿态、航向、激光雷达指向、目标与机载平台之间的距离计算目标的位置。现有技术中对该技术的研究成果包括：夏靖，蒋理兴，范孝忠：机载激光雷达对地定位误差分析[j].测绘科学技术学报，2011，28(5):365-368；以及王建军，徐立军，李小路：姿态角随机测量误差对机载激光雷达点云定位精度和三维成像精度的影响[c]，全国激光雷达对地观测高级学术研讨会，2010。基于gps/惯导/激光雷达测距的组合定位技术具有较高的定位精度，能实现亚米级定位，但仍具有以下不足：激光雷达需要光电吊舱能够精确控制指向并计算目标指向与飞行平台之间的夹角，此外还需要惯导部件能够精确测量飞行平台的航向和姿态，否则在远距离测量条件下，小的角度偏差可能导致很大的位置偏差。因此该技术需要高成本、高精度的光电吊舱和惯导部件，加之激光雷达本身硬件成本高，所以系统整体成本较高，不利于在无人机等一些低成本平台使用。另外激光雷达测距主要是对点目标测量，使用不如基于航拍图像测量的方法方便，基于航拍图像测量的方法可以对一张航拍的图像上任意位置的目标进行测量。

(2)基于gps/惯导/交会测量的组合定位技术，利用gps提供机载平台的位置，利用惯导提供平台的姿态和航向，利用相机从多个角度对目标进行拍摄交会测量目标与飞机的相对位置，然后根据机载平台位置、姿态、航向、目标与机载平台之间相对位置计算目标的绝对位置。现有技术中对该技术的研究成果包括：易方，肖志明，李于雄：自动分检测量数据的多目标交会定位方法[j].电视技术，2014，38(11):219-223；孙辉，李志强，张建华：机载光电平台目标交会定位[j].中国光学，2015，8(6):988-996；于起峰，尚洋：摄像测量学原理与应用研究[m].科学出版社，2009.。该技术仍然存在如下不足：由于交会测量需要多角度拍摄目标，因此对飞行轨迹产生限制，有些时候往往无法获得较大的交会角，从而影响测量精度。此外，远距离摄影测量容易受到大气折射干扰，这也会严重减低交会测量的定位精度。通常对数千米外的目标定位误差约数十米。

(3)基于gps/惯导/反向投影测量的组合定位技术，利用gps提供机载平台的位置，利用惯导提供平台的姿态和航向，利用光电吊舱上的相机拍摄测量目标与飞机的方向夹角，然后根据机载平台位置、姿态、航向、飞行高度和目标与飞机的方向夹角计算目标的绝对位置。现有技术中对该技术的研究成果包括：merinol，caballerof，martínez‐dediosjr，etal.acooperativeperceptionsystemformultipleuavs:applicationtoautomaticdetectionofforestfires[j].journaloffieldrobotics，2006，23(3‐4)：165-184；merinol，caballerof，martinez-dediosjr，etal.cooperativefiredetectionusingunmannedaerialvehicles[c]//roboticsandautomation，2005.icra2005.proceedingsofthe2005ieeeinternationalconferenceon.ieee，2005:1884-1889。该技术仍然存在如下不足：该技术利用测量数据：姿态、相机指向、飞行高度对目标位置进行直接解算，因此，姿态误差、指向误差、高度误差会对目标定位结果有很大影响。通常对数千米外的目标定位误差可达百米以上。

在现有技术中，进行图像匹配(特别是异源图像匹配)的方法主要包括pq-hog、hopc、mi、mtm、ncc、go、impgo等等，但这些匹配方法在不同异味源图像的适应性、匹配正确率上仍然存在提高的空间，特别是应用于基于图像匹配的定位领域，匹配正确率的高低直接关系到定位精度的高低，为了提高定位精度，改进并提高图像匹配的正确率也有着十分重要的意义。

技术实现要素：

本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种广泛适用于多种不同的异源图像之间的匹配，匹配正确率高，匹配速度快的图像匹配方法、装置，并且，在图像匹配方法的基础上，实现高精度，低成本，受环境影响小，对外部信号依赖度低的定位方法及系统。

为解决上述技术问题，本发明提出的技术方案为：一种图像匹配方法，计算第一图像中各像素点的张量方向，得到所述第一图像的第一张量方向图；计算基准图像中各像素点的张量方向，并将所述基准图像划分为多个与所述第一图像大小相等的子图，确定各所述子图的第二张量方向图；逐一计算所述第一张量方向图与所述子图的第二张量方向图的匹配值，并根据所述匹配值确定匹配度最高的子图作为匹配结果。

进一步地，所述张量方向根据式(1)所示公式计算确定：

式(1)中，θ为计算得到的像素点的张量方向值，t11、t12、t22均为该像素点的张量值。

进一步地，所述张量值根据式(2)所示公式计算确定：

式(2)中t11、t12、t22均为该像素点的张量值，gσ为预设的标准差为σ的高斯滤波器参数，ix为包含该像素点的预设局部图像区域在x方向上的偏导，iy为包含该像素点的预设局部图像区域在y方向上的偏导。

进一步地，根据式(3)所示公式计算匹配值：

式(3)中，s(o(t),o(w))为第一张量方向图o(t)与第二张量方向图o(w)的匹配值，θi为第一张量方向图中像素点i的张量方向，θ'i为第二张量方向图中像素点i的张量方向，n和m分别为第一张量方向图中x方向和y方向的像素点个数。

一种图像匹配装置，包括处理器和存储器，所述处理器用于执行所述存储器上存储的程序，所述存储器上存储有被执行时可实现如上任一项所述方法的程序。

一种图像匹配的定位方法，包括：获取第一图像，所述第一图像为对包含待定位目标在内的待定位区域进行拍照获得的图像；

将所述第一图像与预先确定好的带坐标的基准图像按照如权利要求1至4任一项所述的匹配方法进行匹配，确定所述第一图像在所述基准图像中的匹配结果；

根据所述匹配结果确定所述第一图像的坐标，并确定第一图像中待定位目标的坐标。

进一步地，还包括对所述拍照获得的图像进行校正；所述校正包括对所述图像进行正下视矫正处理。

进一步地，还包括对所述拍照获得的图像进行修正；所述修正包括对所述照片的方向进行修正，使得所述图像的方向与所述基准图像的方向一致，和/或：对所述照片的分辨率进行调整，使得所述图像的分辨率与所述基准图像的分辨率一致。

一种图像匹配的定位系统，包括图像获取模块和匹配模块和定位模块；

所述图像获取模块用于获取第一图像，所述第一图像为对包含待定位目标在内的待定位区域进行拍照获得的图像；

所述匹配定位模块用于将所述第一图像与预先确定好的带坐标的基准图像按照如上任一项所述的匹配方法进行匹配，确定所述第一图像在所述基准图像中的匹配结果；

所述定位模块用于根据所述匹配结果确定所述第一图像的坐标，并确定第一图像中待定位目标的坐标。

进一步地，所述图像获取模块还用于：对所述拍照获得的图像进行校正和/或修正；所述校正包括对所述图像进行正下视矫正处理；所述修正包括对所述照片的方向进行修正，使得所述图像的方向与所述基准图像的方向一致，和/或：对所述照片的分辨率进行调整，使得所述图像的分辨率与所述基准图像的分辨率一致。

与现有技术相比，本发明的优点在于：

1、本发明的匹配方法通过计算第一图像和基准图像的张量方向，得到张量方向图，并通过张量方向图来实现第一图像与基准图像之间的匹配，可以实现第一图像与基准图像为异源图像时的快速、准确的匹配，并且，能够广泛的适应于多种不同的异源图像之间的匹配。

2、本发明通过航拍照片(第一图像)与预先确定了坐标的基准图像进行匹配，通过匹配确定航拍照片的坐标信息，再根据该坐标确定航拍照片中待定位目标的坐标，一方面，定位过程不依赖全球卫星导航系统(gnss)、不依赖路标点等外部信息，通过航拍得到的照片及预先存储的基准图像就可以完成定位过程，对外部信息依存度小，受环境等外部因素的影响小，受限小，可靠性好；另一方面，通过预先存储具有高精度、高分辨率的基准图像，再将航拍图像与该基准图像进行匹配，就可以实现高精度的定位。

附图说明

图1为本发明具体实施例的流程示意图。

图2为本发明具体实施例的匹配示意图。

图3为本发明具体实施例的匹配测试用例示意图。

图4为本发明具体实施例的匹配结果对比分析图。

图5为本发明具体实施例定位示意图。

图6为本发明具体实施例的图像矫正示意图。

图7为本发明具体实施例的技术效果与现有技术的效果对比图。

具体实施方式

以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。

如图1中虚线框中所示，本实施例的图像匹配方法，包括：计算第一图像中各像素点的张量方向，得到第一图像的第一张量方向图；计算基准图像中各像素点的张量方向，并将基准图像划分为多个与第一图像大小相等的子图，确定各子图的第二张量方向图；逐一计算第一张量方向图与子图的第二张量方向图的匹配值，并根据匹配值确定匹配度最高的子图作为匹配结果。在本实施例中，第一图像优选为边长为64像素至96像素的矩形图像。

在本实施例中，张量方向根据式(1)所示公式计算确定：

式(1)中，θ为计算得到的像素点的张量方向值，t11、t12、t22均为该像素点的张量值。

张量值根据式(2)所示公式计算确定：

式(2)中t11、t12、t22均为该像素点的张量值，gσ为预设的标准差为σ的高斯滤波器参数，ix为包含该像素点的预设局部图像区域在x方向上的偏导，iy为包含该像素点的预设局部图像区域在y方向上的偏导。在本实施例中，包含该像素点的预设局部图像区域为以该像素点为中心，边长为预设个像素点的区域，如3像素乘3像素的区域，或5像素乘5像素的区域。

根据式(3)所示公式计算匹配值：

式(3)中，s(o(t),o(w))为第一张量方向图o(t)与第二张量方向图o(w)的匹配值，θi为第一张量方向图中像素点i的张量方向，θ'i为第二张量方向图中像素点i的张量方向，n和m分别为第一张量方向图中x方向和y方向的像素点个数。由于第一张量方向图的大小与第二张量方向图的大小是相同的，即第一张量方向图和第二张量方向图都是由n×m个像素点的图像计算得到的张量方向图。根据式(3)所示公式，匹配值越小，说明第一张量方向图与第二张量方向图之间的区别越小，匹配度越高。

本实施例中，如图2所示，实时图像为通过航拍获得的某地面区域的实时图像，即本方法中的第一图像，基准图像是在航拍前就已经获得并通过处理已确定了坐标位置的基准图像，该基准图像可以是卫星遥感获得的图像，并且已通过精确定位确定图像的坐标(如经度和纬度)。在本实施例中，第一图像为n×n个像素点的图像。通过上述式(1)和式(2)计算可以得到第一图像的第一张量方向图。通过相同的方式也可以计算得到基准图像中各像素点的张量方向，并且，将基准图像划分为n×n个像素点的区域，每个区域对应一个子图，如图2中基准图像中的虚线方框所示，每个n×n个像素点的区域对应的子图可以得到一个对应的第二张量方向图。再将第一图像的第一张量方向图与基准图像中各子图对应的第二张量方向图进行比较，即按照式(3)所示的公式进行匹配值计算，即可得到图2中基准图像中实线方框所示区域子图对应的第二张量方向图与第一张量方向图之间的匹配度最高，即可将第一图像匹配至基准图像中实线方框所对应的区域，完成图像的匹配。在匹配完成后，由于基准图像的坐标已经确定，则通过匹配可以确定第一图像左上角的坐标为(rx，ry)，那么第一图像中的任一点(x，y)，即可以确定其坐标为(rx+x，ry+y)。

在本实施例中，通过近百种不同的图像将本发明的匹配方法(记为pg)与现有技术中的pq-hog、hopc、mi、go、impgo等匹配算法进行对比分析，对比分析所采用的图像包括但不限于图3展示的几种异源图像，其平均匹配正确率对比结果如图4所示，平均匹配正确率指对所采用的图像进行匹配分析，并计算采用不同图像时匹配正确率的平均值。通过比较可以确定，本发明方法的平均匹配正确率均高于现有技术中的匹配方法，特别是明显优于go、mi、pq-hog等算法，相对于hopc、impgo等算法，在模板大小(第一图像的大小)为边长为64像素至96像素区间的矩形图像也有明显的提高。模板大小的数值指模板的长宽均取相应数值像素的正方形区域的大小。由于图像匹配的正确率会严重影响基于图像匹配的定位的精确率，因此，图像匹配正确率的提高仍然有着十分重要的意义。其中，pq-hog匹配方法参见现有技术文献：a.sibiryakov，“fastandhigh-performancetemplatematchingmethod，”incvpr，2011，pp.1417-1424。hopc匹配方法参见现有技术文献：y.yeandl.shen，“hopc:anovelsimilaritymetricbasedongeometricstructuralpropertiesformulti-modalremotesensingimagematching，”inisprsannalsofphotogrammetry，remotesensingandspatialinformationsciences，2016，vol.3，pp.9-16。mi匹配方法参见现有技术文献：p.violaandw.wells，“alignmentbymaximizationofmutualinformation，”internationaljournalofcomputervision，vol.24，no.2，pp.137–154，1977。

本实施例的图像匹配装置，包括处理器和存储器，处理器用于执行存储器上存储的程序，存储器上存储有被执行时可实现如上任一项方法的程序。

如图1所示，本实施例的图像匹配的定位方法，包括：获取第一图像，第一图像为对包含待定位目标在内的待定位区域进行拍照获得的图像；

将第一图像与预先确定好的带坐标的基准图像按照如上任一项的匹配方法进行匹配，确定第一图像在基准图像中的匹配结果；根据匹配结果确定第一图像的坐标，并确定第一图像中待定位目标的坐标。

在本实施例中，还包括对拍照获得的图像进行校正；校正包括对图像进行正下视矫正处理。还包括对拍照获得的图像进行修正；修正包括对照片的方向进行修正，使得图像的方向与基准图像的方向一致，和/或：对照片的分辨率进行调整，使得图像的分辨率与基准图像的分辨率一致。

在本实施例中，通过一个具体的定位过程来描述本定位方法的具体实现过程。如图5所示，待定位目标为车辆a，车辆a沿道路行驶，道路两侧有建筑物及其它地形地貌特征(如树、河流、山坡等等)。当车辆行驶到图5实际地面情况中所示位置，需要进行定位时。通过飞行器(如无人机等)搭载拍照设备(相机)升空，拍摄包含车辆a在内的待定位区域的航拍照片，待定位区域如实际地面情况图中的虚线所示。得到图5所示的航拍照片(即第一图像)。飞行器上还搭载有姿态传感器和高度计等设备，在拍摄航拍照片的同时记录拍摄照片时相机的状态参数，相机状态参数包括姿态、方向、高度。

在本实施例中，由于受到飞行器的飞行状态、以及拍照设备的安装角度的影响，拍照设备所拍摄的航拍照片并不一定直接适合与基准图像进行匹配。因此，需要根据拍照设备的内部参数(如焦距、主点)对航拍图像进行图像矫正处理，将航拍照片矫正为正下视图像。该图像矫正处理可通过现有成熟的图像处理算法进行。通过矫正过程，可将图6中左侧图像矫正为图6中右侧图像，从而可以进一步提高匹配的正确率。同时，根据基准图像的方向、分辨率等参数，进一步地对航拍图像的方向、分辨率、缩放大小等进行调整，使得调整后的航拍图像的方向、分辨率与基准图像的方向、分辨率接近或一致，以方便后续进行图像匹配。该调整过程也可以通过现有的成熟图像处理算法进行。

在本实施例中，预先确定好的带坐标的基准图像如图5中的基准图像所示，该基准图像是预先通过航拍或卫星遥感等方式获得，并预先为该基准图像确定了坐标。如图5中采用经度和纬度的形式(图5基准图像中的虚直线表示)，对基准图像的坐标进行了精确的划分。当然，坐标信息也可以采用其它坐标系的形式来描述。当然，由于基准图像是预先取得的，因此，基准图像中的地面附着物(如树林、建筑物等)可能与当前的实际地面情况不一致，也即也当前通过航拍所获得的航拍照片不一致，但是，两者之间仍然会存在相同的特征(如地形，没有发生变化的建筑物，道路等等)，因此，通过本发明中的图像匹配方法，通过计算图像的张量，可以精确的将航拍照片匹配至基准图像中，如图5基准图像中虚线方框所示区域，由于基准图像已有确定的坐标信息，因此，也可以准确的确定航拍照片的坐标信息。

在本实施例中，通过图像识别技术识别出航拍照片中待定位目标(即车辆a)在航拍照片中的位置，由于航拍照片的坐标信息通过匹配已经得出，因此通过简单的计算就可以计算得到待定位目标(车辆a)的坐标。从而完成对待定位目标的定位。

本实施例的定位方法与传统方法的对比如图7所示，在本实施例的上述定位过程中，完全不需要依赖全球卫星导航系统(如gps，北斗等)的定位信号，也不需要依赖路标点等。只要预先存储了所在区域的基准图像，通过航拍获取航拍照片后，就可以方便、快速的完成对目标的定位。并且，在采用高坐标精度和高分辨率的基准图像的基础上，通过图像匹配进行定位的精度也相应的可以达到很高，定位精度可以达到亚米级。而且，该定位过程由于不依赖外部的信息，因此抗干扰能力强，稳定性高，可靠性好。

本实施例的图像匹配的定位系统，包括图像获取模块和匹配模块和定位模块；图像获取模块用于获取第一图像，第一图像为对包含待定位目标在内的待定位区域进行拍照获得的图像；匹配定位模块用于将第一图像与预先确定好的带坐标的基准图像按照如上任一项的匹配方法进行匹配，确定第一图像在基准图像中的匹配结果；定位模块用于根据匹配结果确定第一图像的坐标，并确定第一图像中待定位目标的坐标。图像获取模块还用于：对拍照获得的图像进行校正和/或修正；校正包括对图像进行正下视矫正处理；修正包括对照片的方向进行修正，使得图像的方向与基准图像的方向一致，和/或：对照片的分辨率进行调整，使得图像的分辨率与基准图像的分辨率一致。

上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。