基于辐射纠正的激光点云与光学影像自动匹配方法与流程

文档序号：15696236发布日期：2018-10-19 19:05阅读：351来源：国知局

本发明涉及摄影测量和地面激光雷达技术领域，特别涉及基于辐射纠正的激光点云与光学影像自动匹配方法。

背景技术：

目前，多源数据的处理融合与应用越来越成为当下大数据时代的研究热点之一。通过地面激光雷达获取的点云数据与通过数码相机获取的近景影像(以下简称近景影像)的自动配准是获取高精度对象模型重建的关键技术问题，也是近些年来数字城市的建设、地理国情监测等应用研究的难点问题之一。地面激光雷达点云数据多以三维空间信息的形式而呈现，此外大部分仪器还具备激光发射到被测物时进而能量被被测物体吸收而在激光接收器接收到激光时而导致能量的降低从而得到的激光反射强度信息，而近景影像是通过被测目标受到太阳光等光源反射而在相应传感器中接收到的彩色信息，一般以二维图像数据呈现，二者属于非同源。目前国内外大量的研究中，有的将三维点云数据和二维影像数据配准通过在硬件上从而进行解决，通过求解拍摄的影像相对于激光点云的外方位元素，从而解算出影像在空间坐标系中的位置关系，从而将影像的rgb值赋予点云。有的是将这两者转化为二维与二维的匹配，采用激光雷达点云反射强度图像与近景影像直接进行匹配。激光点云的反射强度与被测物的材质、颜色、扫描角度、距离、反射特性等相关。近景影像的灰度值取决于光照、被测物的光照反射特性、温度等因此。因此，二者属于非同源数据，其在图像上，同一物体同一区域中所反映的灰度值不尽相同，且其分辨率也较难控制，所以通过这两种异源图像的匹配，结果均不太理想。综上所述，亟待一种有效的方法，在一定程度上降低二者之间图像上同质区域的差异，从而提高匹配的结果，并未非同源图像数据的匹配提出一种新的方法思路。

技术实现要素：

本发明的目的之一是提供一种基于辐射纠正的激光点云与光学影像自动匹配方法；

本发明的另一目的是提供一种基于中心投影变换的激光点云与影像自动配准方法，降低地面激光雷达反射强度图像与近景影像差异性，使这两种非同源图像数据的匹配准确度和可靠性更佳，从而实现激光点云与近景影像的自动配准。

本发明提供的技术方案为：

基于辐射纠正的激光点云与光学影像自动匹配方法，包括如下步骤：

步骤一、数据采集：使用地面激光雷达获取被测对象的激光点云并使用数码相机获取近景影像；

步骤二、基于中心投影的激光反射强度图像的生成：步骤(1)将地面激光雷达的激光源作为投影中心，利用所述投影中心和所述激光点云的中心点确定出一条中心点投影射线，以垂直于所述中心投影射线且经过所述中心点的平面作为投影平面，由所述投影中心和所述激光点云中的点形成的投影射线与所述投影平面相交生成相应投影点；依照本发明的方法选择的投影平面是与激光点云最佳符合的平面，这样可以使点云投到投影平面上的相对位置准确，不会发生偏移；如果使用激光点云中的除中心点以外的点与投影中心确定出的另外的投影平面，将会造成投影不准确，导致投影点的错位。步骤(2)建立所有投影点的最小外包矩形，利用格网划分所述最小外包矩形；步骤(3)建立一矩形图形，利用格网划分所述矩形图形，所述矩形图形与最小外包矩形具有相同的格网间距，且所述矩形图形的任一网格单元在所述最小外包矩形中具有对应的网格单元；步骤(4)计算所述矩形图形中所有网格单元的灰度值，其中，对于所述矩形图形中的任一网格单元，利用所述最小外包矩形中距离对应网格单元最近的投影点的反射强度值计算灰度值，将该灰度值赋予矩形图形中的网格单元。

优选的是，所述的基于中心投影的地面激光雷达反射强度图像的生成方法中，

所述步骤一中，所述激光点云位于地面激光雷达仪器坐标系内，该坐标系是以地面激光雷达的激光源中心为坐标原点，y轴为仪器在初始化时的固定方向，z轴竖直向上并垂直于y轴，x轴垂直于yoz平面，其正方向由右手螺旋法则确定；

所述步骤(2)中，以所述最小外包矩形的一个顶点为原点、以该顶点对应的两个边分别为横轴ox和纵轴oy、以垂直于xoy平面为z轴方向建立一投影平面空间直角坐标系o-xyz，并使所有投影点均位于第一卦限内，将所有投影点由所述地面激光雷达仪器坐标系变换至所述投影平面空间直角坐标系下，在所有的投影点中，计算最大和最小的横坐标值的差值，计算最大和最小的纵坐标值的差值；

所述步骤(3)中，建立一个与投影平面空间直角坐标系完全重合的像平面坐标系，在所述像平面坐标系内建立矩形图形时，以横坐标的差值的整数值为所述矩形图形的宽，以纵坐标的差值的整数值为所述矩形图形的高，其中，所述矩形图形的一个顶点与所述像平面坐标系的原点重合，该顶点对应的两个边分别为像平面坐标系的横轴和纵轴重合，以使所述矩形图形位于第一象限内。这里所说的横坐标的差值的整数值实际上为[横坐标的差值/采样间隔]+1，[]括号中的数值取整，同理，纵坐标的差值的整数值为[纵坐标的差值/采样间隔]+1，[]括号中的数值也取整，以此两个数值分别作为矩形图形的宽和高，然后将矩形图形利用点云采样间隔为间距的格网划分，而同时被划分的最小外包矩形由于其宽和高的距离不一定是采样间隔的整数倍，所以最小外包矩形在沿横轴和纵轴方向远离原点的两侧可能会出现不是完整的一个格网的情况，但是，此时，仍使用这些可能不是完整的格网中的投影点，当使用邻域搜索算法进行灰度值的计算时，仍将投影点的反射强度转化为灰度值后赋予矩形图形相应的格网单元中，最终生成反射强度图像。

优选的是，所述的基于中心投影的地面激光雷达反射强度图像的生成方法中，所述格网间距为所述地面激光雷达的采样间距。

优选的是，所述的基于中心投影的地面激光雷达反射强度图像的生成方法中，所述步骤(4)中，对于所述最小外包矩形中任一网格单元，距离最近的投影点通过邻域搜索方法计算得到。

优选的是，所述的基于中心投影的地面激光雷达反射强度图像的生成方法中，所述步骤(2)中，在进行任一投影点的坐标变换时，先计算横轴ox和纵轴oy轴在所述地面激光雷达仪器坐标系下的空间直线方程，再计算投影点到横轴和纵轴的距离x和y，则该投影点在投影平面空间直角坐标系o-xyz内的坐标为(x，y，0)。

优选的是，所述的基于中心投影的地面激光雷达反射强度图像的生成方法中，所述步骤二中，在所述地面激光雷达仪器坐标系内，所述投影平面的具体计算过程为：

利用由所述投影中心(x0，y0，z0)向所述中心点(xd，yd，zd)形成中心点投影射线，并计算出该投影射线所在的空间直线方程：

利用所述中心点投影射线空间直线方程和所述中心点(xd，yd，zd)计算出所述投影平面的方程式：

(xd-x0)(x-xd)+(yd-y0)(y-yd)+(zd-z0)(z-zd)＝0。

优选的是，所述的基于中心投影的地面激光雷达反射强度图像的生成方法中，所述步骤二中，任一投影点的具体计算过程为：

首先利用由所述投影中心(x0，y0，z0)向所述激光点云中的任一点(xa，ya，za)形成投影射线，并计算出经过该点的投影射线在所在地面激光雷达仪器坐标系的空间直线方程：

然后计算经过该点的投影射线与所述投影平面的交点(xj，yj，zj)，该交点为投影点。

步骤三、sift图像匹配和边界检测：

步骤(1)利用sift算法获得非同源图像之间多个同名点对。步骤(2)利用canny算子、边界追踪和曲线拟合的方法获取被测物体的边缘轮廓，并依此确定该区域的中心点在图像坐标系下的坐标，并对其进行标记。并利用蒙特卡洛随机点法对图像上闭合区域的面积进行计算和统计。

优选的是，所述利用sift算法获得非同源图像之间多个同名点对的步骤如下所述：

因sift算法是基于尺度空间的，对图像缩放、旋转甚至仿射变换能保持不变的图像局部特征描述算子，在针对于非同源的图像数据在相同特征处灰度值描述可能存在一定差别的情况下，该算法具有一定的普适性。因此首先采用sift算法对两种异源图像进行匹配，获得二者图像之间多个同名点对。

优选的是，所述利用canny算子、边界追踪和曲线拟合的方法获取被测物体的边缘轮廓，并依此确定该区域的中心点在图像坐标系下的坐标，并对其进行标记。并利用蒙特卡洛随机点法对图像上闭合区域的面积进行计算和统计的具体步骤如下所述：

因canny算子是边缘检测中可以较为完整的质量较高地获取到图像的边缘信息的，因此本发明的发明人利用canny算子对两种不同源图像进行边缘检测，并根据边界追踪和曲线拟合的方法获取得到两种不同源图像数据的闭合被测物体的边缘轮廓，并依此确定该区域的中心点在图像坐标系下的坐标，并对其进行标记。并利用蒙特卡洛随机点法对图像上闭合区域的面积进行计算和统计。

步骤四、辐射纠正模型的确定：

根据同质区域的特性计算辐射纠正模型，将两种非同源图像上同质区域的灰度纠正到模型改正后的值。

优选的是，所述辐射纠正模型的确定过程具体步骤如下所述：

根据sift匹配得到的同名点对以及通过边缘检测获取的闭合曲线内的中心点计算各中心点与匹配得到的距离最近的同名点在图像坐标系下的距离，以两种非同源图像上闭合区域中心点到相同同名点对距离大致相等且面积也大致相同的区域认定为是同质区域。对上述同质区域进行直方图统计，计算在非同源图像数据上不同灰度的辐射纠正模型，将图像上同一区域的灰度进行纠正到模型改正后的值。从而得到经辐射纠正后的两种非同源数据图像。

步骤五、纠正后sift图像匹配：

同步骤三，将纠正后的两种非同源图像进行sift匹配，获取到新的同名点对。将反射强度图像上的点通过索引到在原激光点云数据中的三维点，即可找到与近景影像匹配上的激光点云中的三维点。

步骤六、激光点云与近景影像的配准：

步骤(1)计算重心化的空间相似变换模型。步骤(2)像空间坐标系和激光点云坐标系缩放系数λ的解算。步骤(3)激光点云与近景影像配准参数模型的推导。

优先的是，所述计算重心化的空间相似变换模型的过程如下所述：

将近景影像的像点(以下简称为像点)和激光点云的物方点(以下简称为物方点)坐标的重心化，像点位于像空间坐标系内，其相对于物方坐标系之间空间相似变换的一般模型为：

式中，(x，y，z)为物方点的物方空间坐标；λ为坐标系间的缩放系数；r为两个坐标系间的旋转矩阵；f为相机焦距；(x，y，-f)为像点的像空间坐标系下的坐标；(xs，ys，zs)为摄影中心的物方空间坐标。重心化坐标后，可以有效地减少坐标在计算中的有效位数，提高计算精度，还可以使法方程式的系数简化，加快计算速度。将像点和物方点坐标进行重心化后，式(1)变换为

优选的是，所述像空间坐标系和激光点云坐标系缩放系数λ的解算的步骤如下所述：

由式(2)可求缩放系数λ，首先对式(2)两边取转置，再与式(2)相乘，由λ＞0且由r为正交旋转矩阵的特性，每对配准点的缩放系数计算公式为

优选的是，所述激光点云与近景影像配准参数模型的推导的步骤如下所述：

本发明利用反对称矩阵的方法求解配准参数模型，设一反对称矩阵为

r为正交旋转矩阵，由正交矩阵和反对称矩阵的运算性质有

r＝(i+s)(i-s)-1(5)

将式(4)、式(5)代入式(2)，推导出配准角度参数(a，b，c)的模型方程式

该模型运算速度较快，可以较易用程序实现。对所有同名点按照式(3)计算缩放系数，应用最小二乘平差求解。若式(6)简写为：

ax-l＝0

则其法方程解的表达式为

x＝(ata)-1atl(7)

得到(a，b，c)参数后，按照式(5)计算旋转矩阵，应用旋转矩阵各个元素与角元素的关系，计算影像摄影时空间姿态角元素。根据角元素和式(1)求解配准参数线元素。即可得到影像在拍摄瞬间相对于物方的外方位元素。

本发明的有益效果为：

1、本发明通过统计计算得到辐射纠正模型后得到的非同源图像数据，使得两种非同源图像在同质区域内的差异性降低了，从而在一定程度上增加了匹配点对；

2、通过本发明方法进行两种非同源图像数据的匹配时，因经过了辐射纠正，不仅大大提高了匹配的点对数量而且也提高了匹配的精度和可靠性，也在一定程度上降低了非同源图像数据的差异性，并在一定程度上解决了非同源图像数据的匹配问题；

3、通过本发明方法生成的地面激光雷达反射强度图像与近景影像匹配得到的匹配点对可以为地面激光雷达点云与近景影像的配准提供更加可靠和准确的同名点。

附图说明

图1为本发明所述的基于辐射纠正的激光点云与光学影像自动匹配方法的流程图；

具体实施方式

下面结合附图对本发明做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

如图1所示，本发明提供一种基于中心投影变换的激光点云与影像自动配准方法，包括如下步骤：

步骤一、数据采集：使用地面三维激光扫描仪获取被测对象的激光点云，使用数码相机获取待扫描物的近景影像，所述激光点云均位于地面激光雷达仪器坐标系内，该坐标系是以地面激光雷达的激光源中心为坐标原点，y轴为仪器在初始化时的固定方向，z轴竖直向上并垂直于y轴，x轴垂直于yoz平面，其正方向由右手螺旋法则确定；

根据激光点云与影像的关系以及相机传感器的大小、焦距，并保证相机与被测对象之间的竖直角不超过30°，以尽量减少摄影误差对于近景影像的影响以及近景影像与反射强度图像的差异的影响。根据被测对象的形状、尺寸和表面纹理信息的情况，并根据激光点云的采样间隔与近景影像的采样间隔比例1∶1，从而选择地面激光雷达扫描分辨率以及与被测对象之间的距离。获取得到近景影像后对影像进行灰度化。

步骤二、基于中心投影的激光反射强度图像的生成：

步骤(1)、将地面激光雷达的激光源作为投影中心(x0，y0，z0)，一般地面激光点云以阵列式存储，选取点云阵列的中心点作为激光点云的中心点(xd，yd，zd)，利用由所述中心点(xd，yd，zd)和所述投影中心(x0，y0，z0)形成中心点投影射线，并计算出该投影射线在地面激光雷达仪器坐标系内的空间直线方程：

利用所述中心点投影射线的空间直线方程和所述中心点(xd，yd，zd)计算出所述投影平面的方程式：

(xd-x0)(x-xd)+(yd-y0)(y-yd)+(zd-z0)(z-zd)＝0。

利用由所述投影中心(x0，y0，z0)向所述激光点云所有点中的任一点(xa，ya，za)形成投影射线，并计算出经过该点的投影射线所在的空间直线方程：

然后计算经过该点的投影射线与所述投影平面的交点(xj，yj，zj)，该交点为投影点。

步骤(2)、建立所有投影点的最小外包矩形，以所述最小外包矩形的一个顶点为原点，此处使用的是该最小外包矩形的左上角点，以该左上角点对应的向东方向和向南方向分别为横轴ox和纵轴oy，以垂直于xoy平面为z轴方向建立一投影平面空间直角坐标系o-xyz，这样最小外包矩形位于第一卦限内，先计算横轴ox和纵轴oy轴在地面激光雷达仪器坐标系下的空间直线方程，再计算投影点(xj，yj，zj)到横轴和纵轴的距离x和y，则计算出该投影点在投影平面空间直角坐标系o-xyz内的坐标为(x，y，0)，因所有投影点均在投影平面xoy内，所以投影点在o-xyz坐标系内的z值均为0，在所有的投影点中，计算最大和最小的横坐标值的差值，计算最大和最小的纵坐标值的差值，利用格网划分所述最小外包矩形；

步骤(3)、以投影平面空间直角坐标系的原点为原点，所述空间直角坐标系ox轴为x轴，oy轴为y轴，建立一像平面坐标系，所述像平面坐标系是与投影平面空间直角坐标系的xoy平面完全重合的坐标系，所述像平面坐标系的单位为激光雷达点云的采样间隔。在该像平面坐标系内建立一矩形图形，以该矩形图形的左上角点与像平面坐标系的原点重合，该左上角点对应的向东和向南的两条边分别与像平面坐标系的x轴和y轴重合，使该矩形图形与最小外包矩形都位于第一象限内，以[横坐标的差值/采样间隔]+1的整数值(即[]括号中的数值取整)作为所述矩形图形的宽，以[纵坐标的差值/采样间隔]+1的整数值(即[]括号中的数值取整)作为所述矩形图形的高。利用格网划分所述矩形图形，格网间距为地面激光雷达的采样间距，并设定地面激光雷达的采样间距为像素大小，矩形图形与最小外包矩形的格网间距相同，且矩形图形的任一网格单元在所述最小外包矩形中具有对应的网格单元。

步骤(4)、计算所述矩形图形中所有网格单元的灰度值，其中，对于所述矩形图形中的任一网格单元，通过邻域搜索方法计算得到与最小外包矩形中网格单位距离最近的投影点，首先从投影平面的空间直角坐标系下的原点(即像平面矩形图形原点)开始，以激光点云的采样间隔(即像素大小)为步长，逐行逐列地在一个激光点云采样间隔的邻域内搜索在投影平面内与矩形图形上的格网点距离最邻近的点，将最邻近点的激光反射强度值(一般激光反射强度值为(0，1))直接利用线性拉伸的方法转换为灰度值(一般反射强度值为(0，255))，将该灰度值赋予矩形图形中的网格单元。为了加速搜索最邻近点，本发明的邻域搜索方法中利用mpi并行处理加快计算速度。

步骤三、sift图像匹配和边界检测：

步骤(1)、因sift算法是基于尺度空间的，对图像缩放、旋转甚至仿射变换能保持不变的图像局部特征描述算子，在针对于非同源的图像数据在相同特征处灰度值描述可能存在一定差别的情况下，该算法具有一定的普适性。因此首先采用sift算法对两种异源图像进行匹配，获得二者图像之间多个同名点对。

步骤(2)、因canny算子是边缘检测中可以较为完整的质量较高地获取到图像的边缘信息的，因此本发明的发明人利用canny算子对两种不同源图像进行边缘检测，并根据边界追踪和曲线拟合的方法获取得到两种不同源图像数据的闭合被测物体的边缘轮廓，并依此确定该区域的中心点在图像坐标系下的坐标，并对其进行标记。并利用蒙特卡洛随机点法对图像上闭合区域的面积进行计算和统计。

步骤四、辐射纠正模型的确定：

步骤五、纠正后sift图像匹配：

步骤六、激光点云与近景影像的配准：

步骤(1)、重心化的空间相似变换模型：

首先将近景影像的像点(以下简称为像点)和激光点云的物方点(以下简称为物方点)坐标的重心化，像点位于像空间坐标系内，其相对于物方坐标系之间空间相似变换的一般模型为：

步骤(2)、缩放系数λ的解算：

由式(2)可求缩放系数λ，首先对式(2)两边取转置，再与式(2)相乘，由λ＞0且由r为正交旋转矩阵的特性，每对配准点的缩放系数计算公式为

步骤(3)、配准参数模型的推导