一种基于激光点云与微光图像融合的方法及装置与流程

本发明属于飞行器测量信息融合，具体涉及一种基于激光点云与微光图像融合的方法及装置。

背景技术：

1、现有技术中，飞行器在飞行时会面临各种复杂气候条件以及各种不同的障碍物，例如天线、塔、电线杆、树等。因此，飞行器在飞行过程中有躲避孤立障碍物的需求，特别在夜晚到凌晨这段时间内，由于阳光及地面辐射热量影响的减小，使得树木、路面、以及建筑物等地面目标的温差逐渐缩小，导致红外图像的对比度降低，加大了目标识别的难度。激光雷达具有高精度距离信息，提供了目标的轮廓及大小信息，增加了目标识别的置信度，但激光雷达易受沙尘及烟雾影响，使得性能会下降。因此仅使用一种传感器的数据来进行目标识别，识别准确率难以保证，不能适应不同飞行环境。

2、申请公布号为cn 115546594 a的中国发明专利，公开了一种基于激光雷达和相机数据融合的实时目标检测方法，采用卷积神经网络模型和利用rgb相机实现，需要对采集的信息进行训练，然后输出检测结果，训练神经网络模型的过程复杂，显示效果和感官效果不强烈，被测目标场景的检测结果的精准度不高。

3、需要一种显示效果和感官效果强烈，被测目标场景的检测结果的精准度高的方法，以获得被测目标场景的一致性和精确性，进而使得飞行器能够适用于多种天气条件下对于目标场景的识别，减少误判的可能性。

技术实现思路

1、本发明的目的是提供一种基于激光点云与微光图像融合的方法，用于解决被测目标场景的检测结果的精准度不高，检测结果的显示效果和感官效果不强烈的问题。

2、本发明进一步的目的是提供一种基于激光点云与微光图像融合的装置。

3、本发明解决其技术问题的技术方案为：

4、一种基于激光点云与微光图像融合的方法，包括以下步骤：

5、s1：采集目标场景的点云数据与图像数据，得到三维点云图像和微光图像；

6、s2：通过投影转换，将三维点云图像的数据点投影到参考平面坐标系获得投影点，根据投影点与数据点的位置关系，计算得到投影点的方位夹角α和俯仰夹角β，将方位夹角α和俯仰夹角β作为投影点在参考平面坐标系中的坐标，将数据点的反射率归一化到参考平面坐标系中作为投影点的灰度值，所有的投影点构成二维点云图像；

7、s3：通过确认标定点的方式将二维点云图像与微光图像进行配准，通过透视变换，将二维点云图像叠加到微光图像坐标系，二维点云图像与微光图像组成参考图像；

8、s4：将参考图像由rgb空间转换到yuv空间，在yuv空间通过将参考图像的yuv均值和标准差传递给yuv空间的彩色初始分量得到初步融合彩色图像，将初步融合彩色图像转换到rgb空间，获得二维点云图像和微光图像的融合伪彩图像。

9、所述步骤s2还包括对二维点云图像的空点补全，所述空点补全的方法为：对每一个等于0的点的八邻域取值，若八邻域的值为0，则该等于0的点的值为0，若八邻域的值不为0，则对八邻域的值排序，取该序列中的中值作为该等于0的点的值。

10、所述步骤s3中的标定点为标定板上黑白网格的交点。

11、所述步骤s3中的标定点为sift算法确定的二维点云图像与微光图像的对应特征点。

12、所述步骤s3中的配准方法如下：

13、p1：通过平行光管，使得点云图像和微光图像中心视场的点对齐，即点云图像和微光图像共光轴；

14、p2：对点云图像的视场范围进行裁剪，使得点云图像和微光图像视场范围相同。

15、所述步骤s3中的透视变换的方法为：根据标定点以及二维点云图像与微光图像之间相对应的透视中心、像点和目标点，将透视面绕透视轴旋转一定角度，使得透视中心、像点和目标点三点共线。

16、所述步骤s3中的透视变换的公式为：其中，(x,y,1)表示二维点云图像坐标系的坐标，(x',y',1)表示投影到微光图像坐标系的坐标，表示变换参数矩阵。

17、所述步骤s4中的初始融合的计算公式为：其中，y'、u'、v'表示初始彩色图像的yuv分量，表示参考图像y通道的标准差，表示初始彩色图像y通道的标准差，ys表示初始彩色图像y通道的值，表示初始彩色图像y通道的均值，表示参考图像y通道的均值，表示参考图像u通道的标准差，表示初始彩色图像u通道的标准差，us表示初始彩色图像u通道的值，表示初始彩色图像u通道的均值，表示参考图像u通道的均值，表示参考图像v通道的标准差，表示初始彩色图像v通道的标准差，vs表示初始彩色图像v通道的值，表示初始彩色图像v通道的均值，表示参考图像v通道的均值。

18、所述初始融合还包括对初始彩色图像进行修正，具体修正公式为：其中；v(i,j)表示微光图像数据点的坐标,pc(i,j)表示二维点云图像数据点的坐标，ys(i,j)表示初始彩色图像y通道数据点的坐标，us(i,j)表示初始彩色图像u通道数据点的坐标，vs(i,j)表示初始彩色图像v通道数据点的坐标，d1,e1,d2,e2,d3,e3为正有理数，且满足d1+e1＝1，d2,e2,d3,e3的值由u通道和v通道的取值决定，u的值越大，d2的值越大，e2的值越小；v的值越小，d3的值越大，e3的值越小。

19、一种基于激光点云与微光图像融合的装置，包括：

20、采集模块，用于采集目标场景的点云数据与图像数据；

21、转换模块，用于将三维点云图像转换为二维点云图像，将二维点云图像叠加到微光图像坐标系；

22、处理模块，用于将二维点云图像和微光图像进行融合，获得二维点云图像和微光图像的融合伪彩图像。

23、本发明的有益效果为：通过采集目标场景的点云数据与图像数据，将三维点云图像转换为方位夹角与俯仰夹角的二维点云图像，通过配准和透视变换将二维点云图像与微光图像叠加到统一坐标系，对二维点云图像和微光图像进行融合，得到二维点云图像和微光图像的融合伪彩图像，此方法中的同一坐标系下的配准方法简单，计算复杂度相对较低，减少计算量，缩短计算时间，此融合伪彩色图像显示出的被测目标场景的检测结果的精准度高，并且检测结果的显示效果和感官效果强烈，保证了被测目标场景的一致性和精确性，此方法易于应用于往嵌入式系统中。

技术特征：

1.一种基于激光点云与微光图像融合的方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的基于激光点云与微光图像融合的方法，其特征在于：

3.根据权利要求1所述的基于激光点云与微光图像融合的方法，其特征在于：所述步骤s3中的标定点为标定板上黑白网格的交点。

4.根据权利要求1所述的基于激光点云与微光图像融合的方法，其特征在于：所述步骤s3中的标定点为sift算法确定的二维点云图像与微光图像的对应特征点。

5.根据权利要求1所述的基于激光点云与微光图像融合的方法，其特征在于：

6.根据权利要求1所述的基于激光点云与微光图像融合的方法，其特征在于：

7.根据权利要求6所述的基于激光点云与微光图像融合的方法，其特征在于：所述步骤s3中的透视变换的公式为：

8.根据权利要求1所述的基于激光点云与微光图像融合的方法，其特征在于：

9.根据权利要求8所述的基于激光点云与微光图像融合的方法，其特征在于：

10.一种基于激光点云与微光图像融合的装置，其特征在于，包括：

技术总结
本发明公开了一种基于激光点云与微光图像融合的方法及装置，包括以下步骤：首先，采集目标场景的点云数据与图像数据，得到三维点云图像和微光图像；其次，通过投影转换，三维点云图像的数据点投影到参考平面坐标系获得投影点，根据投影点与数据点的位置关系，所有的投影点构成二维点云图像；再次，通过配准和透视变换，将二维点云图像叠加到微光图像坐标系，二维点云图像与微光图像组成参考图像；最后，将参考图像由RGB空间转换到YUV空间，在YUV空间得到初步融合彩色图像，再将初步融合彩色图像转换到RGB空间，获得二维点云图像和微光图像的融合伪彩图像。此融合伪彩色图像的显示出的被测目标场景的检测结果的精准度高，并且检测结果的显示效果和感官效果强烈，保证了被测目标场景的一致性和精确性。

技术研发人员：丁鑫,赵渊明,段海洋,杜静涵,王刚刚,秦刚,孟祥,谢婷婷,巴梓轩
受保护的技术使用者：中国电子科技集团公司第二十七研究所
技术研发日：
技术公布日：2024/1/16