一种联合红外图像的激光点云三维重建方法

本发明属于激光雷达深度估计技术，具体为一种联合红外图像的激光点云三维重建方法。

背景技术：

1、随着科技的发展，光子计数激光雷达由于其具有主动成像能力，作用距离远、成像精度高等特征，在军事领域和民用领域有着广泛的应用。光子计数激光雷达的核心技术是单光子探测器和时间相关单光子计数(time-correlated single-photon counting,tcspc)技术。单光子探测器是工作在盖革模式下的雪崩光电二极管(geiger-modeavalanche photo diode,gm-apd)。由tcspc技术得到每个扫描像素的光子计数直方图，其中包含了对应像素的深度信息，进而得到场景的三维信息。

2、光子计数激光雷达虽然经过了技术的不断进步，实现了更远距离的测距和成像，但是在更复杂的远距离场景下，信号光子淹没在大量的噪声信号中。在高背景噪声和微弱回波信号的情况下，目前的方法无法恢复高质量的三维深度图。

3、shin等人提供了一种从噪声光子探测数据中计算重建深度和反射率的方法，结合了单光子探测的单噪声模型和利用现实场景中存在的高度空间相关性，但是其方法在远距离重建时质量较差，无法恢复高精度的三维场景(1.shin d,xu f,wong f n,etal.computational multi-depth single-photon imaging[j].optics express,2016,24(3):253588)。kang y等人提出了了一种基于少量回波光子的快速远距离目标三维成像方法，实现900m距离的三维成像，但是其只对简单目标进行探测，在更远距离的多目标场景下效果较差(kang y,li l,liu d,et al.fast long-range photon counting depthimaging with sparse single-photon data[j].ieee photonics journal,2018,10(3):)。julian tachella等人提出了一种利用单光子单波长激光雷达数据进行三维重建的新方法，采用贝叶斯方法，将要恢复的3d结构建模为标记点过程，并提出可逆跳跃马尔可夫链蒙特卡罗(rj-mcmc)移动来采样感兴趣的后验分布。但是其求解速度较慢，在实时性成像方面较差(tachella j,altmann y,ren x,et al.bayesian 3dreconstruction ofcomplex scenes from single-photon lidar data[j].siam journal on imagingsciences,2019,12(1):521-550)。

技术实现思路

1、本发明的目的在于提出一种联合红外图像的激光雷达三维重建方法，以解决在远距离、高背景散射等问题导致的深度信息缺失和成像质量低的问题，从而更准确的估计场景的三维深度信息。

2、实现本发明目的的技术方案为：一种联合红外图像的激光点云三维重建方法，具体步骤为：

3、步骤1：采集目标的光子飞行时间数据和二维高分辨率红外图像；

4、步骤2：绘制目标的全部的光子飞行时间数据直方图，根据直方图得到潜在的目标深度聚类位置，并根据深度聚类位置进行全像素开窗，分离出噪声和信号光子，得到初始的光子信号集合和初始低分辨率激光雷达深度图像；

5、步骤3：手动配准步骤2得到的始低分辨率激光雷达深度图像与步骤1得到的二维高分辨率红外图像；

6、步骤4：寻找深度信息错误的像素点和信息缺失的空像素点；

7、步骤5：借助配准后的红外图像进行信息补全深度信息错误的像素点和信息缺失的空像素点，得到补全后的光子集合；

8、步骤6：构建深度图像重建的凸优化模型，使用全变分范数的正则化项，选择稀疏泊松重建算法的计算框架进行求解，得到高精度的激光雷达三维深度估计图像。

9、优选地，步骤1中利用激光雷达成像系统采集目标的光子飞行时间数据和二维高分辨率红外图像。

10、优选地，利用激光雷达成像系统采集目标的光子飞行时间数据和二维高分辨率红外图像的具体方法为：

11、激光雷达与红外相机同轴放置；

12、激光器发射的激光脉冲分成两束，一束通过发射扫描组件后到达探测目标，接收光学系统接收目标漫反射的光；

13、另一束由光电探测器接收，在时间相关光子计数系统形成起始信号，并触发计时电路开始计时，在回波经过接收系统到达探测器时形成一个停止信号，获得光子飞行时间，在使用激光雷达对目标进行探测时，使用红外相机采集得到目标的红外图像。

14、优选地，绘制目标的全部的光子飞行时间数据直方图，根据直方图得到潜在的目标深度聚类位置，并根据深度聚类位置进行全像素开窗，分离出噪声和信号光子，得到初始的光子信号集合和初始的低分辨率激光雷达深度图像，并且手动配准此深度图像与高分辨率红外图像的具体方法为：

15、步骤2.1：以时间为横坐标，光子个数为纵坐标，绘制目标所有像素的光子飞行时间直方图，由直方图得到局部峰值点集合{k1,k2,...,kn)}，其中kn表示第n个局部峰值对应的光子个数，假设kt为集合的最大值，将其对应的权重设置为1，其余局部峰值点的权重由此得到权重集合{w1,w2,...,wn}，并将权重集合进行下降排序并进行梯度操作，如果连续两次以上梯度值小于设置的阈值α，则认为处于稳定阶段，保留大于该梯度值对应的所有局部峰值点集合，作为可靠的深度聚类；

16、步骤2.2：保留可靠的深度聚类中峰值点前后tp/2的光子飞行时间作为信号光子的光子飞行时间，tp为发射激光的脉宽；

17、步骤2.3：根据像素内的回波光子数删除噪声，如果像素内的回波光子数m大于阈值m0，并且该像素内的光子飞行时间方差大于阈值k，则认为该像素内的光子信号是噪声，将其去除，反之则保留，其中ti是该像素内第i个信号的光子飞行时间，是该像素内所有光子飞行时间的平均值；

18、得到去除噪声的目标所有像素光子信号集合其中(xi,yi)表示第i个像素的坐标，ti＝{t1,t2,...,tn}是对应的光子飞行时间集合；

19、由每个像素的光子飞行时间的平均值乘上二分之一光速估算每个像素对应的距离，得到目标初始的深度图像。

20、优选地，手动配准始低分辨率激光雷达深度图像与二维高分辨率红外图像，具体方法为：

21、步骤3.1：从激光雷达深度图像中选择能够表示图像特征的两点(x1,y1),(x2,y2)，在红外图像中选择与之对应的两点(px1,py1),(px2,py2)；

22、步骤3.2：确定新的配准后的红外图像的中心点位置为：

23、

24、

25、步骤3.3：根据图像中心参考点确定切割范围，将原始高分辨率红外图像中与低分辨率深度图像对应的区域截取出来，得到配准后的红外图像：

26、

27、

28、

29、

30、其中，cutl、cutr、cutu、cutd分别代表原始红外图像左、右、上、下边界截取的像素坐标值。

31、优选地，寻找信息缺失的空像素点的具体方法为：

32、寻找光子信号集合中空像素点的四邻域像素探测方位是否存在目标回波信号，如果均不存在目标回波信号，则说明该像素点的位置实际不存在目标，对回波信号不做任何处理；如果该空像素点的四邻域像素的探测方位存在回波，说明该空像素点的位置实际存在目标，但是激光雷达系统在接收和处理过程中出现了目标信号缺失，将该空像素点确定为信息缺失的空像素点；其中，空像素是指不存在任何回波信号的像素。

33、优选地，寻找深度信息错误的像素点的具体方法为：

34、遍历所有像素点，如果某个像素点邻域3*3的区域空间内没有其他异常点，并且满足：则将此像素点判定为深度信息错误点，其中，表示待判断像素的深度，是像素(i,j)邻域的第k个像素，是邻域k个像素深度的均值，m是像素(i,j)邻域不为空像素的个数，τ是设置的一个常数。

35、优选地，对深度信息错误的像素点和信息缺失的空像素点借助配准后的红外图像进行信息补全的具体方法为：

36、对于第i个异常点，如果它的m*m邻域不存在回波，则处理下一个点，否则计算异常点i与存在回波的邻域方位对应的局部红外图像区域相似度ssim，如果相似度ssim大于阈值，则将相似程度高于阈值的局部图像对应的探测方位中的回波填充到异常点i中；得到光子集合

37、优选地，构建深度图像重建的凸优化模型，并采用稀疏泊松重建框架重建高质量的三维场景信息的具体方法为：

38、构建成本函数的负对数似然函数：

39、

40、其中，cst是常数，λi,j,t＝ηαi,js(t-ti,j)+ηbi,j+d，是像素(i,j)里的第t个时间单元中发生光子计数的期望，其中，ηbi,j+d＝0，在对成本函数去除不影响估计的常量后得到：

41、

42、其中，ε是一个远小于1的正数，避免了l(t)等于0，是像素(i,j)处的深度估计；

43、构建的优化问题具体的表达式为：

44、

45、subject to t＞0

46、其中，是深度图像像素(i,j)的估计值，φ(t)是使用全变分范数的正则化项，具体的表达式为：

47、

48、选择稀疏泊松重建算法的计算框架求解上式，得到高精度的激光雷达深度估计图像。

49、本发明与现有的技术相比，其显著优点：(1)本发明通过激光雷达的全部光子飞行时间数据直方图的峰值权重，区分出可靠的深度聚类，在进行远距离多目标场景成像时，相比于传统的单像素开窗进行噪声和信号的分离的方法，可以更好的保留大部分的目标细节，提升了在少回波光子条件下的鲁棒性；(2)本发明联合了同一场景红外图像的信息，红外图像是一种被动成像技术，相比于激光雷达，具有较高的分辨率，联合红外图像进行激光雷达三维重建可以使激光点云信息更加完整，重建的图像更加准确；(3)本发明在最后求解构建的激光雷达成像凸优化模型，可以有效的滤除平滑区域的噪声和保留边缘信息，构建更加平滑的三维图像。

50、下面结合附图对本发明作进一步详细描述。