一种双体制视觉融合的导航相机相对成像测量方法与流程

1.本发明涉及月球车自主行驶的技术领域，特别涉及一种双体制视觉融合的导航相机相对成像测量方法。


背景技术：

2.月面自主行驶时需要获取月面周围环境，包括灰度信息或者深度距离信息，常用的成像测量手段包括双目立体成像或者激光成像雷达，其中双目立体成像由于是被动光成像，立体恢复以及月面成像效果受光照影响较大，阴影区目标成像效果较差且存在深度恢复失败的现象，同时受限于月面本身的纹理缺失且纹理重复的特点，利用双目灰度图像恢复深度数据精度较差且容易失效；激光成像雷达作为主动光测量体制不受光照影响，可以稳定可靠获取月面三维信息，但是由于传统的激光成像雷达存在体积和功耗大的缺点且无法获取月面的灰度信息，月面使用较为受限。


技术实现要素：

3.本发明的目的在于提出一种双体制视觉融合的导航相机相对成像测量方法，通过融合主动光与被动光测量体制，来获取月面的灰度与三维信息，以支持月球车自主行驶。本发明还提供一种可以使用上述方法的导航相机，以及配置上述导航相机的一种月球车。
4.为了达到上述目的，本发明的一个技术方案在于提供一种双体制视觉融合的导航相机相对成像测量方法，在月球车进行月面自主行驶时用于获取相对导航信息，其特征在于，
5.对两个可见光相机头部获取的数据，利用可见光双目立体视觉被动成像原理，得到月面三维点云信息以及灰度信息；
6.对一个tof相机头部获取的数据，利用tof主动光测距原理，得到月面三维点云信息；
7.融合tof主动光成像体制和双目可见光被动成像体制，将两组月面三维点云信息融合，对月面纹理缺失或纹理重复区域进行月面深度恢复。
8.可选地，将tof相机头部获得的目标点的三维坐标，同时投影到两个可见光相机头部的双目可见光像平面上，然后在投影点的附近选择roi区域进行局部特征点提取与匹配，来获取该目标点的三维信息。
9.可选地，两个可见光相机头部通过横向的安装支架，分别布置在tof相机头部的两侧。
10.本发明的另一个技术方案在于提供一种导航相机，包含两个可见光相机头部、tof相机头部、算法功能模块；所述算法功能模块进一步包含：
11.双目立体视觉深度恢复模块，利用可见光双目立体视觉被动成像原理，对两个可见光相机头部获取的数据进行处理，得到月面三维点云信息以及灰度信息；
12.tof相机深度恢复模块，利用tof主动光测距原理，对tof相机头部获取的数据进行
处理，得到月面三维点云信息；
13.双体制融合深度恢复模块，融合tof主动光成像体制和双目可见光被动成像体制，将两组月面三维点云信息融合，对月面纹理缺失或纹理重复区域进行月面深度恢复。
14.可选地，双体制融合深度恢复模块将tof相机头部获得的目标点的三维坐标，同时投影到两个可见光相机头部的双目可见光像平面上，然后在投影点的附近选择roi区域进行局部特征点提取与匹配，来获取该目标点的三维信息。
15.可选地，所述导航相机还包含安装支架；两个可见光相机头部通过横向的安装支架，分别布置在tof相机头部的两侧。
16.可选地，所述导航相机还包含电源与信息处理盒，内部设有电源模块、核心处理器以及相应外围电路；所述算法功能模块通过所述核心处理器执行数据的处理。
17.本发明的又一个技术方案在于提供一种月球车，其设置有上述任意一种导航相机；在月球车进行月面自主行驶时，通过所述导航相机获取相对导航信息。
18.本发明的方法，融合了tof主动光成像与双目被动光成像双体制的优点，确保月球车能获取到稳定可靠的月面深度与灰度信息，应用于月面自主行驶。
19.本发明的优点和技术效果在于：
20.作用距离不小于50m；光照影响小；可以获取月面灰度图像，恢复视场内该距离内的月面三维点云数据，融合tof主动光模块与双目可见光模块，恢复月面纹理缺失或重复区域的三维点云数据。
附图说明
21.图1为导航相机的示意图；
22.图2为双目相机深度恢复示意图；
23.图3为tof相机深度恢复示意图，
24.图4为双体制融合示意图。
具体实施方式
25.月面自主行驶时，利用导航相机对月面进行灰度与深度信息获取后进行导航信息解析，是月面自主行驶获取导航信息所需的测量手段。
26.本发明提供了一种双体制融合的导航相机相对成像测量方法，它融合了tof(time of flight)主动光和双目被动光成像机制，在月球车进行月面自主行驶时用于获取相对导航信息。本发明还提供了可以上述方法的导航相机，以及配置该导航相机的月球车。
27.本实施例的方法中，利用可见光双目立体视觉被动成像原理，获取月面三维点云信息以及灰度信息；并且，利用tof主动光测距原理获取月面三维点云信息；通过双目可见光以及tof相机的主被动融合体制，对月面纹理缺失或纹理重复区域进行月面深度恢复。主要完成不小于50m范围内的基于月面环境感知、月面的三维重建以及场景监视等功能。
28.如图1所示，运用上述方法的导航相机中，硬件部分包含tof相机模块、双目可见光模块、安装支架4，以及电源与信息处理盒5。
29.双目可见光模块包含两个可见光相机头部2；tof相机模块包含一个tof相机头部3。这两个可见光相机头部2通过横向的安装支架4，布置在tof相机头部3的两侧。示例地，可
见光相机头部2主要包括光学镜头、遮光罩、电子学等部分；tof相机头部3主要包括光学镜头、遮光罩、激光器、电子学等部分；该些部分可以根据本领域的技术知识进行相应配置，不一一列举。标记1示意性地表示月球车1。
30.电源与信息处理盒5中设有供电与信息处理模块，其包含电源模块、核心处理器以及相应外围电路。核心处理器中的算法功能模块，包括双目立体视觉深度恢复模块，tof相机深度恢复模块，双体制融合深度恢复模块。
31.利用两个可见光相机头部(对应左右相机)构成的双目视觉系统，使用特征点提取与匹配技术可以恢复场景的三维数据，其工作原理如图2所示，双目立体视觉深度恢复模块，根据目标在左右相机中的视差x
l-xr，双目基线长度b，以及相机焦距信息f，可以获取目标点的三维坐标(x,y,z)；其中，(x
l
,y
l
)和(xr,yr)分别是目标点在左相机和右相机像平面中的位置。
[0032][0033][0034][0035]
由于双目视觉系统的准确性受表面纹理影响，成像非常依赖物体表面的纹理，所以双目比较适用于纹理丰富的场景，或者采用主动成像的方法——用带有图案的结构光投影，通过反射回来的变形图案来解决对应点匹配的问题。故而，针对月面纹理相对不丰富的场景，左右相机利用场景图进行特征点提取与匹配阶段存在匹配失败、算法耗时较长的缺点，因此仅使用双目相机进行恢复场景三维点云存在一定局限，特别当场景距离较远时，纹理信息丢失时，双目视觉系统存在算法失效的情况。
[0036]
为此，本发明利用tof主动光测距原理获取月面三维点云信息，通过主被动体制融合，对月面纹理缺失或纹理重复区域进行月面深度恢复。
[0037]
tof相机头部使用tof探测器，通过控制曝光及采样电路实现对物体距离的测量，其工作时分别在相位90
°
、180
°
、270
°
和360
°
下采集图像数据；如图3所示，tof相机深度恢复模块根据这四帧图像数据，计算出发送光和接收光的相位差
[0038]
四帧图像dcs0、dcs1、dcs2、dcs3的光强度为：
[0039]
dcs0：
[0040]
dcs1：
[0041]
dcs2：
[0042]
dcs3：
[0043]
其中，a为接受信号能量幅值；
[0044]
方位角函数atan2的计算公式，如式(1)所示，输出角度范围(-π,π)。
[0045][0046]
由此可依据公式(2)计算出光传输的时间，再由公式(3)计算出距离。
[0047][0048][0049]
其中f
led
为led的频率，c为光速，dcs0～dcs3为探测器数据，t
offset
和d
offset
分别为时间和距离的偏移量。
[0050]
tof相机头部可以提供场景目标点三维坐标信息，双体制融合深度恢复模块进一步融合tof相机头部与双目可见光模块的数据：具体原理如图4所示，tof相机头部3获得的目标点的三维坐标，同时投影到双目可见光像平面21上，然后在投影点7的附近选择roi区域6进行局部特征点提取与匹配获取该点的三维信息。
[0051]
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。