一种针对共焦扫描测距系统中多径噪声的瞬态图渲染方法

1.本发明属于激光探测与测距(light detection and ranging，lidar)、光学成像、三维重建技术领域，特别涉及一种针对共焦扫描测距系统中多径噪声的三维场景瞬态图渲染方法。


背景技术：

2.传统的rgb相机只能记录下仅包含颜色和亮度信息的平面图像，这实际上只是现实中的三维场景在相机底片或其他感光器件所在的平面的投影，并不包含场景中各物体的深度信息。对计算机视觉系统而言，相关成像系统和计算机处理设备应当具有对捕获到的视觉信息加以智能化与自动化分析并理解的能力，而仅包含投影信息的二维图像往往无法满足智能化和自动化计算机视觉系统的需求。因此，在摄像时记录下场景中各物体的深度信息是很有意义的。能同时记录下场景中各物点的长度、宽度和深度坐标的成像技术就称为三维成像技术。
3.雷达系统是一种记录下被探测场景中各物体深度信息的重要手段之一，其通过测量发射信号在空间中的飞行时间来计算出探测系统与被测目标之间的距离，这种三维成像方法称为飞行时间成像(time of flight，tof)。除了最初工作在无线电波段的传统雷达以外，目前在短距离(数量级100m以内)三维成像领域较受欢迎的是工作在可见光和红外波段的激光雷达。共焦扫描激光测距系统是一种以激光雷达理论和技术为基础的光学测距系统，其特点在于首先通过光束整形技术和透镜的会聚作用得到能量较为集中的窄束激光束。随后，其扫描性体现在对于一个待探测的三维场景，每次只照射其中一个点，并通过光电转换设备收集照射该点时的反射光信号，随后通过由电压控制的振镜组改变激光束的偏转角度，使其照射待测场景的下一个点，并重复收集反射光信号的过程，从而实现对整个场景的扫描测距。另外，其共焦性体现在通过合理地设置各光学器件(包括激光器、光电转换设备、透镜、分束镜等)的空间位置，可以实现发射激光光束和反射光信号经透镜作用而形成的会聚点几乎重合，从而使得光电转化器进行光信号探测的位置可等效为与激光器此时所照射的位置相同。
4.在tof激光测距系统中，多径噪声是一种常见而不可避免的噪声现象，它是指在对场景中单个扫描点探测期间，系统中的光电转换器除了接收到来自被照射点一次直接反射光外，还接收到了由于被照射点对激光的漫反射效应而引起的来自场景中其他物体的多次间接反射光。当存在多径噪声时，光电转换器实际接收到的光信号等效为直接反射光与若干条多级反射光的线性组合。由于多径噪声的存在破坏了tof成像系统中“反射光信号只经过被照射点的一次直接反射”这一基本假设，因此多径噪声可能会为测距结果带来严重的误差。
5.为了研究基于tof激光测距系统的三维场景重建任务中多径噪声对三维场景重建精度的影响及其特点，许多研究人员开发了一些用于根据输入的三维场景信息渲染出考虑到多径噪声效应的三维瞬态图的仿真程序工具，并利用所开发的程序工具生成和公开了一
批包含多径噪声效应的三维瞬态图数据集，如tof-flyingthings3d(tft3d)和flat数据集。然而，目前的这些旨在仿真多径噪声效应的程序工具和三维瞬态图数据集所基于的照明和探测方式与共焦扫描激光测距系统有较大的差别，因此无法作为用于研究共焦扫描激光测距系统中多径噪声效应的工具或数据基础。


技术实现要素：

6.对于上述目前缺乏针对共焦扫描激光测距系统中多径噪声的三维瞬态图渲染方法的问题，本发明提出了一种新的三维场景瞬态图渲染方法。该方法从具体的实际物理过程出发，具有较强的科学性和严谨性，所仿真得到的三维瞬态图能够较好地模拟实际共焦扫描测距系统中的多径噪声效应。
7.本发明采用的技术方案如下：
8.一种针对共焦扫描测距系统中多径噪声的瞬态图渲染方法，包括如下步骤：
9.步骤1，获取obj格式文件，根据所述obj格式文件所描述的三维场景信息生成三维体素图，并由三维体素图生成二维深度图；
10.步骤2，对所述二维深度图中各点进行仿真共焦扫描激光测距，在仿真过程中考虑多径噪声；
11.步骤3，将扫描各点所得的一维反射光信号时间直方图组合成包含多径噪声的三维瞬态图。
12.进一步地，所述步骤1中，三维体素图的生成步骤为：设置所述obj格式文件几何体的面类型为“三角形”；根据所述obj格式文件所记录的某表面中3个顶点索引的三维空间坐标和法向量信息，在三维体素图中将位于这3个顶点所围成的闭合三角形内部的体素单元作上标记；对每个表面依次进行上述的标记操作，得到完整的该三维场景所对应的三维体素图。
13.进一步地，所述步骤2中，进行仿真的具体步骤为：对当前扫描照射点，首先计算光信号的直接反射强度，并将其作为当前扫描照射点的一维反射光信号强度时间直方图的初始值；随后，结合步骤1中得到的三维体素图，通过深度优先搜索算法在三维场景中搜索所有可能的次级反射光路；接着，对于每一条次级反射光路，计算该光路经过多个体素点的多级反射后的次级反射光信号强度以及在此过程中经过的距离，并进一步推出经过该距离所引起的时延；最后，将当前次级反射光路形成的次级反射光信号根据计算得到的时延在时间轴上延迟一段时间后，叠加在当前扫描照射点的一维反射光信号强度时间直方图上，作为对多径噪声的仿真。
14.进一步地，所述步骤2中，在搜索过程中，次级反射光信号衰减到一定阈值以下或次级反射光路反射级数达到一定上限时，停止搜索操作。
15.相比于现有的包含多径噪声的三维场景瞬态图渲染方法，本发明的创新点在于：所提出的方法解决了目前缺乏针对共焦扫描测距系统中多径噪声的三维瞬态图渲染方法的问题；分析研究了共焦扫描测距系统中完成测距任务的实际物理过程，并以此出发建立了合理的数学模型，最后通过设计软件程序对该数学模型加以实现；包含多径噪声的三维瞬态图渲染结果基本能够正确合理地反映共焦扫描测距系统中多径噪声的影响。
附图说明
16.下面结合附图对本发明的实施方式作进一步说明：
17.图1是本发明方法的总体流程示意图；
18.图2是考虑多径噪声时，(a)对场景中某客观上存在较为明显的多径噪声的体素点进行照射时，所得到的一维反射光信号强度时间直方图；(b)对场景中某客观上多径噪声不明显的体素点进行照射时，所得到的一维反射光信号强度时间直方图；
19.图3中(a)是某合成三维场景的深度图真实值；(b)是在没有多径噪声时，对该三维场景基于渲染得到的三维瞬态图所重建出的二维深度图；(c)是存在多径噪声时，对该三维场景基于渲染得到的三维瞬态图所重建出的二维深度图。
具体实施方式
20.下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施。
21.图1是本实施例的总体流程示意图，该实施例包括以下步骤：
22.1、获取obj文件所描述的三维场景信息生成三维体素图和二维深度图；obj文件可以通过通过可视化、图形化交互式三维建模工具得到，也可以通过转换其他格式的三维场景文件得到。二维深度图由三维体素图生成。
23.2、对二维深度图中各像素点依次进行仿真共焦扫描激光测距，并根据本发明所提出的考虑了多径噪声的仿真方法，渲染出当发射激光照射该点时，激光接收机所接收到的一维反射光信号强度时间直方图。其中，考虑多径噪声的一维反射光信号强度时间直方图仿真方法的具体实施步骤如下：
24.对当前扫描照射点，首先计算光信号的直接反射强度，并将其作为当前照射点的一维反射光信号强度时间直方图的初始值。随后，结合在步骤1中得到的三维体素图，通过深度优先搜索算法在三维空间中搜索所有可能的次级反射光路。对于每一条次级反射光路，计算该光路经过多个体素点的多级反射后的次级反射光信号强度以及在此过程中经过的距离，并进一步推出经过该距离所引起的时延。最后，将该次级反射光路形成的次级反射光信号根据计算得到的时延在时间轴上延迟一段时间后，叠加在当前照射点的一维反射光信号强度时间直方图上，作为对多径噪声的仿真。其中，对于第k级(指发射激光经过了k个体素点的k次反射)反射光，该级反射光到达的体素点pk所能反射的光信号强度ak的递推公式为：
[0025][0026]
式中，pk为点pk的三维坐标；为点pk的法向量；为给定pk及其对应的时根据双向反射分布函数(bidirectional reflectance distribution function，brdf)所计算出的光信号能量系数；d(p1,p2)为点p1和p2之间的欧氏距离；atten[d(p1,p2)]为给定d(p1,p2)时所计算出的光信号能量衰减系数；albedo[pk]为点pk的反射率。
[0027]
另外，点pk对系统所接收到的反射光信号引入的多径噪声mpik计算公式如下：
[0028][0029]
式中，p0指激光接收机所在空间位置的三维坐标，在共焦激光测距系统中，p0也等
于激光发射机所在空间位置的三维坐标。
[0030]
3、深度图中所有像素点扫描仿真完毕后，将发射激光照射各点时所模拟出的一维反射光信号强度时间直方图组合，得到该合成三维场景所对应的包含多径噪声仿真的三维瞬态图。
[0031]
下面对本实施例的方法进行详细描述：
[0032]
步骤1，通过三维建模软件合成虚拟的三维场景，并将其转换为obj格式文件保存。本实施例利用3ds max 2018三维建模软件合成了若干个虚拟的三维场景。每个三维场景由一个来自stanford 3d scanning repository数据集的三维物体和若干个简单几何体(包括长方体、球体、圆柱体、圆锥体、管状体等)所构成。各几何体所有顶点的三维坐标取值范围为[0,64)。
[0033]
通过三维建模软件导出的obj文件实际上为一个描述三维场景信息的纯文本文件，该文件具体描述了三维场景中各物体的对象名称、顶点坐标、顶点法向量和表面顶点索引。在导出obj文件时，需设置导出几何体的面类型为“三角形”。因此obj文件中所记录的每个表面均包含3个顶点索引，根据顶点索引可以找出这3个顶点的三维空间坐标和法向量等信息，随后在三维体素图中将位于这3个顶点所围成的闭合三角形内部的体素单元作上标记。对obj文件所记录的每个表面依次进行上述的标记操作，则可形成完整的该三维场景所对应的三维体素图。最后，对所得到的三维体素图在深度轴方向上进行argmax操作，即可得到相应的二维深度图。其中，三维体素图的空间分辨率为64
×
64
×
1000，深度图的空间分辨率为64
×
64。本发明可通过python编程语言实现上述obj文件的读取和将其转换为三维体素图和二维深度图的操作。
[0034]
步骤2，首先生成brdf特征曲线。brdf特征曲线描述了一定能量的光信号入射到物体表面时，在以该表面的法向量为中心的不同方向上反射光信号的能量分布。实验表明，反射光的方向向量与该表面法向量的夹角越大，该部分反射光信号的能量占总反射光信号能量的分数越小。本实施例采用ggx模型作为brdf特征曲线。
[0035]
随后，生成光信号随传播距离的增大而发生能量衰减的衰减系数曲线。本实施例采用的衰减系数曲线为一条二次函数曲线，即光信号的能量与传播距离的平方呈负相关。根据衰减系数曲线，即可确定所给定的传播距离下光信号的能量衰减系数。
[0036]
接着，对二维深度图中各像素点依次进行仿真共焦扫描激光测距，并根据本发明所提出的考虑到多径噪声的仿真方法，渲染出当发射激光照射该点时，激光接收机所接收到的一维反射光信号强度时间直方图。图2展示了对场景中某客观上存在较为明显的多径噪声和不存在明显多径噪声的体素点进行照射时，所得到的一维反射光信号强度时间直方图。如图2(a)所示，当多径噪声效应不明显时，所得到的一维反射光信号强度时间直方图具有理想的形态，即整个一维直方图有且只有被照射点的深度所对应的时延处有一个理想的单脉冲反射信号。而如图2(b)所示，当多径噪声效应较为明显时，一维直方图上除了在被照射点的深度所对应的时延处存在单脉冲之外，在其后的时刻也存在其他信号，这些信号是由三维场景中其他体素点对被照射点所反射的光造成了多级反射而带来，即引起了多径噪声。
[0037]
步骤3，对二维深度图中的64
×
64个点依次进行仿真扫描测距，最终可得到相应的64
×
64个一维反射光信号能量时间直方图，其中，各直方图的时间轴长度为1000。将这些一
维直方图按照射点次序组合起来，即可形成完整的空间分辨率为64
×
64
×
1000的三维瞬态图渲染结果。
[0038]
图3展示了某合成三维场景的深度图真实值，以及在不考虑和考虑多径噪声的情况下，对该合成三维场景基于渲染得到的三维瞬态图所重建出的二维深度图。其中，二维深度图通过对渲染出的三维瞬态图在时间轴方向上进行argmax操作得到。如图3(b)所示，当不考虑多径噪声时，通过渲染出的三维瞬态图重建得到的二维深度图与该三维场景的二维深度图真实值完全相同。而如图3(c)所示，当考虑多径噪声时，通过渲染出的三维瞬态图重建得到的二维深度图在多径噪声较为强烈的区域(如墙角等，已通过手动添加的圆角矩形框在图3(c)中标注出来)深度值误差较大。这也验证了多径噪声效应会为深度图重建结果带来较大的误差。