一种基于RGB-D传感器与超声波传感器融合的玻璃检测系统和方法与流程

本发明属于传感器融合技术、立体视觉技术、模式识别技术、图像处理技术、计算机视觉技术领域，涉及一种基于rgb-d传感器与超声波传感器融合的玻璃检测及深度图恢复的系统和方法。

背景技术：

随着计算机视觉技术的发展，各种基于rgb-d传感器的视觉方案被开发出来。rgb-d传感器不仅可以获取彩色图像，而且可以同时提供深度信息。然而，由于玻璃材料透明和无纹理的特点，rgb-d传感器无法获得正确的玻璃深度数据。玻璃材料在日常生活中又是无处不在的，这就意味着基于rgb-d传感器的视觉技术在实际应用中可能由于无法检测玻璃而存在着一定危险。因此，一个能够实时辅助rgb-d传感器检测透明玻璃物体并输出正确深度信息的方法是迫切需要的。

技术实现要素：

本发明的目的在于针对现有rgb-d传感器的不足，提供一种基于传感器融合的玻璃检测方法。

本发明的目的是通过以下技术方案实现的：一种基于传感器融合的玻璃检测系统，所述系统包含一个rgb-d传感器，两个超声波传感器，一个小型处理器。rgb-d传感器，两个超声波传感器分别与处理器相连，且两个超声波传感器分别固定于rgb-d传感器的左右两侧。rgb-d传感器实时地采集场景信息，并输出彩色和深度图像，超声波传感器通过声波实时探测前方是否存在障碍物，并获得障碍物的距离，小型处理器对获取的彩色、深度图像和超声波传感器的数据进行处理，输出检测结果。

一种基于传感器融合的玻璃检测方法，包括以下步骤：

(1)将超声波传感器的传播路径近似为直线，根据rgb-d传感器和两个超声波传感器位置关系，标记出rgb-d传感器采集的图像中的左右两个检测区域，所述检测区域为所述超声波传感器的探测区域。

(2)对于每一帧深度图像，分别计算出左右检测区域的平均深度dc1和dc2；以及，分别获取左右两个超声波传感器在该帧图像采集过程中，获得的距离值du1和du2。

(3)利用连续帧图像，根据左侧检测区域的平均深度dc1和左侧距离值du1，计算当前帧的左侧置信度，根据右侧检测区域的平均深度dc2和右侧距离值du2，计算当前帧的右侧置信度，每一帧的左侧置信度、右侧置信度均通过以下方法计算得到：

(3.1)设置置信度初始值为0；

(3.2)若某一帧的任一检测区域同时满足下述a、b、c三个条件，则该帧的置信度gt为

否则

d)dc是否大于阈值δ1；

e)dc减du是否大于阈值δ2；

f)du是否在工作范围内(100mm-4500mm)；

(3.3)若当前帧的某一侧置信度大于3，则表明当前帧在该侧存在玻璃物体。然后以该侧的检测区域中的一个像素点为种子点，利用种子点生长算法在该检测区域所在的半侧图像中进行生长，确定图像中的玻璃物体所在区域，将图像中的玻璃物体所在区域的深度值替换为du，得到玻璃物体的深度图。所述的种子点的深度值在(dc-5mm，dc+5mm)区间内，所述的半侧图像为深度图像的左半侧图像或右半侧图像。

进一步地，所述步骤2中，平均深度值的计算不采用检测区域中的无效、异常深度值。

进一步地，所述步骤3中，超声波传感器的数据采集速度为rgb-d传感器的帧率的n倍，所述的距离值du为采集一帧图像过程中获得的n个超声波传感器数据的平均值。

进一步地，该方法还包括根据检测结果，利用矩形框在彩色图像上对玻璃物体所在区域进行标记，分别用红、黄和绿三种颜色表示玻璃物体所在区域的距离，其中，红色表示1000m以内，黄色表示1000-2500mm，绿色表示大于2500mm。本发明相较之前的玻璃检测方法的优势主要在于：

1、价格低廉。在实时检测玻璃和恢复其深度图时，本发明只需要一个rgb-d传感器和两个超声波传感器的组合，这些器件的市场价格都比较廉价。

2、实时性好。本发明融合rgb-d传感器和超声波传感器的优点，通过对不同传感器数据根据预定的条件进行判断，就可以判断是否存在玻璃物体，因此可以实时性较好的输出检测结果。

3、能够输出正确的玻璃位置和稠密深度图。本发明在确定检测到玻璃物体后，根据在原错误深度图上进行种子点生长算法的结果，就可以输出玻璃物体的位置信息，然后结合超声波传感器的数据，还可以实时地恢复出正确的稠密深度图。这是之前的方法无法做到的。

4、较高的检出率。本发明在实际测试过程中，对于透明物体的实时检出率大于90％，这也比之前的方法都要高。

附图说明

图1为用于玻璃检测的传感器融合系统的模块连接示意图；

图2为rgb-d传感器和超声波传感器固定示意图；

图3为左右超声波探测区域示意图；

图4为rgb-d传感器获取的原始彩色图像(已转灰度)；

图5为rgb-d传感器获取的原始深度图；

图6为输出的检测结果图，包括位置和距离信息；

图7为输出的恢复后的正确深度图。

具体实施方式

本发明涉及一种基于传感器融合的玻璃检测系统，包含一个rgb-d传感器(如intelrealsense系列深度相机)，两个超声波传感器(如hc-sr04超声模块)，一个小型处理器。rgb-d传感器，两个超声波传感器分别采用usb接口与处理器相连，且两个超声波传感器分别固定于rgb-d传感器的左右两侧(如图2)。rgb-d传感器实时地采集场景信息，并输出彩色(如图4灰度图)和深度图像(如图5)，超声波传感器通过声波实时探测前方是否存在障碍物，并获得障碍物的距离，小型处理器对获取的彩色、深度图像和超声波传感器的数据进行处理，输出检测结果。整个系统如图1所示。

一种基于传感器融合的玻璃检测方法，包括以下步骤：

(1)由于hc-sr04超声波传感模块发出的声波发散角度小，方向性好，因此在其工作范围内(100mm-4500mm)可以近似地将其传播路径近似为直线。然后根据rgb-d传感器和两个超声波传感器位置关系，标记出rgb-d传感器采集的图像中的左右两个检测区域，所述检测区域为所述超声波传感器的探测区域(原理如图3所示)。

(2)对于每一帧深度图像，分别计算出左右检测区域的平均深度dc1和dc2；以及，分别获取左右两个超声波传感器在该帧图像采集过程中，获得的距离值du1和du2。平均深度值的计算为本领域的公知常识，通常不采用检测区域中的无效、异常深度值。

(3)利用连续帧图像，根据左侧检测区域的平均深度dc1和左侧距离值du1，计算当前帧的左侧置信度，根据右侧检测区域的平均深度dc2和右侧距离值du2，计算当前帧的右侧置信度，每一帧的左侧置信度和右侧置信度均通过以下方法计算得到：

(3.1)设置置信度初始值为0；

(3.2)若某一帧的任一检测区域同时满足下述a、b、c三个条件，则该帧的置信度gt

否则，

a)dc是否大于阈值δ1；

b)dc减du是否大于阈值δ2；

c)du是否在工作范围内(100mm-4500mm)；

(3.3)若当前帧的某一侧置信度大于3，则表明当前帧在该侧存在玻璃物体。然后以该侧的检测区域中的一个像素点为种子点，利用种子点生长算法在该检测区域所在的半侧图像中进行生长，确定图像中的玻璃物体所在区域(如图6矩形框标出)，将图像中的玻璃物体所在区域的深度值替换为du，得到玻璃物体的深度图(如图7)。所述的种子点的深度值在(dc-5mm，dc+5mm)区间内，所述的半侧图像为深度图像的左半侧图像或右半侧图像。

通常情况下，超声波传感器的数据采集速度大于rgb-d传感器的帧率，假设前者为后者的n倍，则距离值du可以为采集一帧图像过程中获得的n个超声波传感器数据的平均值。

作为优选的方案，该方法还包括根据检测结果，利用矩形框在彩色图像上对玻璃物体所在区域进行标记，分别用红、黄和绿三种颜色表示玻璃物体所在区域的距离，其中，红色表示1000m以内，黄色表示1000-2500mm绿色表示大于2500mm(如图6矩形框)。