一种激光与视觉图像融合的门检测方法以及储存介质与流程

1.本发明涉及图像识别领域，尤其涉及一种激光与视觉图像融合的门检测方法以及储存介质。


背景技术：

2.一般的激光门检测方法，大多都是直接基于激光原始数据利用一些传统机器学习算法来做识别，或者将激光转换为灰度图，然后使用基于卷积神经网络的预测模型做检测，并将检测结果直接输出。


技术实现要素：

3.本发明解决上述技术问题的技术方案如下：一种激光与视觉图像融合的门检测方法，包括步骤如下：
4.获取原始激光数据和视觉图像数据；
5.将所述激光数据转换为灰度图；
6.使用第一检测模型分别对激光灰度图作检测并提门特征曲线，其中，所述特征曲线由门水平基准线特征曲线和门的曲线特征曲线构成，所述门特征曲线和门水平基准线特征曲线是由点云数据组成的；
7.使用第二检测模型对视觉图像数据检测并提取门特征，其中，所述门特征包括门所在区域的视觉图像；
8.基于特征曲线所述分别获得特征曲线在激光数据灰度图和所述视觉图像数据的倾斜框位置；
9.使用融合模块对视觉图像和激光图像结果相融合；
10.所述视觉图像和所述激光图像的检测结果会被一对一匹配，未匹配到的检测结果将会被丢弃。
11.进一步地，提取所述门特征曲线的具体步骤包括：
12.获取激光灰度图的倾斜框位置信息，其中，所述倾斜框位置信息包含中心点(x,y)、长宽(w,h)和第一角度方位；
13.获取所述视觉图像检测部分的倾斜框位置信息，则会输出左上(x1,y1)和右下(x2,y2)角的坐标，以及第二角度方位，其中，所述第二角度方位是通过对相机标定内外参数计算得到。
14.进一步地，具体融合步骤包括：将所述第一角度方位和所述第二角度方位匹配来判断门的具体位置。
15.进一步地，具体融合步骤包括：融合模块由角度区间匹配和线性增加阈值两部分组成。
16.进一步地，在检测到激光门后，通过一些姿态检测模块检测出激光门门线位置，计算出门线上两个端点的角度值θ1和θ2，将匹配范围设置为这个区间内，当图像检测角度θ
img
落入其中时，则认为匹配成功。
17.进一步地，在得到所述门线端点的角度θ1和θ2后，可以按照一定比例t增大该角度区间，计算出门线端点角度区间宽度的一半然后以区间中点为起点，分别往两侧扩张t倍，扩张角度值的计算公式如下所示：
[0018][0019][0020]
在得到新的扩张后的角度值后，基于所述扩张的角度值重新设置角度匹配阈值区间，再和视觉图像检测结果的角度相匹配。
[0021]
进一步地，根据激光门的朝向动态更新扩张比例t。
[0022]
进一步地，当简单的激光门朝向为[0
°
,90
°
]，扩张比例t的计算公式如下：
[0023][0024]
其中，θ是激光门的朝向角度，θ
start
是角度扩张的起始点。
[0025]
进一步地，包括：第一获得单元、第二获得单元、第三获得单元、第四获得单元和融合单元；
[0026]
所述第一获得单元，用于获得待识激光图像；
[0027]
所述第二获得单元，用于将获得待识激光图像输入预设识别模型中，获得识别和标识倾斜框；
[0028]
所述第三获得单元，用于获得待识别视觉图像；
[0029]
所述第四获得单元，用于将获得视觉图像输入预设识别模型中，获得识别和标识结果；
[0030]
所述融合单元，用于融合所述第二获得单元和所述第四获得单元结果的融合。
[0031]
本发明实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以上所述的激光与视觉图像融合的门检测方法的步骤。
[0032]
与现有技术相比，本发明具有的有益效果如下：
[0033]
(1)本方法首先将激光数据转换为灰度图，使用检测模型对激光灰度图作预测，获得激光门在图像上的倾斜框位置，接着基于对应的视觉图像数据采用类似的检测模型做预测，得到视觉图像上门的位置信息。然后使用融合模块对视觉图像和激光图像结果相融合，在融合过程中，视觉图像和激光图像的检测结果会被一对一匹配，未匹配到的检测结果将会被丢弃。本方案可以有效地去除激光图像上的误检，极大提高检测到的激光门位置的准确性，便于其他任务的使用；
[0034]
(2)通过线性增加的阈值范围，可以有效避免在特殊场景中图像角度与激光不匹配的情形，且通过角度起始点的增加，也可以保证在正常情况下的准确结果不被干扰；
[0035]
(3)本技术方案通过将图像结果与激光图像检测结果的融合，可以解决单纯依靠
激光数据带来的误检，极大提升实际场景中的激光门的准确性。融合方案中的角度区间匹配和线性增加阈值两种方式，既可以保证融合过程中角度匹配的准确性，也可以提高在特殊场景中两种数据中检测结果的匹配率。
附图说明
[0036]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0037]
图1是本发明实施例提供了一种激光与视觉图像融合的门检测方法的流程图；
[0038]
图2是本发明实施例提供了提供了一种激光电梯门的融合结果的效果图；
[0039]
图3是实施例提供了一种算法流程图；
[0040]
图4是实施例提供了一种角度匹配方式的示意图；
[0041]
图5是实施例提供了一种匹配角度阈值的示意图；
[0042]
图6是实施例提供了一种角度区间匹配的效果对比；
[0043]
图7是实施例提供了一种线性增加阈值的效果对比。
具体实施方式
[0044]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045]
需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。再者，本发明所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
[0046]
在一些实施例中，图1提供了一种激光与视觉图像融合的门检测方法的流程图，包括步骤如下：
[0047]
s1、获取原始激光数据和视觉图像数据，中获取激光数据的方法有多种，以下提供了三维激光雷达使用的三种情况，具体使用情况如下：如果机器人边扫描边行走，处理图片需要时间，为减少机器人处理图片的时间，需要在机器人移动之前采用人工手动进行采图处理，用户手持三维激光雷达在目标区域中行走，用户带动所述三维激光雷达向目标位置移动，三维激光雷达会实时地对地面进行检测并建图，用户的人数为多个，多个用户在不同的区域进行扫描，直到覆盖所有目标区域为止；或，将三维激光雷达安装在移动机器人上，让机器人自主移动和扫描，这样可以节约用户的工作时间；
[0048]
或，如果机器人边扫描边行走，处理图片需要时间，为减少机器人处理图片的时间，需要在机器人移动之前采用人工手动进行采图处理，这种耗费了人力，如果在目标区域范围内设置多个激光扫描用户在目标区域进行定点设置，提供了一种目标区域设置设备的
一种示意图，示意性地上述所述设备在目标区域设置三个站点，在分配方案上为：三个装备为三角形，优先地三角形夹角为60
°
，所述设备通过无线通讯设备和所述机器人建立联系，三维激光原始数据；
[0049]
s2、将所述激光数据转换为灰度图；
[0050]
s3、使用第一检测模型分别对激光灰度图作检测并提门特征曲线，其中，所述特征曲线由门水平基准线特征曲线和门的曲线特征曲线构成，所述门特征曲线和门水平基准线特征曲线是由点云数据组成的；
[0051]
s4、使用第二检测模型对视觉图像数据检测并提取门特征，其中，所述门特征包括门所在区域的视觉图像；
[0052]
s5、基于特征曲线所述分别获得特征曲线在激光数据灰度图和所述视觉图像数据的倾斜框位置；
[0053]
s6、使用融合模块对视觉图像和激光图像结果相融合；
[0054]
s7、所述视觉图像和所述激光图像的检测结果会被一对一匹配，未匹配到的检测结果将会被丢弃。
[0055]
借助于本方案中融合了两种传感器数据的检测结果，本技术方案可以应用到电梯厅内机器人的种种行为中，例如电梯厅内的重定位、搭乘电梯等等。在机器人在电梯厅内丢失定位时，可以根据机器人运动过程中检测到的电梯位置，并结合电梯在全局地图中已有的标定位置，可以自主推断出自身的全局定位，从而降低定位丢失后人工介入的次数。而在机器人搭乘电梯过程中，准确的电梯门状态信息可以很大程度上促进乘梯动作的顺畅，电梯门的位置信息有助于机器人快速运动至电梯口，而电梯门的角度信息则可以使机器人在电梯门口调整进梯姿态，更安全地进入电梯。
[0056]
需要解释地，融合处理也就是利用图像融合技术，将多源信道所采集的关于一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间的分辨率和光谱的分辨率，有利于检测。本发明利用图像融合技术中加权融合的方法，将拼接区域的像素值按照预设的全职相加，使拼接区域更加自然，方便观察。具体的，预设人腿识别模型是对预设训练图像进行机器学习得到的，预设训练图像主要为具有人腿特征的图像和不具有人腿特征的图像。预设人腿模型主要是利用预设训练图像在不同尺度和纵横比下的表达，创建图像金字塔，将不同尺度和纵横比的同一个训练图像在不同尺寸和纵横比下的表达，创建图像金字塔，将不同尺寸度和纵横比下的人腿测响应图中的人腿区域映射在原始分辨率的预设训练图中，从而识别所输入的预设训练图像的人腿区域。经过使用大量的预设训练图像对预设人腿模型的训练，会在预设人腿模型中产生一个二次分类器，二次分类器用于判断待识别图像中是否存在人腿。其中，图像金字塔是图像多尺寸表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。其中，图像的金字塔是一系列以金字塔形状排列分辨率来解释图像的有效但概念简单的结构。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始的图像集合。其通过梯度向下采样获得，直到达到某个终止条件才停止采样。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。
[0057]
在本实施例中，图2中提供了一种激光电梯门的融合结果的效果图，以激光电梯门
为例，图2中(a)和(b)显示了视觉图像与激光图像中的融合结果，左侧的视觉图像的电梯门与右侧激光的结果通过角度匹配的方式绑定在一起，图2中(c)和(d)则显示了与视觉图像的融合对激光图像上误检的去除，右侧红色的误检框由于角度未匹配成功则被丢弃，而匹配成功的绿色则被保留下来。
[0058]
在本实施例中，具体地，图3提供了一种算法流程图。算法由检测阶段和融合模块两部分组成，检测阶段中，激光和视觉图像会分别通过两个检测模型预测出门的位置，激光部分会输出激光门的倾斜框位置，包含中心点(x,y)、长宽(w,h)和角度θ，而视觉图像检测部分，则会输出左上(x1,y1)和右下(x2,y2)角的坐标，以及角度方位θ，其中θ值是通过对相机标定内外参数计算得到。融合模块则是将二者的输出通过角度匹配的方式绑定起来，最后输出激光图像上更为准确的位置信息。融合模块由角度区间匹配和线性增加阈值两部分组成。
[0059]
在本实施例中，图4提供了一种角度匹配方式的示意图，激光与视觉图像相匹配时，通常会使用图4(a)中角度差值匹配的方式进行分配，在得到激光检测的角度时θ，会人为设定阈值角度差阈值(图中为
‑
10
°
～10
°
)来得到匹配区间，当视觉图像检测结果的角度θ
img
落入该匹配区间时，则视为匹配成功。然而这种人工设置阈值的方式会造成较多的漏匹配，例如(a)中的θ
img
则会由于未达到阈值需求而被丢弃，而如果一味地增加角度差阈值，确实可以弥补漏匹配的情况，但是会增加潜在的误检风险。
[0060]
本发明中的角度区间匹配方式，如图4(b)所示，在检测到激光门后，可通过一些姿态检测模块检测出激光门门线位置，计算出门线上两个端点的角度值θ1和θ2，将匹配范围设置为这个区间内，当图像检测角度θ
img
落入其中时，则认为匹配成功。如图4(b)所示，相同的图像角度θ
img
却可以很好地匹配到，和一般的差值匹配相比，这种角度区间的匹配方式在很大程度上提高了图像与激光门检测融合过程中的匹配成功率。
[0061]
在本实施例中，通常来说，由于激光图像俯视图的原因，对于位置、角度的计算都会比视觉图像更加准确，而且，在视觉图像上计算方向角度和空间位置时，很大程度上依赖于相机标定的精度，由于标定参数和图像畸变的原因，基于检测结果计算出的方向角度往往会有误差，这就会导致在特定场景中，视觉图像检测结果的方向角度和激光门线的角度区间存在着一定偏差，比如在电梯门垂直时，角度偏差会显得很大。一般来说，可以人为地在角度区间的基础上再增大阈值范围，但是直接得扩大范围则可能会带来误检。以电梯门为例，在图5(a)中，当电梯门的朝向角接近90
°
时，图像的角度θ
img
将不会满足于激光门的门线角度区间θ1和θ2。
[0062]
本发明中的线性增加阈值如图5(b)所示，在得到门线端点的角度θ1和θ2后，可以按照一定比例t增大该角度区间。具体来说，首先计算出门线端点角度区间宽度的一半然后以区间中点为起点，分别往两侧扩张t倍，扩张角度值的计算公式如下所示：
[0063][0064]
[0065]
在得到新的扩张后的角度值后，可以基于此重新设置角度匹配阈值区间，再和视觉图像检测结果的角度相匹配。由于上述的视觉图像角与激光角度相差很大的情形，并不会一直存在，只有当门的朝向接近于垂直时才会出现，因此扩张比例t并不能设定为固定值，而是需要根据激光门的朝向动态更新。以最简单的激光门朝向为[0
°
,90
°
]为例，扩张比例t的计算公式如下：
[0066][0067]
其中，θ是激光门的朝向角度，θ
start
是角度扩张的起始点。这就意味着，角度扩张并不是一直存在，而是在激光门朝向达到一定条件之后，才会线性得增加，实际场景中可以将θ
start
设置为30
°
或45
°
等。通过线性增加的阈值范围，可以有效避免在特殊场景中图像角度与激光不匹配的情形，且通过角度起始点的增加，也可以保证在正常情况下的准确结果不被干扰。
[0068]
本技术方案通过将图像结果与激光图像检测结果的融合，可以解决单纯依靠激光数据带来的误检，极大提升实际场景中的激光门的准确性。融合方案中的角度区间匹配和线性增加阈值两种方式，既可以保证融合过程中角度匹配的准确性，也可以提高在特殊场景中两种数据中检测结果的匹配率。
[0069]
在本实施例中，图6显示了角度区间匹配的效果对比图。(a)中的图像角度为
‑
19.78
°
，而激光门的中心点角度为
‑
35.79
°
，若采用10
°
为差值匹配的阈值则会匹配失败，若采用角度区间匹配，则计算到的角度区间为
‑
81.81
°
至
‑
13.74
°
，可以成功匹配。(b)中的图像角度为30.67
°
，激光门中心点角度为15.74
°
，角度区间为2.77
°
至41.82
°
，也是可以匹配成功。
[0070]
如图7所示，(a)和(b)图展示了比较典型的因图像角度差异太大而匹配失败的例子。图(a)中图像角度为
‑
38.38
°
，激光原始区间为
‑
56.10
°
至
‑
39.21
°
，而通过比例1.3扩张后的匹配角度区间为
‑
58.64
°
至
‑
36.67
°
，刚好可以匹配到图像的检测结果。图(b)中的图像与激光的角度分别为26.59
°
、27.98
°
至44.12
°
，而扩张后的区间为25.56
°
至46.54
°
。可见使用线性增加阈值的方式，匹配率可以得到有效提升。
[0071]
在本实施例中，包括：第一获得单元、第二获得单元、第三获得单元、第四获得单元和融合单元；
[0072]
所述第一获得单元，用于获得待识激光图像；
[0073]
所述第二获得单元，用于将获得待识激光图像输入预设识别模型中，获得识别和标识倾斜框；
[0074]
所述第三获得单元，用于获得待识别视觉图像；
[0075]
所述第四获得单元，用于将获得视觉图像输入预设识别模型中，获得识别和标识结果；
[0076]
所述融合单元，用于融合所述第二获得单元和所述第四获得单元结果的融合。
[0077]
是本发明实施例提供的一种控制器的电路结构示意图。该控制器包括一个或多个处理器以及存储器。其中，中以一个处理器为例。
[0078]
处理器和存储器可以通过总线或者其他方式连接，以通过总线连接为例。
[0079]
存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的机器人的激光与视觉图像融合的门检测方法对应的程序指令/模块。通过运行存储在中的非易失性软件程序、指令以及模块，从而执行机器人的激光与视觉图像融合的门检测方法装置的各种功能应用以及数据处理，即实现上述方法实施例提供的机器人的激光与视觉图像融合的门检测方法以及上述装置实施例的各个模块或单元的功能。
[0080]
存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，可选包括相对于远程设置的存储器，这些远程存储器可以通过网络连接至。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0081]
所述程序指令/模块存储在中，当被所述一个或者多个处理器执行时，执行上述任意方法实施例中的激光与视觉图像融合的门检测方法。
[0082]
本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，一个处理器，可使得上述一个或多个处理器可执行上述任意方法实施例中的的激光与视觉图像融合的门检测方法。
[0083]
本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被电子设备执行时，使所述电子设备执行任一项所述的激光与视觉图像融合的门检测方法。
[0084]
以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0085]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0086]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。