一种障碍物检测方法、装置及电子设备与流程

1.本技术涉及传感器检测技术，特别涉及一种障碍物检测方法、装置及电子设备。


背景技术：

2.障碍物检测是移动机器人中的关键技术，为避免移动机器人行驶过程中与人或物体相撞，需要对移动机器人前进方向或其四周进行立体、持续的障碍物检测，从而根据检测到的障碍物位置进行避障；且随着现有移动机器人车体的不断增大，避障需求也在随之不断增高。
3.目前，移动机器人领域已有多种避障方案，但各有局限性，例如：安装能够独立识别障碍物的3d激光雷达成本较高；通过立体相机进行障碍物检测则存在视场受限的问题，实现立体防护需要安装多个机位的立体相机，成本较高；而成本相对更优的2d激光雷达则只能检测安装方向上的平面障碍物，无法检测低矮或悬空障碍物，检测盲区较大。


技术实现要素：

4.本技术实施例提供了一种障碍物检测方法、装置及电子设备，通过激光雷达和摄像机相配合进行障碍物检测，以实现移动机器人的立体持续避障。
5.第一方面，本技术实施例提供了一种障碍物检测方法，应用于包括激光雷达和摄像机的移动机器人，上述激光雷达用于获取目标场景的点云信息，上述摄像机用于获取上述目标场景的图像信息，上述方法包括：
6.获取同一时刻下的点云信息和图像信息；
7.若基于上述图像信息确定上述目标场景存在目标物体，则判断上述目标物体是否已被标记为障碍物类型；
8.如果是，则将上述目标物体识别为障碍物；
9.如果否，则基于上述点云信息确定上述目标场景是否存在候选物体；
10.若存在候选物体，且上述候选物体对应的物理位置与上述目标物体对应的物理位置相同，则将上述目标物体识别为障碍物，并将上述目标物体标记为障碍物类型。
11.在一可能的实现方式中，上述基于上述点云信息确定上述目标场景是否存在候选物体后，上述方法还包括：
12.若不存在候选物体，或，存在的候选物体对应的物理位置与上述目标物体对应的物理位置不同，则将上述目标物体识别为非障碍物。
13.在一可能的实现方式中，上述将上述目标物体识别为障碍物后，上述方法还包括：
14.针对上述目标物体执行避障操作。
15.在一可能的实现方式中，通过以下方式判断上述候选物体对应的物理位置与上述目标物体对应的物理位置是否相同：
16.基于上述摄像机和上述激光雷达之间的外参，确定转换矩阵；其中，上述转换矩阵用于表示上述摄像机的相机坐标系和上述激光雷达的雷达坐标系间的坐标转换关系；
17.基于上述目标物体在相机坐标系中的坐标位置、上述候选物体在雷达坐标系中的坐标位置、上述转换矩阵，判断上述候选物体对应的物理位置与上述目标物体对应的物理位置是否相同。
18.在一可能的实现方式中，上述基于上述目标物体在相机坐标系中的坐标位置、上述候选物体在雷达坐标系中的坐标位置、上述转换矩阵，判断上述候选物体对应的物理位置与上述目标物体对应的物理位置是否相同，包括：
19.基于上述图像信息确定上述目标物体在上述相机坐标系下的第一坐标位置；
20.基于上述转换矩阵将上述第一坐标位置转换为雷达坐标系下的第二坐标位置；
21.基于上述点云信息确定上述候选物体在雷达坐标系下的第三坐标位置；
22.若上述第二坐标位置与上述第三坐标位置匹配，则确定上述候选物体对应的物理位置与上述目标物体对应的物理位置相同；
23.若上述第二坐标位置与上述第三坐标位置不匹配，则确定上述候选物体对应的物理位置与上述目标物体对应的物理位置不同。
24.在一可能的实现方式中，上述激光雷达为2d激光雷达，上述摄像机为单目相机；
25.上述2d激光雷达倾斜向下安装于上述移动机器人，上述2d激光雷达的探测区域与上述单目相机的探测区域存在重叠部分；
26.上述外参基于上述2d激光雷达与上述单目相机的相对安装位置确定。
27.第二方面，本技术实施例提供了一种障碍物检测装置，应用于包括激光雷达和摄像机的移动机器人，上述激光雷达用于获取目标场景的点云信息，上述摄像机用于获取上述目标场景的图像信息，上述装置包括：
28.信息获取单元，用于获取同一时刻下的点云信息和图像信息；
29.标记检测单元，用于若基于上述图像信息确定上述目标场景存在目标物体，则判断上述目标物体是否已被标记为障碍物类型；
30.标记确认单元，用于若上述目标物体已被标记为障碍物类型，则将上述目标物体识别为障碍物；
31.障碍识别单元，用于若上述目标物体未被标记为障碍物类型，则基于上述点云信息确定上述目标场景是否存在候选物体；
32.上述障碍识别单元，还用于若存在候选物体，且上述候选物体对应的物理位置与上述目标物体对应的物理位置相同，则将上述目标物体识别为障碍物，并将上述目标物体标记为障碍物类型。
33.在一可能的实现方式中，上述障碍识别单元基于上述点云信息确定上述目标场景是否存在候选物体后，上述障碍识别单元还用于：若不存在候选物体，或，存在的候选物体的物理位置与上述目标物体对应的物理位置不同，则将上述目标物体识别为非障碍物。
34.在一可能的实现方式中，上述障碍识别单元将上述目标物体识别为障碍物后，还用于：针对上述目标物体执行避障操作。
35.在一可能的实现方式中，上述障碍识别单元具体通过以下方式判断上述候选物体对应的物理位置与上述目标物体对应的物理位置是否相同：基于上述摄像机和上述激光雷达之间的外参，确定转换矩阵；其中，上述转换矩阵用于表示上述摄像机的相机坐标系和上述激光雷达的雷达坐标系间的坐标转换关系；基于上述目标物体在相机坐标系中的坐标位
置、上述候选物体在雷达坐标系中的坐标位置、上述转换矩阵，判断上述候选物体与上述目标物体对应的物理位置是否相同。
36.在一可能的实现方式中，上述障碍识别单元基于上述目标物体在相机坐标系中的坐标位置、上述候选物体在雷达坐标系中的坐标位置、上述转换矩阵，判断上述候选物体对应的物理位置与上述目标物体对应的物理位置是否相同时具体用于：基于上述图像信息确定上述目标物体在上述相机坐标系下的第一坐标位置；基于上述转换矩阵将上述第一坐标位置转换为雷达坐标系下的第二坐标位置；基于上述点云信息确定上述候选物体在雷达坐标系下的第三坐标位置；若上述第二坐标位置与上述第三坐标位置匹配，则确定上述候选物体对应的物理位置与上述目标物体对应的物理位置相同；若上述第二坐标位置与上述第三坐标位置不匹配，则确定上述候选物体对应的物理位置与上述目标物体对应的物理位置不同。
37.在一可能的实现方式中，上述激光雷达为2d激光雷达，上述摄像机为单目相机；上述2d激光雷达倾斜向下安装于上述移动机器人，上述2d激光雷达的探测区域与上述单目相机的探测区域存在重叠部分；上述障碍识别单元中上述外参基于上述2d激光雷达与上述单目相机的相对安装位置确定。
38.第三方面，本技术实施例还提供了一种电子设备，该电子设备包括：处理器和机器可读存储介质；
39.上述机器可读存储介质存储有能够被上述处理器执行的机器可执行指令；
40.上述处理器用于执行机器可执行指令，以实现上述的障碍物检测方法。
41.第四方面，本技术实施例还提供了一种机器可读存储介质，上述机器可读存储介质存储有机器可读指令，上述机器可读指令在被处理器调用和执行时，上述机器可读指令促使上述处理器实现上述的障碍物检测方法。
42.由以上技术方案可以看出，当装载有激光雷达和摄像机的移动机器人需要检测障碍物时，利用摄像机确定目标场景下存在的目标物体，进而结合激光雷达基于该场景下的点云信息确定出的候选物体，将与候选物体对应的物理位置相同的目标物体标记为障碍物，从而能够准确识别出目标场景下的障碍物，实现了移动机器人的立体持续避障效果。以上方案中基于摄像机和激光雷达相配合的障碍物检测方式相较于传统的单独使用摄像机或激光雷达的检测方式，具备对于传感器性能要求更低、检测效率更高的优势。
附图说明
43.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
44.图1为本技术实施例提供的方法流程图；
45.图2为本技术实施例提供的另一流程图；
46.图3为一种移动机器人激光雷达安装示意图；
47.图4为本技术实施例提供的一种移动机器人激光雷达安装示意图；
48.图5为本技术实施例提供的装置结构图；
49.图6为本技术实施例提供的电子设备结构图。
具体实施方式
50.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
51.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
52.为了使本领域技术人员更好地理解本技术实施例提供的技术方案，并使本技术实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本技术实施例中技术方案作进一步详细的说明。
53.参见图1，图1为本技术实施例提供的方法流程图。该流程可应用于任意装载有激光雷达和摄像机的移动机器人，例如物流机器人、保洁机器人等；本实施例对于激光雷达和摄像机的种类并不限定，只需激光雷达具备通过采集的点云判断障碍物体，摄像机具备拍摄图像、且该图像的分辨率支持进行物体识别即可。
54.作为一个优选的实施例，这里的激光雷达可以采用2d激光雷达、摄像机可以采用单目相机：在常规障碍物检测方式中，由于2d激光雷达仅能检测一个平面的障碍物、单目相机无法从图像中判断可能作为障碍物的立体物体，因此这两种成本较低的传感器难以用于移动机器人的立体持续障碍物检测；而在本实施例所提供的技术方案中，通过摄像机和激光雷达的相互配合的方式可以克服上述缺陷，达到准确检测障碍物的效果。
55.如图1所示，该流程可包括以下步骤：
56.步骤101，获取同一时刻下的点云信息和图像信息。
57.在本实施例中，点云信息即移动机器人安装的激光雷达所采集到的目标场景的信息、图像信息即移动机器人安装的摄像机所采集到的目标场景的信息。这里的目标场景的范围是相对于该移动机器人确定的，例如：当激光雷达和摄像机安装在移动机器人车体前侧或用于探测移动机器人前方障碍物时，上述目标场景的范围即为移动机器人前方且随该移动机器人位置变化而移动的一定范围，以实现在移动过程中对该机器人进行持续的障碍物检测。上述的一定范围可以根据实际需求结合激光雷达和摄像机的检测距离等性能参数进行设置，例如，当摄像机能够采集正前方5米*10米范围内的图像时，可以依据机器人行驶速度或刹车距离等参数设置为4米*6米或其它范围，等等，本实施例对此不进行限定。
58.在本实施例中，需要确保获取的点云信息和图像信息对应于同一时刻，以便于后续障碍物判断及标定操作，避免由于机器人在持续移动导致同一障碍物在激光雷达和摄像机中被误判为处于不同位置，影响障碍物判断精度或准确性；需要说明的是，这里的同一时刻是指后续用于判断障碍物的上述两种信息对应同一时刻，对于两种传感器开始采集或结束采集的时刻是否相同、采集是否同时进行、采集为串行进行或并行进行等并不进行限定。
59.步骤102，若基于上述图像信息确定目标场景存在目标物体，则判断上述目标物体是否已被标记为障碍物类型；如果是，则执行后续步骤103，如果否，则执行后续步骤104。
60.在本实施例中，摄像机采集获得目标场景的图像信息后，可以针对该图像信息进行物体识别，以从中标记出目标物体；针对图像信息进行物体识别的过程可以采用物体边
缘分割等物体识别手段，本实施例对此不进行限定。上述目标物体包括地面图案、纸张等不会影响机器人行驶的平面物体，也包括台阶、包裹、家具等可能会影响机器人行驶的立体物体。
61.在本实施例中，当上述摄像机为单目相机时，由于其缺乏获取深度、距离等信息的能力，无法独立判断目标物体是否为影响本移动机器人行驶的障碍物，因此后续需要结合同一时刻下的点云信息进行判断；当上述摄像机为双目相机等能够区分各个目标物体是否为平面或立体物体的设备时，也可以结合同一时刻下的点云信息进行验证，以提升障碍物检测精度与准确性，本实施例对此不进行限定。
62.在本实施例中，可以通过步骤105中的方式对各个目标物体进行标记(具体标记方式参见后续实施例，这里暂不赘述)；且由于在机器人行进过程中，障碍物检测是一个需要持续反复进行的过程，因此图像信息中确定的目标物体，可能在前一轮障碍物检测中已被标记为障碍物类型，因此在执行步骤103或104前需要进行确认。
63.步骤103，将上述目标物体识别为障碍物。
64.在本实施例中，若在步骤102中确定上述目标物体已被标记为障碍物类型，则可以将该目标物体识别为障碍物。
65.作为一个可选的实施例，当确定移动机器人前方或移动方向上的目标物体为障碍物后，可以针对该目标物体执行避障操作，例如重新规划行驶路径以绕开该障碍物、控制机器人停止以避免与障碍物相撞，等等，检测到障碍物后可以有多种具体措施，本实施例对于检测到障碍物后的处理方式并不限定。
66.步骤104，基于上述点云信息确定上述目标场景是否存在候选物体。
67.在本实施例中，若在步骤102中确定上述目标物体未被标记为障碍物类型，则需执行后续步骤104、步骤105，以结合激光雷达采集的点云信息判断该目标物体是否为障碍物。
68.在本实施例中，激光雷达会针对目标场景进行数据采集以获得点云信息，并基于点云信息将该目标场景下的全部或部分立体物体识别为候选物体。可选地，可以将任何高于行驶平面的立体物体视为障碍物，则在此条件下候选物体对应于目标场景下的全部立体物体；也可以根据实际需求仅将可能阻碍移动机器人正常行驶的立体物体视为障碍物，则在此条件下候选物体可以对应于目标场景下超过移动机器人的底盘高度的立体物体、或超出移动机器人跨障能力的立体物体、或处于指定范围内的立体物体，等等，对于未被视为障碍物的物体则不作为候选物体用于后续步骤105中进行障碍物标记。
69.此外，还可以将激光雷达检测到的所有立体物体视为候选物体，但同时标注各个候选物体的高度信息，后续仅将超过预设高度值的候选物体用于障碍物标记，等等，也可以实现根据实际需求进行障碍物检测的效果，本实施例对于具体实现方式不进行限定。
70.步骤105，若存在候选物体，且上述候选物体对应的物理位置与上述目标物体对应的物理位置相同，则将上述目标物体识别为障碍物，并将上述目标物体标记为障碍物类型。
71.在本实施例中，当通过激光雷达采集的点云信息确定存在候选物体时，可以进一步判断该候选物体与上述目标物体在实际场景下是否对应于同一物理位置，以此判断上述目标物体是否应被标记为障碍物类型。
72.作为一个可选的实施例，可以通过以下方式判断上述候选物体对应的物理位置与上述目标物体对应的物理位置是否相同：
73.基于摄像机和激光雷达之间的外参，确定转换矩阵；
74.基于上述目标物体在相机坐标系中的坐标位置、上述候选物体在雷达坐标系中的坐标位置、上述转换矩阵，判断上述候选物体与上述目标物体对应的物理位置是否相同。
75.在本实施例中，外参即同一移动机器人上安装的摄像机和激光雷达之间的位置关系，包括相对位置、相对角度、探测范围的关系等，可通过测试阶段中在两种传感器的探测范围重叠区域中设置物体进行数据标定以确定，本实施例对外参标定的具体过程不进行限定；真实场景下的同一物体可以通过摄像机与激光雷达采集的数据分别呈现在相应的两个坐标系中，上述转换矩阵用于表述摄像机对应的相机坐标系和激光雷达对应的雷达坐标系间的坐标转换关系或对应关系。
76.进一步地，判断上述基于目标物体在相机坐标系中的坐标位置、上述候选物体在雷达坐标系中的坐标位置、上述转换矩阵判断上述候选物体对应的物理位置与上述目标物体对应的物理位置是否相同，有多种实施方式，这里示例性地给出其中一种可选的方式：
77.基于上述图像信息确定上述目标物体在上述相机坐标系下的第一坐标位置；
78.基于上述转换矩阵将上述第一坐标位置转换为雷达坐标系下的第二坐标位置；
79.基于上述点云信息确定上述候选物体在雷达坐标系下的第三坐标位置；
80.若上述第二坐标位置与上述第三坐标位置匹配，则确定上述候选物体对应的物理位置与上述目标物体对应的物理位置相同；
81.若上述第二坐标位置与上述第三坐标位置不匹配，则确定上述候选物体对应的物理位置与上述目标物体对应的物理位置不同。
82.在本实施方式中，可以依据图像信息确定目标物体在相机坐标系中的坐标位置，并依据转换矩阵将其转为雷达坐标系下的坐标位置，从而与候选物体在雷达坐标系下的坐标位置进行比较，若两者匹配则可以确定上述候选物体对应的物理位置与上述目标物体对应的物理位置相同，需要将该目标物体识别为障碍物，并将其标记为障碍物类型，以用于后续持续对其进行障碍物检测与避障操作；若在雷达坐标系下候选物体的坐标位置与目标物体转换得到的坐标位置不匹配，则可以确定上述候选物体对应的物理位置与上述目标物体对应的物理位置不同，无需将其标记为障碍物类型。
83.同理，有多种与上述判断方式实际效果相同的其它可选方式，例如，可以通过转换矩阵将候选物体在雷达坐标系下的坐标位置转换为相机坐标系下的坐标位置，从而依据候选物体转换后的坐标位置与目标物体在该相机坐标系下的坐标位置是否匹配进行判断；也可以分别通过转换矩阵将相机坐标系与雷达坐标系下的坐标转换到一个第三方坐标系下，从而依据目标物体与候选物体在该第三方坐标系下的坐标是否匹配进行判断，等等，本实施例对此不进行限定。
84.作为一个可选的实施例，若从同一时刻的点云信息中可以确定多个候选物体，则有至少一个候选物体的物理位置与上述目标物体相同时，即可将该目标物体识别为障碍物；同理，若从同一时刻的图像信息中可以确定多个目标物体，则可以将与候选物体坐标相匹配的目标物体识别为障碍物，对于坐标未能匹配的目标物体则不识别为障碍物，等等，本实施例对此不进行限定。
85.作为一个可选的实施例，可以在摄像机采集的图像中预先标定激光雷达的探测范围，当确定目标物体对应的物理位置处于激光雷达的探测范围内，且，该位置不存在候选物
体时，可以将该目标物体标记为非障碍物类型；对于图像信息中已被标记为非障碍物类型的目标物体，后续可以不再结合点云信息判断其是否为障碍物，从而降低计算资源消耗；若目标物体尚未标记是否为障碍物，且其对应的物理位置处不在激光雷达的探测范围内，则不会对该目标物体进行类型标记，以避免对应的立体物体后续进入激光雷达探测范围时已被标记为非障碍物类型，导致移动机器人无法正确识别障碍物。
86.例如，当上述激光雷达采用2d激光雷达时，则其检测范围为一个平面，倾斜向下安装时其探测区域为相较地面存在夹角的一个斜面，在移动机器人行驶过程中，若立体物体尚未进入该探测区域，则在点云信息中不会存在该物体对应的候选物体，故即使目标物体对应的物理位置处不存在对应的候选物体也无法说明该目标物体必然为非障碍物，不应将其标记为非障碍物类型，以免影响后续判定。当上述物体恰好处于激光雷达的探测区域中时，可基于步骤105中的上述判断方式将其识别为障碍物，并标记为障碍物类型；此后，即使由于物体移动或机器人行驶等原因导致该物体离开激光雷达的探测区域，在该物体仍处于摄像机的图像信息中时，仍将作为被标记为障碍物类型的目标物体存在，不会因为该物体离开激光雷达的探测区域而导致已有标记发生变化，避免因为障碍物离开激光探测范围而导致障碍物探测失效，引起相撞。
87.至此，完成图1所示流程。
88.通过图1所示流程可以看出，在本实施例中当装载有激光雷达和摄像机的移动机器人需要检测障碍物时，利用摄像机确定目标场景下存在的目标物体，进而结合激光雷达基于该场景下的点云信息确定出的候选物体，将与候选物体对应的物理位置相同的目标物体标记为障碍物，从而能够准确识别出目标场景下的障碍物，实现了移动机器人的立体持续避障效果。以上方案中基于摄像机和激光雷达相配合的障碍物检测方式相较于传统的单独使用摄像机或激光雷达的检测方式，具备对于传感器性能要求更低、检测效率更高的优势。
89.为了使本领域技术人员更好地理解本技术实施例提供的技术方案，本技术实施例还提供了如图2所示的流程图，以实现本技术实施例所公开的上述方法。
90.作为一个可选地实施例，本实施例中的移动机器人装载的激光雷达为2d激光雷达，且相较于如图3所示的2d激光雷达常规安装方式，本实施例中的2d激光雷达采用了如图4所示的方式进行安装。在如图3所示的2d激光雷达水平安装于车身的方式中，由于2d激光雷达仅能检测一个平面内的障碍物，因此对于处于该平面外的低矮或悬空障碍物无法进行检测，存在移动机器人与障碍物相撞的安全隐患。
91.而在图4所示的2d激光雷达倾斜向下装载于移动机器人上方的安装方式中，2d激光雷达可以检测图中斜面范围内的障碍物，从而在移动机器人行驶过程中能够检测到不高于自身安装位置的障碍物；具体的安装高度或检测平面与地面夹角的度数可以根据实际需求进行设置，本实施例对此不进行限定。
92.基于如图4所示的安装方式，由于2d激光雷达的检测平面与移动机器人行驶方向存在夹角，因此可能存在无法持续检测同一障碍物的问题，即当移动机器人接近障碍物后障碍物进入激光雷达检测盲区，无法确定该障碍物是否仍存在于机器人前方。在单独依赖2d激光雷达进行障碍物检测及避障的情况下，若障碍物脱离视野范围后继续保持行驶，则存在与障碍物相撞的可能；若检测到障碍物即进行停车，则障碍物可能会在减速过程中进
入检测盲区或在停车后持续存在于检测范围中，需要频繁的人工介入以使移动机器人恢复行驶，避障过程智能化程度较低。
93.因此，在如图2所示的流程中，移动机器人还装载了一个与2d激光雷达方向一致的单目相机，采用了2d激光雷达与单目相机相配合的方式，利用单目相机视角范围通常大于2d激光雷达的特性对脱离激光雷达检测范围的障碍物进行持续检测；具体地，该流程可包括以下步骤：
94.步骤201，判断激光雷达是否检测到障碍物。
95.在本实施例中，激光雷达需要持续判断其检测平面内是否存在障碍物。这里的障碍物可以指任何高于地面的立体物体，也可以根据实际需求设置超过一定高度的立体物体才会被识别为障碍物，例如，对于跨障能力较强的移动机器人，高度较低的门槛、地毯等物体则不会被识别为障碍物。
96.当激光雷达检测到障碍物后，会在其采集的点云信息中作为候选物体呈现，并记录该物体在点云中的位置，以用于后续对图像信息中识别出的物体进行障碍物标记。
97.可选地，在本实施例中可以设置令激光雷达判断检测到障碍物后，才会进行后续标记操作，否则重复步骤201，直至检测到出现障碍物。同理，也可以设置优先判断摄像机拍摄的图像中是否存在物体，等等，本实施例对此不进行限定。
98.步骤202，基于图像对同一时刻环境物体进行边缘分割。
99.作为一个可选的实施例，当激光雷达在某一时刻检测到障碍物后，在摄像机采集的同一时刻的图像信息中通过边缘分割技术识别出图像中的所有物体并确定各个物体在图像中对应的区域。其中，由于单目相机采集的图像缺乏深度或距离等参数，因此无法单独确认图像中识别出的物体为平面物体或立体物体，需要结合点云信息判断图像信息中的各个物体是否为障碍物。
100.可选地，可以在激光雷达检测到障碍物后才对相应时刻下的图像信息进行物体识别，在激光雷达未检测到障碍物时不对图像信息进行物体识别；也可以将激光雷达障碍物检测和图像中的物体识别两步操作分别单独执行，以确保激光检测到障碍物后可以立即获取同一时刻下的物体识别结果，提高障碍物检测的效率与及时性。
101.步骤203，对应激光雷达检测到的物体，确定图像中对应的区域，将图像中相应的物体标记为障碍物。
102.在本实施例中，基于步骤201中获得的障碍物在点云中的位置和步骤202中获得的各个物体在图像中的位置，从通过图像识别确定的各个物体中确定与障碍物对应相同物理位置的物体，并将其标记为障碍物。其中，若步骤201中同时检测到多个障碍物，则在步骤203中则相应标记多个障碍物；具体确定方式可以参考步骤105中的相关内容，这里不再重复赘述。
103.步骤204，与图像连续帧进行实时关联匹配。
104.在本实施例中，由于2d激光雷达的检测范围通常小于单目相机，因此在移动机器人行驶过程中，会存在障碍物进入激光雷达检测盲区、但仍处于单目相机检测范围内的情况。此时，由于单目相机在连续进行图像采集，因此可以在后续的图像帧中基于步骤201～203对该物体进行的标记与其进行实时关联匹配，从而持续确定该障碍物在图像中的位置，具体匹配方式本实施例不进行限定，例如，可以参考前述步骤102、103中对图像信息中的物
体进行识别后，判断该物体是否已在过往时刻中被标记为障碍物类型来持续确定障碍物在图像中的位置。
105.步骤205，判断图像中是否持续检测到上述物体；
106.步骤206，当能够持续检测到上述物体时，判定该障碍物影响移动机器人行驶安全，进行避障操作；
107.步骤207，当未能持续检测到上述物体时，判定该障碍物被移开或动态远离移动机器人视野，不进行避障操作。
108.在本实施例中，当对障碍物进行标记后，移动机器人可以针对障碍物进行避障操作，以避免行驶过程中与障碍物碰撞。
109.对于具体如何判断是否进行避障、采用何种方式进行避障有多种可选的实施方式，例如，当移动机器人在行驶过程中，能够从图像中持续检测到上述物体、持续时长超过预设的时间长度时，即可认为该物体持续存在于行驶路径上，需要针对其进行避障操作；否则可以认为该物体位于行驶路径旁侧或已离开行驶路径，无需针对其进行避障操作。上述时间长度可以基于移动机器人的行驶速度、探测距离进行设置，例如，当行驶速度越快、探测距离越近时，则设置相对越短的时间长度。
110.同理，还可以采用其它方式作为是否进行避障操作的判断条件，例如，在单目相机拍摄的图像中预先设置一定区域，对应于检测范围中距离移动机器人较近的部分，当该部分区域中出现障碍物时则判定为需要进行避障操作，等等，本实施例对于具体判断方式不进行限定。
111.可选地，当确定需要针对该障碍物进行避障操作时，可以采用的避障方式也有多种，例如，重新规划行驶路径以绕开该障碍物、控制机器人减速或停止以避免与该障碍物相撞，等等，本实施例对此也不进行限定。
112.至此，完成对图2所示流程示例的描述。
113.以上对本技术实施例提供的方法进行了描述，下面对本技术实施例提供的装置进行描述：
114.参见图5，图5为本技术实施例提供的装置结构图。该装置对应于图1所示的方法流程，应用于包括激光雷达和摄像机的移动机器人，上述激光雷达用于获取目标场景的点云信息，上述摄像机用于获取上述目标场景的图像信息。
115.如图5所示，该装置可包括：
116.信息获取单元501，用于获取同一时刻下的点云信息和图像信息；
117.标记检测单元502，用于若基于上述图像信息确定上述目标场景存在目标物体，则判断上述目标物体是否已被标记为障碍物类型；
118.标记确认单元503，用于若上述目标物体已被标记为障碍物类型，则将上述目标物体识别为障碍物；
119.障碍识别单元504，用于若上述目标物体未被标记为障碍物类型，则基于上述点云信息确定上述目标场景是否存在候选物体；
120.上述障碍识别单元504，还用于若存在候选物体，且上述候选物体对应的物理位置与上述目标物体对应的物理位置相同，则将上述目标物体识别为障碍物，并将上述目标物体标记为障碍物类型。
121.在一可能的实现方式中，上述障碍识别单元504基于上述点云信息确定上述目标场景是否存在候选物体后，上述障碍识别单元504还用于：若不存在候选物体，或，存在的候选物体的物理位置与上述目标物体对应的物理位置不同，则将上述目标物体识别为非障碍物。
122.在一可能的实现方式中，上述障碍识别单元504将上述目标物体识别为障碍物后，还用于：针对上述目标物体执行避障操作。
123.在一可能的实现方式中，上述障碍识别单元504具体通过以下方式判断上述候选物体对应的物理位置与上述目标物体对应的物理位置是否相同：基于上述摄像机和上述激光雷达之间的外参，确定转换矩阵；其中，上述转换矩阵用于表示上述摄像机的相机坐标系和上述激光雷达的雷达坐标系间的坐标转换关系；基于上述目标物体在相机坐标系中的坐标位置、上述候选物体在雷达坐标系中的坐标位置、上述转换矩阵，判断上述候选物体与上述目标物体对应的物理位置是否相同。
124.在一可能的实现方式中，上述障碍识别单元504基于上述目标物体在相机坐标系中的坐标位置、上述候选物体在雷达坐标系中的坐标位置、上述转换矩阵，判断上述候选物体对应的物理位置与上述目标物体对应的物理位置是否相同时具体用于：基于上述图像信息确定上述目标物体在上述相机坐标系下的第一坐标位置；基于上述转换矩阵将上述第一坐标位置转换为雷达坐标系下的第二坐标位置；基于上述点云信息确定上述候选物体在雷达坐标系下的第三坐标位置；若上述第二坐标位置与上述第三坐标位置匹配，则确定上述候选物体对应的物理位置与上述目标物体对应的物理位置相同；若上述第二坐标位置与上述第三坐标位置不匹配，则确定上述候选物体对应的物理位置与上述目标物体对应的物理位置不同。
125.在一可能的实现方式中，上述激光雷达为2d激光雷达，上述摄像机为单目相机；上述2d激光雷达倾斜向下安装于上述移动机器人，上述2d激光雷达的探测区域与上述单目相机的探测区域存在重叠部分；上述障碍识别单元504中上述外参基于上述2d激光雷达与上述单目相机的相对安装位置确定。
126.至此，完成图5所示装置的结构描述。
127.本技术实施例还提供了图5所示装置的硬件结构。参见图6，图6为本技术实施例提供的电子设备结构图。如图6所示，该硬件结构可包括：处理器和机器可读存储介质，机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本技术上述示例公开的方法。
128.基于与上述方法同样的申请构思，本技术实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本技术上述示例公开的方法。
129.示例性的，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：ram(radom access memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
130.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，
或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
131.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本技术时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
132.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
133.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
134.而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
135.这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
136.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。