机器人传感器系统自检的方法及机器人与流程

1.本发明大致涉及智能机器人领域，尤其涉及一种机器人传感器系统自检的方法、一种机器人以及一种计算机可读存储介质。


背景技术：

2.随着科技的发展，机器人被广泛应用于工作和生活中的各个领域，越来越受到人们的青睐。传感器在机器人的控制中起了非常重要的作用，正是有了传感器，机器人才具备了类似人类的感知功能和反应能力。
3.机器人通常在工厂组装完成后运输至客户现场，但在运输过程中由于振动可能引起传感器的紧固部件例如螺钉、螺栓等松动，致使传感器的安装位置发生改变；另外，机器人周围环境的温湿度变化也会导致传感器的安装位置发生改变。当传感器的安装位置发生改变时，容易导致传感器的探测数据不够准确，影响测量结果，进而影响机器人的正常工作。因此，检测传感器能否正常工作就显得尤为重要。目前，通常采用人工目视等方法对传感器的安装位置进行检测，并在机器人每次开机时通过确认各个传感器能否正常传递信息(即硬件连接检测)来确定各个传感器是否正常工作，但所需时间和人工成本高，效率低。
4.背景技术部分的内容仅仅是发明人所知晓的技术，并不当然代表本领域的现有技术。


技术实现要素：

5.针对现有技术存在问题中的一个或多个，本发明提供一种机器人传感器系统自检的方法，所述传感器系统包括安装在机器人上的激光雷达和立体视觉传感器，所述方法包括：
6.确定机器人的停靠位与预设目标物具有预设位置关系；
7.控制激光雷达向周围发射探测脉冲，接收所述探测脉冲的回波脉冲，并基于所述回波脉冲生成第一点云；
8.根据所述第一点云，确定所述激光雷达的有效检测区域，并根据所述有效检测区域确定激光雷达的安装位置是否正确；
9.当确定激光雷达的安装位置正确时，获取所述立体视觉传感器采集的第二点云；和
10.根据所述第一点云和第二点云，确定所述立体视觉传感器的安装位置是否正确。
11.根据本发明的一个方面，其中所述预设目标物上在与所述激光雷达基本相同的高度处具有强反光条和弱反光条，所述强反光条与弱发光条以预设的排列方式排布，并朝向所述激光雷达。
12.根据本发明的一个方面，其中所述根据有效检测区域确定激光雷达的安装位置是否正确的步骤包括：将所述有效检测区域与激光雷达的预设的理想检测区域对比，确定激光雷达的安装位置是否正确。
13.根据本发明的一个方面，所述根据有效检测区域确定激光雷达的安装位置是否正确的步骤包括：如果所述有效检测区域与所述理想检测区域之间的差距小于第一阈值，确定激光雷达的安装位置正确；如果两者之间的差距不小于所述第一阈值，确定激光雷达的安装位置不正确。
14.根据本发明的一个方面，其中所述确定激光雷达的有效检测区域的步骤包括：
15.根据所述第一点云确定距离和反射率；
16.对所述第一点云进行去噪以及直线拟合；
17.通过所述距离、反射率以及拟合的直线确定所述激光雷达的有效检测区域。
18.根据本发明的一个方面，还包括：当所述激光雷达的安装位置不正确时，输出所述激光雷达安装位置错误的报警信息。
19.根据本发明的一个方面，还包括：
20.对所述第二点云进行点云滤波，去除所述第二点云中的噪点；
21.基于所述第二点云进行平面拟合。
22.根据本发明的一个方面，其中所述确定立体视觉传感器的安装位置是否正确的步骤包括：当根据第一点云拟合的直线与根据第二点云拟合的平面重叠时，确定所述立体视觉传感器的安装位置是否正确。
23.根据本发明的一个方面，所述确定立体视觉传感器的安装位置是否正确的步骤进一步包括：
24.当根据第一点云拟合的直线与根据第二点云拟合的平面重叠时，确定所述激光雷达与所述立体视觉传感器的相对位姿关系；
25.当所述相对位姿关系相对于理想位姿关系差距小于阈值时，确定所述立体视觉传感器的安装位置正确；
26.当所述相对位姿关系相对于理想位姿关系差距大于阈值时，确定所述立体视觉传感器的安装位置异常，根据所述相对位姿关系修正所述立体视觉传感器的位置参数。
27.本发明还提供一种机器人，包括：
28.主体，具有行走机构；
29.传感器系统，包括激光雷达和立体视觉传感器，用以探测机器人周围的环境；
30.控制器，与所述行走机构和传感器系统耦合，配置成以控制所述行走机构以及传感器系统，并配置成执行如上所述的方法。
31.本发明还提供一种计算机可读存储介质,包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如上所述的方法。
32.采用本发明的技术方案，能够实现快速检测激光雷达的安装位置是否正确，并检查修正立体视觉相机与激光雷达之间的位置关系，时间和人工成本低并且效率高，可弥补目前服务机器人在客户现场技术支持时无法专业自检的空白，有利于提升客户现场机器人部署与售后服务的效率与专业性。
附图说明
33.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
34.图1示出了根据本发明的一个实施例的机器人传感器系统自检的方法的流程图；
35.图2示出了根据本发明的一个实施例的预设目标物的示意图；
36.图3示出了根据本发明的一个实施例的机器人与预设目标物的位置关系的示意图；
37.图4a示出了根据本发明的一个优选实施例的激光雷达安装位置正确时的点云拟合直线的示意图；
38.图4b示出了根据本发明的一个优选实施例的激光雷达安装位置不正确时的点云拟合直线的示意图；和
39.图5示出了根据本发明一个实施例的机器人的示意图。
具体实施方式
40.在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
41.在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、"厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"坚直"、"水平"、"顶"、"底"、"内"、"外"、"顺时针"、"逆时针"等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的描述中，"多个"的含义是两个或两个以上，除非另有明确具体的限定。
42.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接:可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
43.在本发明中，除非另有明确的规定和限定，第一特征在第二特征之"上"或之"下"可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征"之上"、"上方"和"上面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。
44.下文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
45.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
46.本发明提供一种机器人传感器系统自检的方法100，在介绍所述方法100之前，先介绍一下传感器位置改变影响机器人正常工作的原理。
47.正常情况下，机器人具有多个传感器，每个传感器在机器人上的安装位置是固定的，并且具有相应的测量范围。当传感器的安装位置发生改变时，传感器可能会有一定程度的倾斜或位移，使传感器与机器人的外壳或内部数据线之间存在部分遮挡，传感器在探测时误以为被机器人的外壳或数据线遮挡的部分存在障碍物，获得错误的测量结果，进而导致机器人无法根据错误的测量结果进行正确的建图，影响机器人的定位、导航以及避障等工作。
48.了解了传感器位置改变影响机器人正常工作的原理，下面对所述方法100进行详细描述。
49.图1示出了根据本发明的一个实施例的机器人传感器系统自检的方法100的流程图，所述传感器系统包括安装在机器人上的激光雷达和立体视觉传感器，所述方法包括步骤s101-s105，下面对所述方法100的各个步骤进行具体描述。
50.在步骤s101中，确定机器人的停靠位与预设目标物具有预设位置关系。
51.图2示出了根据本发明的一个实施例的预设目标物的示意图，所述预设目标物用于辅助所述传感器系统进行自检。如图2所示，所述预设目标物可以为若干个具有一定尺寸、并能够覆盖所述激光雷达和所述立体视觉传感器的视场范围的平板。所述预设目标物的预设高度处具有若干强反光条和若干弱反光条，所述强反光条与弱反光条以预设的排列方式排布，并朝向所述激光雷达。根据本发明的一个实施例，所述预设高度例如为与所述激光雷达基本相同的高度，应理解，在实际的使用过程中，为使激光雷达能够探测到所述强反光条和弱反光条，所述强反光条与所述弱反光条的高度通常略高于所述激光雷达的高度。另外，所述强反光条与所述弱反光条可以等距交替的排列方式排布，当然，也可以其他的排列方式排布，具体的，例如多个(例如两个)强反光条与一个弱反光条交替排布、多个(例如两个)弱反光条与一个强反光条交替排布等等，本发明不作限制。还有，关于所述强反光条与若反光条的宽度、数量、具体材料，本发明亦不作限制。具体的，所述强反光条的材料例如为钻石反光膜、金、铜、铝等，所述弱反光条的材料例如为黑色塑料或布料等等。所述预设目标物上设置强反光条和弱反光条的目的是为了将所述预设目标物与机器人周围环境中的其他障碍物区分开，易理解，所述强反光条与所述弱反光条的排列方式越有特点，反射率差异越大，越容易将所述预设目标物与机器人周围环境中的其他障碍物区分开来。上述实施例介绍了关于预设目标物的情形，那么机器人的停靠位与预设目标物之间究竟具有何种预设位置关系，接下来继续描述。
52.图3示出了根据本发明的一个实施例的机器人与预设目标物的位置关系的示意图。如图3所示，将所述机器人停靠在所述预设目标物前方，所述机器人的停靠位与所述预设目标物之间相距一定预设距离(例如10cm-50cm),所述机器人与所述预设目标物所在平面相互垂直，并朝向所述预设目标物。
53.在步骤s102中，控制激光雷达向周围发射探测脉冲，接收所述探测脉冲的回波脉冲，并基于所述回波脉冲生成第一点云。
54.本发明不限制激光雷达的类型，服务型机器人例如送餐机器人，所述激光雷达优选为单线激光雷达，单线激光雷达扫描速度快、分辨率强、可靠性高，比多线和3d激光雷达在角频率和灵敏度反映更加快捷，因此，在探测周围障碍物的距离和精度上都更加精确。单线激光雷达通常搭配旋转机构一起工作，所述旋转机构负责将激光雷达以一定频率旋转起来，从而实现对水平方向一定视场范围的扫描和探测，以生成第一点云。
55.在步骤s103中，根据所述第一点云，确定所述激光雷达的有效检测区域，并根据所述有效检测区域确定激光雷达的安装位置是否正确。
56.根据本发明的一个优选实施例，根据所述第一点云确定距离和反射率，从而确定所述激光雷达是否识别到了所述预设目标物。所述第一点云是激光雷达坐标系下的点的数据集，所述点包含丰富的信息，例如二维坐标(xj,yj)(针对单线雷达)或三维坐标(xj,yj,zj)(针对多线或3d激光雷达)、反射率、时间等等，如果所述点的反射率与所述预设目标物上的强反光条和/或弱反光条的反射率相符，并且通过所述点的时间得到的目标物的距离与所述预设目标物的距离相符，可基本确定激光雷达识别到了所述预设目标物。激光雷达基于时间飞行法(tof)进行测距，可按照下列公式进行计算：
57.d＝c
×
t/2，其中c为光速，c＝3
×
108m/s,t为脉冲的飞行时间。
58.为进一步确定激光雷达识别到了所述预设目标物，并确定激光雷达的有效检测区域，还需要对所述第一点云进行去噪以及直线拟合。产生噪点的原因例如为机器人受到其工作环境(例如餐厅)中的环境光，烟尘等干扰，去除噪点的目的是为了减少噪点对真实点云数据的干扰，提高检测的准确度，便于后续处理。根据本发明的一个优选实施例，可采用半径滤波的方法对所述第一点云进行去噪。具体的，可遍历所述第一点云，指定所述第一点云中的每个点都以该点为圆心，预设半径(例如0.05m)的半径范围内至少存在10个临近点，否则认定为该点为噪点(即离群点)，并将该噪点剔除。应理解，本实施例只是举例说明，并不限制所述预设半径大小和/或所述近邻点的数量。根据本发明的一个优选实施例，可采用最小二乘法对去噪后的第一点云进行直线拟合，得到拟合直线，通过拟合直线即可确定激光雷达的有效检测区域。确定了激光雷达的有效检测区域，即可根据所述有效检测区域确定激光雷达的安装位置是否正确，接下来具体描述。
59.根据本发明的一个优选实施例，可将激光雷达的有效检测区域与其理想检测区域比对，计算所述有效检测区域与所述理想检测区域的差距，如果所述差距小于第一阈值(例如1％或3％)，确定激光雷达的安装位置正确；如果两者之间的差距不小于所述第一阈值(例如1％或3％)，确定激光雷达的安装位置不正确。
60.根据本发明的另一个优选实施例，也可以通过所述拟合直线的形状特征确定激光雷达的安装位置是否正确。接下来具体描述。
61.图4a示出了根据本发明的一个优选实施例的激光雷达安装位置正确时的点云拟合直线的示意图，图4b示出了根据本发明的一个优选实施例的激光雷达安装位置不正确时的点云拟合直线的示意图，参考图4a，所述拟合直线较为平直，说明生成的点基本都在同一高度处，进而说明激光雷达的安装位置正确；反之，参考图4b，所述拟合直线弯弯曲曲，说明生成的点不在同一高度，进而说明激光雷达的安装位置改变，这是因为激光雷达在探测过程中，由于其紧固部件例如螺钉、螺栓等松动引起振动从而导致生成的点不在同一高度处。
62.根据本发明的一个优选实施例，当确定所述激光雷达的安装位置不正确时，输出
所述激光雷达安装位置错误的报警信息，并对所述激光雷达的安装位置进行修正。
63.上述实施例介绍了如何确定激光雷达的安装位置是否正确的情形，机器人传感器系统除了激光雷达之外，还包括立体视觉传感器，如何确定立体视觉传感器的安装位置是否正确，接下来具体描述。
64.理想情况下，激光雷达和立体视觉传感器在机器人上的安装位置固定(参考图5)，激光雷达与立体视觉传感器具有预设位姿关系，因此，当确定激光雷达的安装位置正确时，可通过激光雷达检测立体视觉传感器的安装位置是否正确。接下来继续说明。
65.在步骤s104中，当确定激光雷达的安装位置正确时，获取所述立体视觉传感器采集的第二点云。所述第二点云是立体视觉传感器坐标系下的点的数据集，所述第二点云中的点亦包含丰富的信息，例如点的三维坐标(xv,yv,zv)等等。当获取所述第二点云时，为便于后续处理，对所述第二点云进行点云滤波(例如半径滤波)，去除所述第二点云中的噪点，并基于所述第二点云进行平面拟合，得到拟合平面。
66.在步骤s105中，根据所述第一点云和第二点云，确定所述立体视觉传感器的安装位置是否正确。
67.根据本发明的一个优选实施例，当根据第一点云拟合的直线(即所述拟合直线)与根据第二点云拟合的平面(即所述拟合平面)重叠时，确定所述立体视觉传感器的安装位置是否正确。具体的，可根据第一点云拟合的直线(即拟合直线)求得直线方程，并根据第二点云拟合的平面(即拟合平面)求得平面方程。
68.所述直线方程可以用直线方程标准式表示，如下列式(1-1)所示：
69.ajx+bjy+bj＝0
ꢀꢀꢀꢀꢀ
(1-1)
70.所述平面方程可以用平面方程标准式表示，如下列式(1-2)所示：
71.avx+bvy+cvz+dv＝0
ꢀꢀ
(1-2)
72.根据所述第一点云的点的三维坐标(xj,yj,zj)可求得所述直线方程的参量，即aj、bj以及bj，求得所述直线方程的参量，即可得到所述直线方程的具体表达式。同理，根据所述第二点云的点的三维坐标(xv,yv,zv)亦可求得所述平面方程的参量，即av、bv、cv以及dv，求得所述平面方程的参量，即可得到所述平面方程的具体表达式。根据所述直线方程以及所述平面方程即可确定所述激光雷达与所述立体视觉传感器的相对位姿关系。
73.根据本发明的一个优选实施例，可将所述激光雷达与所述立体视觉传感器的实际的相对位姿关系与其理想位姿关系比对，当所述相对位姿关系相对于理想位姿关系差距小于阈值时，确定所述立体视觉传感器的安装位置正确；当所述相对位姿关系相对于理想位姿关系差距大于阈值时，确定所述立体视觉传感器的安装位置异常。所述相对位姿关系包括旋转量θx,θy,θz和平移量tx,ty,tz。其中所述旋转量θx,θy,θz分别为绕x轴、y轴和z轴的旋转量，所述平移量tx,ty,tz分别为沿x轴、y轴和z轴的平移量。
74.根据本发明的一个优选实施例，当所述相对位姿关系(例如旋转量)相对于理想位姿关系(例如旋转量)差距小于阈值(例如0.5
°
)时，确定所述立体视觉传感器的安装位置正确；当所述相对位姿关系(例如偏移量)相对于理想位姿关系(例如旋转量)差距大于阈值(例如0.5
°
)时，确定所述立体视觉传感器的安装位置异常。
75.根据本发明的另一个优选实施例，当所述相对位姿关系(例如偏移量)相对于理想位姿关系(例如偏移量)差距小于阈值(例如1mm)时，确定所述立体视觉传感器的安装位置
正确；当所述相对位姿关系(例如偏移量)相对于理想位姿关系(例如偏移量)差距大于阈值(例如1mm)时，确定所述立体视觉传感器的安装位置异常。
76.根据本发明的一个优选实施例，当确定所述立体视觉传感器的安装位置正确时，输出立体视觉传感器的安装位置正常的信息。当确定所述立体视觉传感器的安装位置异常时，输出所述立体视觉传感器安装位置错误的报警信息，并根据所述相对位姿关系修正所述立体视觉传感器的位置参数，也就是说，机器人将按照立体视觉传感器与激光雷达实际的相对位姿关系进行处理，无需人工进行干预。
77.上述实施例介绍了预设目标物为一个平板的情形，应理解，当所述预设目标物为多个(例如两个)平板时，由于所述多个平板相互连接具有一定夹角，可以使激光雷达发射的探测脉冲更为集中的入射在所述预设目标物上，使所述激光雷达获得的点云更有形状特征，所述激光雷达更便于确定其有效检测区域，进而确定其安装位置是否正确。
78.本发明还提供一种机器人，图5示出了根据本发明的一个实施例的机器人20的示意图，如图5所示，所述机器人20包括：
79.主体21，具有行走机构211；
80.传感器系统22，包括激光雷达221和立体视觉传感器222，用以探测机器人20周围的环境；和
81.控制器23，与所述行走机构211和传感器系统22耦合，配置成以控制所述行走机构211以及传感器系统22，并配置成执行如上所述的方法，所述控制器23实际上位于所述机器人20内部。
82.本发明还提供一种计算机可读存储介质,包括存储于其上的计算机可执行指令，所述可执行指令在被处理器执行时实施如上所述的方法。其中所述计算机可读存储介质，包括但不限于任何类型的存储器，本发明不限制存储器的类型。所述存储器可以为非易失性和/或易失性存储器。所述非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)、可变电阻式内存(reram)、相变化内存(pcram)或闪存存储器(flash memory)。易失性存储器可包括随机存取存储器(ram)、寄存器或者高速缓冲存储器(cache)。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
83.采用本发明的技术方案，能够实现快速检测激光雷达的安装位置是否正确，并检查修正立体视觉相机与激光雷达之间的位置关系，时间和人工成本低并且效率高，可弥补目前服务机器人在客户现场技术支持时无法专业自检的空白，有利于提升客户现场机器人部署与售后服务的效率与专业性。
84.需要说明的是，上述实施例的预设目标物为另外搭配的若干平板，在实际的应用过程中，也可以将强反光条和弱反光条贴在墙上、门上等其他位置，并且所述预设目标物并非只限于平板，也可以为其他物体，本发明不做限制。另外，本发明只是以餐厅机器人为例，并不构成对本发明的限制，也就是说，机器人也可以工作于其他场景，包括但不限于医院、图书馆以及商场等等。
85.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。