一种移动机器人安全防护方法及装置与流程

本发明涉及一种机器人安全领域，尤其涉及一种移动机器人安全防护方法及装置。

背景技术：

1、场景感知是移动机器人运行的一个非常关键环节，其直接决定了移动机器人能不能在场景中稳定、可靠和安全运行。用来进行机器人场景感知的传感器按接触方式可以分为接触式和非接触式，其中接触式在家用扫地机器人上有较为广泛的应用，其他类型的移动机器人由于应用场景的限制一般都采用非接触式。

2、非接触式的主流传感器包括2d激光、3d激光、深度相机以及雷达。

3、2d激光只能感知到某一平面下的物体距离信息，而物体存在于整个三维空间中，其场景感知能力较弱。

4、3d激光能够感知整个场景的3d信息，但其成本较高，其还会由于激光穿过透明玻璃而出现漏测问题。

5、深度相机在近距离三维空间感知能力还是有很不错的表现的，其成本也远远低于3d激光，但无论是tof、结构光还是双目深度相机同样难以解决玻璃墙等感知问题。

6、雷达能够有效的探测玻璃墙，但其只能探测一定区域内是否有障碍物，无法给出空间位置信息，一般起到安全警示辅助作用。例如，一种在中国专利文献上公开的“机器人避障系统”，其公告号cn108527364a，包括：采集模块，采集模块用于获取机器人与障碍物之间的距离信息；控制模块，其通信连接于采集模块，获取距离信息，生成控制信号；执行模块，其通信连接于控制模块，依据控制信号控制机器人的运动。该方案通过设置激光雷达和超声阵列两种类型的传感器，实现机器人的主动避障。该方案采用两种传感器组合实现对于玻璃的避障功能，成本高。

技术实现思路

1、本发明主要解决现有技术单一的传感器难以解决玻璃墙等感知的问题；提供一种移动机器人安全防护方法及装置，借助投射图案的结构化信息，探测场景中障碍物，能够有效的解决玻璃墙等其他传感器的感知痛点问题，且成本相对低廉，能够较好的满足移动机器人防护需求。

2、本发明的上述技术问题主要是通过下述技术方案得以解决的：

3、一种移动机器人安全防护方法，包括以下步骤：

4、s1：相机采集获得探测区域关于投射图像的实时图，与预置的平面区域关于投射图像的参考图对比，获得图像差异区域；

5、s2：根据图像差异区域确定障碍物位置，计算图像差异区域中线段差异的起点；

6、s3：通过坐标系的映射关系确定线段差异起点在车体坐标系中的位置信息；

7、s4：根据车体坐标系中的位置信息实时进行机器人安全防护。

8、本方案对比包括投射图像的实时图与参考图，通过图像差分确定障碍物起点位置，通过坐标系映射关系获得车体坐标系下的障碍物起点坐标，根据距离的阈值比较控制机器人的防护启动。借助投射图案的结构化信息，探测场景中障碍物，能够有效的解决玻璃墙等其他传感器的感知痛点问题，且成本相对低廉，能够较好的满足移动机器人防护需求。

9、作为优选，所述的参考图的预置过程为：

10、图案投射器将投射图像投射到场景中，取投射图像处于平面区域时，拍摄获取参考帧图像，作为预置的参考图。

11、参考图为投射图像与平面区域时拍摄的参考帧图像。

12、作为优选，实时图与参考图通过图像差分获得图像差异区域，根据图像差分后是否有差异区域判断场景中是否存在非平面物体。

13、作为优选，所述的图像差分的表达式为：

14、

15、其中，i(x，y)为实时图中坐标(x，y)处的像素值；

16、iref(x，y)为参考图中坐标(x，y)处的像素值；

17、thre为是否发生变化的阈值。

18、作为优选，当确定场景中存在非平面物体时，确定每条线段差异的起点；沿参考图中每条线段从下往上的方向搜索差异点，第一个差异点即为每条线段差异的起点。

19、从下往上的方向搜索差异点，第一个差异点作为每条线段差异的起点，由于图案投射器的安装位置关系，图像中线条从下往上距离机器人本体越来越远，选择距离机器人最近的一个点作为障碍物的起点。

20、作为优选，图像平面的点到车体坐标系的映射关系建立过程为：

21、a1：将标定板固定放置的地平面；

22、a2：图像上的点到地平面坐标系下的映射；

23、在标定板上建立地平面坐标系(这样可以确定棋盘格每个角点在地平面坐标系下的坐标点)，同时对相机采集的图像数据进行棋盘格角点检测(这样可以确定棋盘格每个角点在图像平面坐标系下的坐标点)，基于地平面坐标系下的坐标点和图像平面坐标系下的坐标点的对应关系求解单应性矩阵；

24、a3：地平面坐标系到相机坐标系的映射；

25、采集一张覆盖完整标定板的图像数据，并进行外参标定(假定事先已完成相机内参标定)，获得地平面坐标系到相机坐标系的映射关系；

26、a4：通过手眼标定完成相机坐标系到车体坐标系的映射。

27、事先建立图像平面点到车体坐标系的映射关系，通过此映射关系可以确定障碍物的起点在车体坐标系下的位置信息。

28、作为优选，计算机器人当前坐标到障碍物起点的距离，当距离小于等于设定安全阈值时，启动防护，并刹车或控制机器人转弯。

29、根据非平面物体的起点在车体坐标系下的位置信息实时进行机器人安全防护。

30、一种移动机器人安全防护装置，包括：

31、相机，采集获取探测区域中包括投射图像的实时图；

32、图案投射器，将投射图像投射到机器人前进方向的探测区域中；

33、计算分析单元，对比包括投射图像的实时图与参考图，通过图像差分确定障碍物起点位置，通过坐标系映射关系获得车体坐标系下的障碍物起点坐标，根据距离的阈值比较控制机器人的防护启动。

34、借助投射图案的结构化信息，探测场景中障碍物，能够有效的解决玻璃墙等其他传感器的感知痛点问题，且成本相对低廉，能够较好的满足移动机器人防护需求。

35、作为优选，所述的投射图像为若干条平行线条，线条方向沿机器人前进方向延伸。本方案的设置，使得图像中线条从下往上距离机器人本体越来越远，选择距离机器人最近的一个点作为障碍物的起点。

36、作为优选，所述的线条间距相等。根据测量精度需求，可是调整线条密度。

37、本发明的有益效果是：

38、对比包括投射图像的实时图与参考图，通过图像差分确定障碍物起点位置，通过坐标系映射关系获得车体坐标系下的障碍物起点坐标，根据距离的阈值比较控制机器人的防护启动。借助投射图案的结构化信息，探测场景中障碍物，能够有效的解决玻璃墙等其他传感器的感知痛点问题，且成本相对低廉，能够较好的满足移动机器人防护需求。

技术特征：

1.一种移动机器人安全防护方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种移动机器人安全防护方法，其特征在于，所述的参考图的预置过程为：

3.根据权利要求1或2所述的一种移动机器人安全防护方法，其特征在于，实时图与参考图通过图像差分获得图像差异区域，根据图像差分后是否有差异区域判断场景中是否存在非平面物体。

4.根据权利要求3所述的一种移动机器人安全防护方法，其特征在于，所述的图像差分的表达式为：

5.根据权利要求1或4所述的一种移动机器人安全防护方法，其特征在于，当确定场景中存在非平面物体时，确定每条线段差异的起点；沿参考图中每条线段从下往上的方向搜索差异点，第一个差异点即为每条线段差异的起点。

6.根据权利要求1所述的一种移动机器人安全防护方法，其特征在于，图像平面的点到车体坐标系的映射关系建立过程为：

7.根据权利要求1或6所述的一种移动机器人安全防护方法，其特征在于，计算机器人当前坐标到障碍物起点的距离，当距离小于等于设定安全阈值时，启动防护，并刹车或控制机器人转弯。

8.一种移动机器人安全防护装置，采用如权利要求1-7中任意一项所述的一种移动机器人安全防护方法，其特征在于，包括：

9.根据权利要求8所述的一种移动机器人安全防护装置，其特征在于，所述的投射图像为若干条平行线条，线条方向沿机器人前进方向延伸。

10.根据权利要求9所述的一种移动机器人安全防护装置，其特征在于，所述的线条间距相等。

技术总结
本发明公开了一种移动机器人安全防护方法及装置。为了克服现有技术单一的传感器难以解决玻璃墙等感知的问题；方法包括以下步骤：S1：相机采集获得探测区域关于投射图像的实时图，与预置的平面区域关于投射图像的参考图对比，获得图像差异区域；S2：根据图像差异区域确定障碍物位置，计算图像差异区域中线段差异的起点；S3：通过坐标系的映射关系确定线段差异起点在车体坐标系中的位置信息；S4：根据车体坐标系中的位置信息实时进行机器人安全防护。借助投射图案的结构化信息，探测场景中障碍物，能够有效的解决玻璃墙等其他传感器的感知痛点问题，且成本相对低廉，能够较好的满足移动机器人防护需求。

技术研发人员：丁蕾,周国成,翟瑾,王瑞,祁伟建,胡从洋
受保护的技术使用者：杭州云象商用机器有限公司
技术研发日：
技术公布日：2024/1/15