基于巡检机器人的动物检测方法、系统及电子设备与流程

本发明涉及机器人巡检，更具体地，涉及一种基于巡检机器人的动物检测方法、系统及电子设备。

背景技术：

1、目前，为避免人们被猫狗咬伤，公园等公共场所一般禁止猫狗入内。但是总有人带猫狗进去，此外，还有一些流浪猫狗也会流窜进去。所以，公园等公共场所需要及时发现那些进入公园等公共场所的猫狗，以及时消除隐患。

2、当前，现有的猫狗检测通常使用基于深度学习的方法为直接检测猫狗目标的方案。现有的猫狗检测方案首先从摄像头获取原始图像，并对原始图像进行预处理操作(放缩到特定尺度后减均值除方差)，随后把预处理过的图像输入一个两分类深度学习目标检测网络检测猫狗。

3、但是，上述方案不但能够检测地面上真实的猫狗，而且能够检测到人穿的衣服上的猫狗图案，因此，该方案存在严重的误检。

4、为解决人穿的衣服上的猫狗图案被误检成真实猫狗的问题，现有技术还会将上述直接检测猫狗目标的方案附加以下解决方法：

5、检测猫狗的同时检测人体，然后判断检测到的猫或狗目标框是否完全在人体目标框中，如果完全在，则认为检测到的猫狗是人穿的衣服上的图案。

6、但是如果人抱着猫狗、或者人蹲着和猫狗玩耍，按照上述方法，也会被误认为是人穿的衣服上的猫狗图案，从而造成漏检。

技术实现思路

1、本发明的一个目的是提供一种基于巡检机器人的动物检测方法、系统及电子设备的新技术方案，至少能够解决现有技术中猫狗检测存在漏检的问题。

2、本发明的第一方面，提供了一种基于巡检机器人的动物检测方法，包括：

3、获取机器人采集的图像，并将采集的图像送入三分类的深度学习目标检测网络，输出人体目标框、第一动物目标框和第二动物目标框；

4、判断所述第一动物目标框或所述第二动物目标框是否在所述人体目标框内，若在，则判定第一动物或第二动物为疑似人体衣服上的图案，并把所述人体目标框和所述第一动物目标框或所述第二动物目标框组成疑似图案目标框对；

5、从所述机器人的激光雷达读取送入三分类的深度学习目标检测网络的图像在时间上同步的点云帧；

6、遍历所述点云帧中的每个三维坐标点，并同时把激光雷达坐标系下的每个三维坐标点投影到图像像素坐标系下，若每个所述三维坐标点投影到所述疑似图案目标框对的人体框中，则所述三维坐标点归类到人体点云；若每个所述三维坐标点投影到所述疑似图案目标框对的第一动物目标框或第二动物目标框中，则所述三维坐标点归类到第一动物点云或第二动物点云；

7、计算所述第一动物点云或所述第二动物点云属于所述人体点云中的点占所述第一动物点云或所述第二动物点云中点的比例，如果比值超过设定值，则认为所述第一动物目标框和所述第二动物目标框为人衣服上的图案。

8、可选地，获取机器人采集的图像的步骤包括：

9、设置机器人的巡检路线；

10、根据所述巡检路线，控制机器人巡检；

11、通过所述机器人的摄像头或相机采集图像。

12、可选地，输出人体目标框、第一动物目标框和第二动物目标框的步骤还包括：

13、根据输出的所述人体目标框、所述第一动物目标框和所述第二动物目标框，计算所述人体目标框、所述第一动物目标框和所述第二动物目标框的交并比。

14、可选地，计算所述人体目标框、所述第一动物目标框和所述第二动物目标框的交并比的公式为：

15、

16、其中，a表示所述人体目标框的面积，b表示第一动物目标框或第二动物目标框的面积，iou表示交并比；

17、且当iou等于1时，判定所述第一动物目标框或所述第二动物目标框完全在所述人体目标框中。

18、可选地，把激光雷达坐标系下的每个三维坐标点投影到图像像素坐标系下的步骤包括：

19、把三维激光雷达点右乘事先标定出来的激光雷达坐标系到图像像素坐标系的变换矩阵；

20、再右乘事先标定出来的摄像头的内参矩阵。

21、可选地，把激光雷达坐标系下的每个三维坐标点投影到图像像素坐标系下的投影公式为：

22、

23、其中，x、y、z表示三维激光雷达点在所述激光雷达为坐标系的空间坐标，r表示激光雷达坐标系到图像像素坐标系的变换矩阵，k表示摄像头的内参矩阵，s是归一化量，u、v分别表示图像像素坐标。

24、可选地，当所述第一动物点云或所述第二动物点云属于所述人体点云中的点占所述第一动物点云或所述第二动物点云中点的比例超过0.9时，则认为所述第一动物目标框和所述第二动物目标框为人衣服上的图案。

25、本发明的第二方面，提供一种基于巡检机器人的动物检测系统，应用于上述实施例中所述的基于巡检机器人的动物检测方法，所述动物检测系统包括：

26、获取模块，所述获取模块用于获取机器人采集的图像；

27、传送模块，所述传送模块用于将采集的图像送入三分类的深度学习目标检测网络；

28、输出模块，所述输出模块用于输出人体目标框、第一动物目标框和第二动物目标框；

29、判断模块，所述判断模块用于判断所述第一动物目标框或所述第二动物目标框是否在所述人体目标框内，若在，则判定第一动物或第二动物为疑似人体衣服上的图案，并把所述人体目标框和所述第一动物目标框或所述第二动物目标框组成疑似图案目标框对；

30、读取模块，所述读取模块用于从所述机器人的激光雷达读取送入三分类的深度学习目标检测网络的图像在时间上同步的点云帧；

31、遍历模块，所述遍历模块用于遍历所述点云帧中的每个三维坐标点；

32、投影模块，所述投影模块用于把激光雷达坐标系下的每个三维坐标点投影到图像像素坐标系下，若每个所述三维坐标点投影到所述疑似图案目标框对的人体框中，则所述三维坐标点归类到人体点云；若每个所述三维坐标点投影到所述疑似图案目标框对的第一动物目标框或第二动物目标框中，则所述三维坐标点归类到第一动物点云或第二动物点云；

33、计算模块，所述计算模块用于计算所述第一动物点云或所述第二动物点云属于所述人体点云中的点占所述第一动物点云或所述第二动物点云中点的比例，如果比值超过设定值，则认为所述第一动物目标框和所述第二动物目标框为人衣服上的图案。

34、本发明的第三方面，提供一种电子设备，包括：处理器和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行上述实施例中所述的基于巡检机器人的动物检测方法的步骤。

35、本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行上述实施例中所述的基于巡检机器人的动物检测方法的步骤。

36、本发明的基于巡检机器人的动物检测方法，先检测疑似图案的第一动物目标框或第二动物目标框，并和人体框组成“疑似图案目标框对”，然后再进一步确认第一动物或第二动物是否是人衣服上的图案。把激光点云投影到图像上，并分成人体点云、第一动物或第二动物点云。通过计算第一动物点云或第二动物点云中的点属于人体点云中的点占第一动物点云或第二动物点云中点的比例的方式，最终判断第一动物目标框或第二动物目标框是否是人衣服上的图案，从而有效解决漏检的问题，检测精度和检测效率高。

37、通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。