基于巡逻机器人的吸烟行为检测方法、装置、介质及设备与流程

本发明涉及数据处理，尤其涉及基于巡逻机器人的吸烟行为检测方法、装置、介质及设备。

背景技术：

1、对于禁止吸烟的公共场所，比如医院、商场、博物馆、车站等，需要及时发现抽烟行为以及行为人，并及时给出提醒。

2、现有技术采用基于深度学习的方法检测香烟目标以及其关联的人体部位关键点来发现吸烟行为。然而当医院、商场等公共场所的人流量增大时，关键点可能被遮挡，由此导致对关键点的捕捉不准确，造成漏检的问题；且吸烟的姿势非固定，吸烟行为的判断逻辑规则多样，很容易造成误判、误检的情况，检测精度欠佳。为了提高检测精度，现有技术增加采用红外温度传感器来辅助检测点燃的烟头。尽管借助红外温度传感器可以检测到真正的吸烟行为，然而此方式大大增加了设备成本，而且烟头一般较小，在近距离的情况下烟头在红外温度分布图中所占的区域通常较小；在较远距离的情况下，红外温度传感器甚至无法感应到点燃的烟头温度，漏检和误检的情况频发。

技术实现思路

1、本发明实施例提供了一种基于巡逻机器人的吸烟行为检测方法、装置、介质及设备，以解决现有技术在检测吸烟行为时存在的漏检和误检、检测精度欠佳以及设备成本高的问题。

2、一种基于巡逻机器人的吸烟行为检测方法，所述方法包括：

3、控制巡逻机器人在预设场所移动，并采集所述预设场所的图像信号；

4、对所述图像信息进行手和嘴巴检测得到手目标框和/或嘴巴目标框，生成关于手和/或嘴巴的感兴趣区域；

5、对所述感兴趣区域进行香烟检测，获取香烟目标框；

6、计算所述香烟目标框和所述手目标框之间的交并比信息，和/或，所述香烟目标框和嘴巴目标框之间的交并比信息；

7、若至少一个所述交并比信息大于或等于预设阈值时，根据所述香烟目标框生成吸烟行为信息。

8、可选地，所述对所述图像信息进行手和嘴巴检测得到手目标框和/或嘴巴目标框，生成关于手和/或嘴巴的感兴趣区域包括：

9、对所述图像信息进行下采样，将下采样后的图像信息中的每个像素进行预处理，得到第一待检测图像；

10、将所述第一待检测图像输入至预设的第一目标检测网络进行手和嘴巴检测；

11、若所述第一待检测图像中存在手和/或嘴巴时，根据所述第一目标检测网络输出的目标检测框截取关于手和/或嘴巴的感兴趣区域。

12、可选地，所述根据所述第一目标检测网络输出的目标检测框截取关于手和/或嘴巴的感兴趣区域包括：

13、获取所述第一目标检测网络输出的目标检测框及其中心点；

14、以所述中心点为原点，按照第一预设尺寸对所述图像信息进行截取；

15、将所截取到的图像区域放大到第二预设尺寸，得到关于手和/或嘴巴的感兴趣区域。

16、可选地，所述根据所述第一目标检测网络输出的目标检测框截取关于手和/或嘴巴的感兴趣区域还包括：

17、在截取的过程中，若所述第一预设尺寸超出所述图像信息的边界，则对超出部分的像素填充0像素值。

18、可选地，所述对所述感兴趣区域进行香烟检测，获取香烟目标框包括：

19、将所述感兴趣区域中的每个像素进行预处理，得到第二待检测图像；

20、将所述第二待检测图像输入至预设的第二目标检测网络进行香烟检测和疑似香烟物体检测；

21、若所述第二待检测图像中存在疑似香烟物体时，丢弃所述疑似香烟物体；

22、若所述第二待检测图像中存在香烟时，获取所述第二目标检测网络输出的香烟目标框。

23、可选地，所述第二目标检测网络采用改进后的yolov8目标检测网络，采用relu激活函数，采用反卷积算子、batch normalization归一化算子、relu激活算子组成upsample上采样算子。

24、可选地，所述方法还包括：

25、在训练改进后的yolov8目标检测网络时，对原始样本标注香烟和疑似香烟物体，生成训练样本；

26、采用所述训练样本对所述yolov8目标检测网络进行香烟检测训练和疑似香烟物体检测训练。

27、一种基于巡逻机器人的吸烟行为检测方法，所述装置包括：

28、采集模块，用于控制巡逻机器人在预设场所移动，并采集所述预设场所的图像信号；

29、第一检测模块，用于对所述图像信息进行手和嘴巴检测得到手目标框和/或嘴巴目标框，生成关于手和/或嘴巴的感兴趣区域；

30、第二检测模块，用于对所述感兴趣区域进行香烟检测，获取香烟目标框；

31、计算模块，用于计算所述香烟目标框和所述手目标框之间的交并比信息，和/或，所述香烟目标框和嘴巴目标框之间的交并比信息；

32、生成模块，用于若至少一个所述交并比信息大于或等于预设阈值时，根据所述香烟目标框生成吸烟行为信息。

33、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于巡逻机器人的吸烟行为检测方法。

34、一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于巡逻机器人的吸烟行为检测方法。

35、本发明实施例通过控制巡逻机器人在预设场所移动，并采集所述预设场所的图像信号；对所述图像信息进行手和嘴巴检测得到手目标框和/或嘴巴目标框，生成关于手和/或嘴巴的感兴趣区域；对所述感兴趣区域进行香烟检测，获取香烟目标框；计算所述香烟目标框和所述手目标框和/或香烟目标框和嘴巴目标框之间的交并比信息；若至少一个所述交并比信息大于或等于预设阈值时，根据所述香烟目标框生成吸烟行为信息；从而有效地解决了漏检和误检的情况，提高了检测精度，降低了设备成本。

技术特征：

1.一种基于巡逻机器人的吸烟行为检测方法，其特征在于，包括：

2.如权利要求1所述的基于巡逻机器人的吸烟行为检测方法，其特征在于，所述对所述图像信息进行手和嘴巴检测得到手目标框和/或嘴巴目标框，生成关于手和/或嘴巴的感兴趣区域包括：

3.如权利要求2所述的基于巡逻机器人的吸烟行为检测方法，其特征在于，所述根据所述第一目标检测网络输出的目标检测框截取关于手和/或嘴巴的感兴趣区域包括：

4.如权利要求3所述的基于巡逻机器人的吸烟行为检测方法，其特征在于，所述根据所述第一目标检测网络输出的目标检测框截取关于手和/或嘴巴的感兴趣区域还包括：

5.如权利要求3或4所述的基于巡逻机器人的吸烟行为检测方法，其特征在于，所述对所述感兴趣区域进行香烟检测，获取香烟目标框包括：

6.如权利要求5所述的基于巡逻机器人的吸烟行为检测方法，其特征在于，所述第二目标检测网络采用改进后的yolov8目标检测网络，采用relu激活函数，采用反卷积算子、batch normalization归一化算子、relu激活算子组成upsample上采样算子。

7.如权利要求6所述的基于巡逻机器人的吸烟行为检测方法，其特征在于，所述方法还包括：

8.一种基于巡逻机器人的吸烟行为检测装置，其特征在于，所述装置包括：

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于巡逻机器人的吸烟行为检测方法。

10.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的基于巡逻机器人的吸烟行为检测方法。

技术总结
本发明公开了一种基于巡逻机器人的吸烟行为检测方法，包括：控制巡逻机器人在预设场所移动，并采集所述预设场所的图像信号；对所述图像信息进行手和嘴巴检测得到手目标框和/或嘴巴目标框，生成关于手和/或嘴巴的感兴趣区域；对所述感兴趣区域进行香烟检测，获取香烟目标框；计算所述香烟目标框和所述手目标框之间的交并比信息，和/或，所述香烟目标框和嘴巴目标框之间的交并比信息；若至少一个所述交并比信息大于或等于预设阈值时，根据所述香烟目标框生成吸烟行为信息。本发明有效地解决了现有技术在检测吸烟行为时存在的漏检和误检、检测精度欠佳以及设备成本高的问题。

技术研发人员：黄宁波,柏林,刘彪,舒海燕,袁添厦,祝涛剑,沈创芸,王恒华,方映峰
受保护的技术使用者：广州高新兴机器人有限公司
技术研发日：
技术公布日：2024/1/15