基于目标姿态估计的全天候实时监控非法捕鱼报警方法及系统

本发明涉及一种基于目标姿态估计的全天候实时监控非法捕鱼报警方法及系统，属于计算机视觉。

背景技术：

1、由于水域面积广阔，监管难度较大，加上经济利益驱使，非法捕鱼现象普遍，需要进一步监管解决。为实现对非法捕鱼行为的监管，目前主要对监控水域视频数据进行采集后，采用深度学习对非法捕鱼行为进行识别后报警。在识别时，识别标准不确定、水域旁边人员组成复杂、没有具体进行分类处理等原因，导致结果误判。

2、目前的非法捕鱼行为报警方法中，存在对捕鱼行为进行识别时目标定位不准确和误判率高的问题。其原因在于：

3、首先，由于在目标定位时采用默认框和非极大值抑制筛选的方法进行目标定位，而这种方法对于目标较为规则的情况比较适用，但对于目标形状不规则或者目标数量较多的情况，容易会出现目标定位不准确的情况。

4、其次，主要采用卷积神经网络和行为识别模型进行非法捕鱼行为识别，这些模型的准确率较低，误判率较高。

5、例如，中国发明申请201911395639.3公开的一种用于监测非法捕鱼的视频行为识别方法同样存在准确率较低和误判率高的问题。

6、上述问题是在基于目标姿态估计的全天候实时监控非法捕鱼报警过程中应当予以考虑并解决的问题。

技术实现思路

1、本发明的目的是提供一种基于目标姿态估计的全天候实时监控非法捕鱼报警方法及系统解决现有技术中存在的识别精度和报警准确率有待提高的问题。

2、一种基于目标姿态估计的全天候实时监控非法捕鱼报警方法，包括以下步骤，

3、s1、在河道两旁的待检测区域布置高清监控摄像头，实时获取监控视频，并在河道两旁的待检测区域布置kinect深度摄像头，获取监控场景的三维深度信息；

4、s2、判定是否处于设定禁止时间或设定河道禁入区域，如是，转到步骤s7；否则，转到下一步骤s3；

5、s3、由目标检测模型yolov5对输入的监控视频中目标人群生成相应的边界框和概率值；

6、s4、采用基于人体姿态估计算法alphapose的人体骨骼关节点标注模型，对人体骨骼关节点进行标注，并得到每个行人的完整姿态信息；采用基于深度卷积神经网络的二分类模型进行信息筛选，得到判断非法捕鱼行为所需的人体动作特征；

7、s5、判定是否具有非法捕鱼动作特征，如是，转到步骤s7；否则，转到下一步骤s6；

8、s6、采用基于kinect角度测量的姿势识别算法，对人手部关节点和躯干关节点进行计算得到节点角度信息，将节点角度信息与预设的非法动作角度范围进行比较匹配，在匹配时，转到步骤s7；否则，判定为不存在非法捕鱼行为；

9、s7、判定为存在非法捕鱼行为并进行报警操作。

10、进一步地，步骤s4中，采用基于人体姿态估计算法alphapose的人体骨骼关节点标注模型，对人体骨骼关节点进行标注，并得到每个行人的完整姿态信息，具体为，

11、s41、对每个行人的检测框进行裁剪处理并提取行人图像得到处理后的行人特征图，将处理后的行人特征图输入到基于人体姿态估计算法alphapose的人体骨骼关节点标注模型中进行姿态估计；

12、s42、基于人体姿态估计算法alphapose的人体骨骼关节点标注模型根据每个行人的检测框坐标信息来推测出关键关节点信息包括肩膀、膝盖、手腕的位置坐标；

13、s43、在估计每个行人的关键关节点信息后，将关键关节点信息进行组合和整合，得到每个行人的完整姿态信息，完整姿态信息包括每个关键关节点的位置坐标和关键关节点的位置坐标之间的连线信息。

14、进一步地，步骤s5中，判定是否具有非法捕鱼动作特征，具体为，使用lstm网络结构判定是否具有非法捕鱼动作特征，首先通过双向lstm层学习时间序列特征，接着通过dropout层以防止过拟合；然后经过全连接层进行非线性映射，使用relu激活函数，最后输出层采用softmax激活函数输出两个节点代表非法捕鱼和正常钓鱼的概率预测。

15、进一步地，步骤s6中，采用基于kinect角度测量的姿势识别算法，对人手部关节点和躯干关节点进行计算得到节点角度信息，具体为，利用kinect深度摄像头获取监控场景的三维深度信息，识别出图像中人体的三维关键点坐标包括手部、躯干部位的节点坐标；然后计算这些关键节点在三维空间中的相对角度、方向，得到节点角度信息。

16、进一步地，预设的非法动作角度范围包括非法抛网捕鱼动作的角度范围为手腕俯仰角度大于60°、手肘俯仰角度超过90°以及肩关节俯仰角度大于60°且持续时间超过设定时间。

17、一种采用上述任一项所述的基于目标姿态估计的全天候实时监控非法捕鱼报警方法的系统，包括实时监控模块、初步判定模块、非法捕鱼检测模块和报警模块，

18、实时监控模块：在河道两旁的待检测区域布置高清监控摄像头，实时获取监控视频，并在河道两旁的待检测区域布置kinect深度摄像头，获取监控场景的三维深度信息；

19、初步判定模块：判定是否处于设定禁止时间或设定河道禁入区域，如是，判定为存在非法捕鱼行为并由报警模块进行报警操作；否则，由非法捕鱼检测模块进一步进行判定；

20、非法捕鱼检测模块包括目标检测单元、人体姿态估计单元和非法捕鱼识别单元，

21、目标检测单元：由目标检测模型yolov5对输入的监控视频中目标人群生成相应的边界框和概率值；

22、人体姿态估计单元：采用基于人体姿态估计算法alphapose的人体骨骼关节点标注模型，对人体骨骼关节点进行标注，并得到每个行人的完整姿态信息；采用基于深度卷积神经网络的二分类模型进行信息筛选，得到判断非法捕鱼行为所需的人体动作特征；

23、非法捕鱼识别单元：判定是否具有非法捕鱼动作特征，如是，判定为存在非法捕鱼行为并由报警模块进行报警操作；否则，采用基于kinect角度测量的姿势识别算法，对人手部关节点和躯干关节点进行计算得到节点角度信息，将节点角度信息与预设的非法动作角度范围进行比较匹配，在匹配时，判定为存在非法捕鱼行为并由报警模块进行报警操作；否则，判定为不存在非法捕鱼行为；

24、报警模块：在存在非法捕鱼行为时进行报警操作。

25、本发明的有益效果是：

26、一、该种基于目标姿态估计的全天候实时监控非法捕鱼报警方法及系统，采用目标检测模型yolov5与基于alphapose的人体骨骼关节点标注模型结合的方式，对目标人群进行精准目标框定以及人体骨骼关节点做标注输出，能够实现全天候目标人群的高精度检测和关键点标注，能够实现高精度目标识别，能够提升对非法捕鱼行为监控的精准性，达到提高报警准确率的目的。

27、二、本发明，采用多道判定步骤，能够针对设定禁止时间或设定河道禁入区域的特殊情况下的非法捕鱼行为，可以不用进行后续的视频流处理，直接进行报警操作，优化报警流程，增强报警的实时性，能够实现全天实时精准检测非法捕鱼行为的工作。

28、三、该种基于目标姿态估计的全天候实时监控非法捕鱼报警方法及系统，基于深度学习算法对视频流进行筛选和挑选，将关节点数据基于kinect角度测量的姿势识别算法做进一步计算判断，将普通行人和非法捕鱼目标人群分离开，进一步提高报警准确率，能够有效降低虚假报警和误报情况的频繁发生。