一种船舶驾驶区域瞭望行为检测方法及系统

本发明涉及船员监测，特别是涉及一种船舶驾驶区域瞭望行为检测方法及系统。

背景技术：

1、在船舶行驶过程中，工作人员进行瞭望作业监测船舶其周围航行状况，对局面和碰撞危险作出充分的估计，避免船舶碰撞、搁浅、触礁等海上事故的发生，及时救助遇险的船舶、飞机、人员，所以驾驶人员必须严格遵守作业安全规范，保证船舶的安全行驶。但是在船舶驾驶区域中，驾驶人员工作行为难以控制，工作人员在作业期间使用望远镜进行瞭望，是驾驶人员的必备动作，未进行瞭望并对船舶航行状况不关注，这种行为违反规定且十分危险，很容易忽视船舶行驶过程中各种安全隐患。因此对作业人员的工作行为检测十分重要。

2、传统的船舶驾驶区域作业中主要通过对驾驶人员进行规范作业培训、驾驶人员的自我监督以及通过传统视频监控系统进行人工监督和观察来发现、排除和规避安全行驶隐患，从而保障行驶安全。目前的视频监控系统通常用于在安全生产事故发生后对事故发生原因和过程进行回溯和调查，无法起到及时识别异常状况并进行警告的作用。除了依靠作业人员的自觉规范作业来确保行驶安全，通过视频监控系统进行人工监察来实现安全生产隐患的及时发现和排除所需要的人力成本过高，再加上监控人员难以长时间集中注意力观察，以及人工判断的主观性影响，很容易发生误检、漏检等情况，导致工作现场不利于安全行驶的潜在威胁和隐患被忽略，也就无法及时处理并防止安全生产事故的发生，直接造成事故处理的滞后。

技术实现思路

1、本发明的目的是提供一种船舶驾驶区域瞭望行为检测方法及系统，提高了对工作人员瞭望行为进行监测的监测效率。

2、为实现上述目的，本发明提供了如下方案：

3、本发明公开了一种船舶驾驶区域瞭望行为检测方法，包括：

4、在设定时间段，采用摄像机提取多张工作人员图像；

5、将每张工作人员图像输入人体形态检测模型，输出每张工作人员图像对应的手肘识别结果；所述手肘识别结果为手肘弯曲或者手肘不弯曲；

6、若多张工作人员图像的手肘识别结果均不存在手肘弯曲的手肘识别结果，则进行瞭望失职预警；

7、若多张工作人员图像的手肘识别结果中存在手肘弯曲的手肘识别结果，则将手肘弯曲对应的工作人员图像输入人脸目标检测模型，输出瞭望姿态识别结果；所述瞭望姿态识别结果为存在瞭望姿态或者不存在瞭望姿态；

8、根据瞭望姿态识别结果进行瞭望姿态监测；

9、所述人体形态检测模型是采用第一训练集对第一深度卷积神经网络进行训练确定的；所述人脸形态检测模型是采用第二训练集对第二深度卷积神经网络进行训练确定的；所述第一训练集中样本数据包括第一输入数据和第一标签；所述第二训练集中样本数据包括第二输入数据和第二标签；所述第一输入数据和所述第二输入数据均为工作人员历史图像，所述第一标签为手肘姿态，所述第二标签为是否为瞭望姿态。

10、可选地，还包括：提取所述摄像机的历史监控视频中历史图像，若所述历史图像中人像的比例超出预设范围，则调动所述摄像机的云台运动，直到从所述摄像机的监控视频中提取的图像中人像的比例在所述预设范围内。

11、可选地，还包括：若采用摄像机提取的工作人员图像存在画面遮挡，采用卡尔曼滤波对遮挡画面进行预测。

12、可选地，所述第一深度卷积神经网络和所述第二深度卷积神经网络结构相同，均包括骨干网络和颈部网络，骨干网络包括focus模块和csp模块，颈部网络包括fpn模型和pan模型。

13、可选地，训练所述第一深度卷积神经网络和所述第二深度卷积神经网络时的损失包括矩形框损失、置信度和分类概率损失。

14、可选地，所述根据瞭望姿态识别结果进行瞭望姿态监测，具体包括：

15、若所述瞭望姿态识别结果不存在瞭望姿态，则进行瞭望失职预警。

16、可选地，还包括：将所述瞭望失职预警发送到移动终端，所述移动终端包括平板电脑和手机。

17、本发明还公开了一种船舶驾驶区域瞭望行为检测系统，包括：

18、工作人员图像提取模块，用于在设定时间段，采用摄像机提取多张工作人员图像；

19、手肘识别模块，用于将每张工作人员图像输入人体形态检测模型，输出每张工作人员图像对应的手肘识别结果；所述手肘识别结果为手肘弯曲或者手肘不弯曲；

20、第一次检测模块，用于若多张工作人员图像的手肘识别结果均不存在手肘弯曲的手肘识别结果，则进行瞭望失职预警；

21、瞭望姿态识别模块，用于若多张工作人员图像的手肘识别结果中存在手肘弯曲的手肘识别结果，则将手肘弯曲对应的工作人员图像输入人脸目标检测模型，输出瞭望姿态识别结果；所述瞭望姿态识别结果为存在瞭望姿态或者不存在瞭望姿态；

22、第二次检测模块，用于根据瞭望姿态识别结果进行瞭望姿态监测；

23、所述人体形态检测模型是采用第一训练集对第一深度卷积神经网络进行训练确定的；所述人脸形态检测模型是采用第二训练集对第二深度卷积神经网络进行训练确定的；所述第一训练集中样本数据包括第一输入数据和第一标签；所述第二训练集中样本数据包括第二输入数据和第二标签；所述第一输入数据和所述第二输入数据均为工作人员历史图像，所述第一标签为手肘姿态，所述第二标签为是否为瞭望姿态。

24、根据本发明提供的具体实施例，本发明公开了以下技术效果：

25、本发明基于对工作人员的监控图像，利用人体形态检测模型首先识别手肘姿态，进行第一次瞭望失职检测，并在通过第一次瞭望失职检测的基础上，利用人脸目标检测模型进行进一步检测，通过两步检测，在保证检测速度的同时提高了检测准确性，实现了对瞭望失职行为的自动化检测，提高了对工作人员瞭望行为进行监测的监测效率。

技术特征：

1.一种船舶驾驶区域瞭望行为检测方法，其特征在于，包括：

2.根据权利要求1所述的船舶驾驶区域瞭望行为检测方法，其特征在于，还包括：提取所述摄像机的历史监控视频中历史图像，若所述历史图像中人像的比例超出预设范围，则调动所述摄像机的云台运动，直到从所述摄像机的监控视频中提取的图像中人像的比例在所述预设范围内。

3.根据权利要求1所述的船舶驾驶区域瞭望行为检测方法，其特征在于，还包括：若采用摄像机提取的工作人员图像存在画面遮挡，采用卡尔曼滤波对遮挡画面进行预测。

4.根据权利要求1所述的船舶驾驶区域瞭望行为检测方法，其特征在于，所述第一深度卷积神经网络和所述第二深度卷积神经网络结构相同，均包括骨干网络和颈部网络，骨干网络包括focus模块和csp模块，颈部网络包括fpn模型和pan模型。

5.根据权利要求1所述的船舶驾驶区域瞭望行为检测方法，其特征在于，训练所述第一深度卷积神经网络和所述第二深度卷积神经网络时的损失包括矩形框损失、置信度和分类概率损失。

6.根据权利要求1所述的船舶驾驶区域瞭望行为检测方法，其特征在于，根据瞭望姿态识别结果进行瞭望姿态监测，具体包括：

7.根据权利要求1所述的船舶驾驶区域瞭望行为检测方法，其特征在于，还包括：将所述瞭望失职预警发送到移动终端，所述移动终端包括平板电脑和手机。

8.一种船舶驾驶区域瞭望行为检测系统，其特征在于，包括：

技术总结
本发明公开一种船舶驾驶区域瞭望行为检测方法及系统，涉及船员监测技术领域，该方法包括：在设定时间段，采用摄像机提取多张工作人员图像；将每张工作人员图像输入人体形态检测模型输出每张工作人员图像对应的手肘识别结果；若多张工作人员图像的手肘识别结果均不存在手肘弯曲的手肘识别结果，则进行瞭望失职预警；若多张工作人员图像的手肘识别结果中存在手肘弯曲的手肘识别结果，则将手肘弯曲对应的工作人员图像输入人脸目标检测模型，输出瞭望姿态识别结果；瞭望姿态识别结果为存在瞭望姿态或者不存在瞭望姿态；根据瞭望姿态识别结果进行瞭望姿态监测。本发明提高了对工作人员瞭望行为进行监测的监测效率。

技术研发人员：蔡东升,黄琦,韩昊,孙飞宇,周星宇,关泽祥
受保护的技术使用者：成都理工大学
技术研发日：
技术公布日：2024/1/14