基于深度学习的船员异常行为检测与身份识别方法

本发明属于计算机视觉和航运安全，具体涉及基于深度学习的船员异常行为检测与身份识别方法。

背景技术：

1、船员异常行为指在船员工作过程中由于船员的自身疏忽、技能不熟悉、操作违规、培训不到位等原因导致的不正常行为，可能导致事故发生，甚至危及船舶和人身安全。准确检测船员异常行为并识别该船员身份，可以为事故预警、过程分析及船员培训等提供重要数据支撑，对维护航运安全与人身安全有重要意义。

2、现有的自动化船员异常行为检测与识别方式有：传感器检测与图像检测等。传感器检测准确度较高，触发性能较好，但存在结构复杂、设备昂贵、检测效率低等缺点；图像检测方式分为传统图像检测方法与深度学习检测方法。两者可以通过监控视频获取船员异常行为与身份信息，成本较低，易于部署与扩展，可应用在舰船监控系统中。但传统图像检测方法，存在方法精度不稳定、实时性不佳的问题。目前深度学习技术应用在行为检测与身份识别领域的技术相对成熟，各项识别指标突出，但船上环境复杂多变，存在种种影响图像质量的因素，导致难以做到准确检测与识别。

技术实现思路

1、针对现有技术中存在的上述技术问题，本发明提供基于深度学习的船员异常行为检测与身份识别方法，设计合理，解决了现有技术的不足，具有良好的效果。

2、本发明采用如下技术方案：

3、基于深度学习的船员异常行为检测与身份识别方法，包括如下步骤：

4、s1、获取并处理视频数据，得到船员异常行为数据集和船员人脸识别数据集，其中异常行为包括不穿工作服、不穿救生衣、上身赤裸、抽烟四类；

5、s2、基于改进后的centernet网络模型ca-centernet，设计船员异常行为检测模型判断输入视频中是否存在出现异常行为的船员并获取异常行为类别和船员位置信息图像；

6、s3、设计船员人脸识别模型，用于识别出现异常行为的船员人脸图像并得到船员姓名与编号信息；

7、s4、通过船员异常行为检测模型判断相机监控范围内的船员是否出现异常行为、获取异常行为类型和船员位置信息图像，通过船员人脸识别模型获得船员身份信息，将检测到的船员异常行为类别、船员位置信息图像、船员人脸图像和船员身份信息写入到对应数据库，通知船上管理人员进行处理。

8、进一步地，步骤s1具体包括以下子步骤：

9、s1.1、收集海上发生舰船安全事故的船舶监控视频为第一数据集，拍摄在职船员模拟表现出异常行为的监控视频为第二数据集；

10、s1.2、将第一数据集和第二数据集中的视频利用视频帧转换生成单帧图像序列；

11、s1.3、用人工标注工具对第一数据集和第二数据集的单帧图像进行标注，使用每个目标框的左上角和右下角坐标把出现异常行为的船员图片分割出来，制作船员异常行为数据集，将数据集按8:1:1的比例划分为训练集、验证集和测试集；使用人工截图工具截取第二数据集中出现的船员正脸图像，制作船员人脸识别数据集。

12、进一步地，步骤s2具体包括以下子步骤：

13、s2.1、所述ca-centernet包括改进后的特征提取网络resnet-50、上采样网络deconv和改进后的预测网络heads，所述特征提取网络resnet-50包括四个resblock模块resblock_1~resblock_4和一个transfomerblock模块，其中transfomerblock模块由三个1×1的卷积模块、一个位置编码模块和一个多头注意力模块组成；预测网络heads包括中心点预测网络、边界偏置预测网络和尺寸预测网络；所述中心点预测网络由一个3×3×64的卷积模块、一个cbam模块与一个1×1×80的卷积模块组成，所述边界偏置预测网络由一个3×3×64的卷积模块、一个cbam模块与一个1×1×2的卷积模块组成，所述尺寸预测网络由一个3×3×64的卷积模块、一个1×1×2的卷积模块组成；

14、s2.2、将s1.3中的训练集输入到ca-centernet中进行训练，设置迭代次数为150，学习率为1.25e-4，批训练大小为32，衰减率为0.0006，根据训练中loss函数的变化趋势适当设置不同的学习率和批训练大小，调整学习率和批训练使总训练损失值、样本高度训练损失值、样本宽度损失值和样本偏移训练损失值最小化，直至达到指定的迭代次数时结束训练，得到船员异常行为检测模型。

15、进一步地，通过船员异常行为检测模型检测的过程具体为：每帧图像依次通过resblock_1、resblock_2和resblock_3后输出特征图ⅰ，将特征图ⅰ输入transfomerblock模块，得到多种模式的注意力热图，将特征图ⅰ和注意力热图通过concat操作进行堆叠，随后输入到resblock_4模块，得到全局注意力特征图；将全局注意力特征图输入到上采样网络deconv进行上采样，输出特征图ⅱ；将特征图ⅱ分别输入中心点预测网络、边界偏置预测网络和尺寸预测网络，得到图像中船员异常行为类别、船员所在位置与所占区域大小这三类信息。

16、进一步地，所述特征图ⅱ在中心点预测网络中首先经过3×3×64的卷积模块，再经过cbam模块，最后经过1×1×80的卷积模块；特征图ⅱ在边界偏置预测网络中首先经过3×3×64的卷积模块，再经过cbam模块，最后经过1×1×2的卷积模块；特征图ⅱ在尺寸预测网络中首先经过3×3×64的卷积模块，最后经过1×1×2的卷积模块；

17、进一步地，步骤s3包括以下子步骤：

18、s3.1、对出现异常行为的船员使用deepsort算法进行目标跟踪，将船员异常行为检测模型输出的船员异常行为类别和具体位置信息输入到deepsort算法，根据船员在当前视频序列中出现的先后顺序，每人分配一个唯一的数字id；

19、s3.2、根据船员数字id判断该船员是否为该视频序列中新出现的船员，如果是新出现的船员则截取该视频序列中船员图像，输入到mtcnn模型检测人脸关键点位置与人脸检测框。其中、分别为图像中船员左右眼中心位置，为船员鼻尖位置，、分别为船员左右嘴角位置，和分别为船员人脸左上角、右下角位置；

20、s3.3、设计人脸姿态估计算法，计算该船员人脸的偏航角度yaw与俯仰角度pitch，计算公式如下：

21、；

22、；

23、其中，为、两点在图像中的距离，和分别为和两点在图像中的x轴坐标；为和两点连线中心，为嘴唇中心到两眼连线的距离；

24、s3.4、通过yaw与pitch值筛选人脸图像，过滤掉阈值外的人脸图像，其中，yaw与pitch阈值设置如下：

25、；

26、s3.5、将符合条件的人脸图像输入facerecognition模型进行人脸特征提取，将提取的人脸特征与人脸识别数据集中的特征进行对比，得到相似度最高的船员的身份信息。

27、进一步地，步骤s4具体包括：截取视频中首帧出现该船员异常行为和识别出该船员身份的图像，分别将两种船员图像从原图分割生成图像i1和i2；记录该船员异常行为种类c、当前时间t和船员身份信息n，将i1、i2、c、t、n写入数据库保存，通过声光报警方式通知船上管理人员进行事故处理。

28、与现有技术相比，本发明提供的一种基于深度学习的船员异常行为检测与身份识别方法具有以下有益效果：

29、构建了船员异常行为和人脸识别的有效数据集，对实现深度学习技术具有关键性作用；采用transfomerblock改进centernet的特征提取网络，利用自注意力机制可以更有效的抑制舰船环境噪声干扰、提取各种尺寸的船员行为特征，提升了检测精度；在centernet的预测网络中引入cbam结构实现通道-空间注意力机制，从而更好的定位船员所在区域与中心点位置，进一步提升对于船员异常行为的检测精度；在视频人脸识别模型中设计了一种人脸姿态估计算法，可以从视频序列中筛选出高质量人脸图像，有效提升了船员身份识别精度。