一种河湖采砂船船脸识别方法

本发明涉及计算机视觉目标识别，尤其涉及一种河湖采砂船船脸识别方法。

背景技术：

1、河砂资源是经济社会发展的重要物质基础，河湖采砂管理是河湖管理的重要组成部分，采砂监控的任务主要包括是否有违法采砂船在违禁区域内采砂的检测和采砂是否对航道结构造成破坏的监测等，采用视频监控系统对内河航道和湖泊的采砂行为进行监控是管理采砂船的有效手段之一，对于采砂船个体的目标识别是实现采砂船精确监管的核心，是河道采砂智慧管理的必要组成部分。然而现有的技术只能实现对于采砂船类别识别，利用传统的目标检测算法进行船舶类别和定位的判断，对航道信息进行统计；

2、但该方法只能检测出采砂船的类别和位置，无法做到精确识别采砂船个体以及该采砂船是否是违规作业船只，因此这些算法并不能很好的解决采砂船精细化管理的问题，无法投入实际应用当中。

3、针对上述问题，我们提出一种河湖采砂船船脸识别方法来解决上述问题，采用将改进retinaface+facenet方法应用于河湖采砂船船脸识别任务。

技术实现思路

1、本发明提出的一种河湖采砂船船脸识别方法，具体采用了如下技术方案：

2、一种河湖采砂船船脸识别方法，包括以下步骤：包括以下步骤：

3、s1、收集部署在河湖岸边摄像头拍摄的过往的采砂船只图片，采砂船只图片包括在晴天、阴雨天气环境下拍摄的图片，在傍晚、夜间拍摄的图片，在船脸不同位置下拍摄的图片，对收集的所述采砂船只图片进行筛选，得到采砂船只图片数据集，通过opencv对采砂船只图片数据集添加椒盐噪声、色彩抖动和色域扭曲以训练采砂船只图片数据集；

4、s2、对采集的不同采砂船只的图片进行标注形成训练retinaface模型数据集一；

5、s3、对数据集一中的采砂船船脸图像进行截取，并将属于同一艘采砂船个体的图片放到一个文件夹下，形成训练facenet模型的数据集二；

6、s4、针对具体的采砂船个体船脸识别任务，分别改进retinaface模型和改进facenet模型，实现更高的精度；

7、所述改进retinaface模型特征在于将retinaface主干网络中的基本卷积层中的leakyrelu激活函数替换为gelu激活函数，组成cbg卷积模块，形成新的主干特征提取网络，原retinaface的主干网络有三个输出有效特征层，分别在这三个输出有效特征层c3，c4和c5后加入eca注意力结构，用来网络增强对于感兴趣区域的自适应关注能力，主干网络的输出有效特征层c5形状为（20，20），c4形状为（40，40），c3形状为（80，80），同时将利用damo-yolo网络模型的efficient-repgfpn网络来作为特征融合网络，将原始利用卷积层线性堆叠实现的特征融合改进为cspnet连接，能够充分交换高级语义信息和低级空间信息在不增加更多计算量的同时，提升模型的精度，最后将所述有效特征层的输出连接至特征融合网络；

8、所述改进facenet模型特征在于利用启发式和免训练的搜索方法mae-nas快速大范围搜索各种不同规模的主干网络结构，根据延迟预算来低成本的定制化模型，形成改进facenet的主干网络，基于one-shot方法，首先针对目标设备采样，得到所有用到的算子的时延数据，根据算子的时延数据对模型进行延迟预测，如果预测的模型量级符合预设的目标，模型会进入到后续模型更新和计算分数，最后经过迭代更新，得到符合时延约束的最优模型，最终确定deepmad-89m作为主干网络，参数量为89mb,浮点运算次数为15.4g，最后在主干网络后的全局平均池化层后引入gam注意力机制，增强网络对于感兴趣区域的自适应关注；

9、s5、利用所述数据集一训练改进retinaface目标检测模型，利用所述数据集二训练改进facenet采砂船个体船脸识别模型，分别获取最优模型；

10、s6、利用训练好的retinaface+facenet模型进行对输出特征向量进行编码，获得包含船脸信息和采砂船只名称的.npy文件作为数据库；

11、s7、利用训练得到的改进retinaface+facenet模型共同进行河湖采砂船个体船脸的识别。

12、优选的，对收集河湖采砂区域不同采砂船只的图片进行数据增广预处理，然后运用labelme数据集标注工具进行标注，形成用于训练retinaface的目标检测数据集一，对图片中的采砂船个体船脸进行截取，形成训练facenet的采砂船个体船脸数据集二。

13、优选的，对s1中训练后的采砂船只图片数据集中的图片进行编号，利用标签标记工具labelme标注收集河湖采砂区域不同采砂船只的图片目标检测和关键点信息，形成coco格式的json标注文件的数据集一。

14、优选的，对数据集一中生成的json标注文件批量转换成文本文件，再将所有的文本文件合并为一个文本文件，所合成的文本文件包含图像的路径和名称、框的左上角和右下角的坐标信息以及关键点的坐标信息，将此文本文件结合原图像作为数据集一。

15、优选的，将拍摄的采砂船传入retinaface目标检测和关键点定位算法进行分类和定位的识别，判读图片中是否有采砂船只，如果有采砂船只就用预测框标出目标，并用关键点标记出采砂船只船脸信息，然后进行图片的矫正，将图片矫正成水平和竖直方向，再根据框选出来的采砂船只目标进行截取，将截取出的采砂船个体船脸图片送入改进的facenet网络；

16、然后，将截取到的采砂船个体船脸图像传入改进的facenet网络进行采砂船个体船脸的识别，并在识别后输出结果与数据库中输出的编码特征向量进行对比，将待识别图片经过网络输出的特征向量和数据库中的特征向量逐个计算欧几里得距离，如果与数据库中的某个特征向量欧几里得距离小于训练网络时学习训练集的特征确定的阈值，则判断为采砂船个体船脸信息是已存入数据库备案的船只船脸，此时发出预警，并进行人工参与，针对两艘特征完全相同的船只进行人工盘查，确认无误后，将采砂船只名称编号标注在图像中展示；

17、如果与数据库中的所有特征向量欧几里得距离均不小于预先设定的阈值，则传入的采砂船个体船脸信息不属于数据库中备案采砂船只，即判定为违规作业船舶，同时标记输出非合法采砂船，同时发出预警提示管理人员。

18、与现有技术相比，本发明的有益效果为：

19、本发明中的方法，将retinaface基本卷积层中的激活函数改为gelu激活函数，形成改进的主干特征提取网络，有利于训练模型更好的收敛，在主干网络三个不同大小的输出有效特征层后引入eca注意力机制模块，利用damo-yolo网络模型的efficient-repgfpn网络作为特征融合网络，将原始利用卷积层线性堆叠实现的特征融合改进为cspnet连接，能够充分交换高级语义信息和低级空间信息，在不增加更多计算量的同时，提升模型的精度，利用一种阿里自研的mae-nas启发式和免训练的搜索方法形成改进facenet的主干网络，快速大范围搜索各种不同规模的主干网络结构，mae-nas利用信息论理论从熵的角度去评测初始化网络，评测过程不需要任何训练过程，从而解决了需要训练再评测的弊端，实现了短时间内大范围的网络搜索，减少搜索成本的同时，也提高了可以找到潜在的更优网络结构的可能性，将gam注意力机制引入facenet网络中，整个模型可用于对复杂场景下河湖过往采砂船船脸识别任务的优化，识别精度优于传统模型。

20、基于深度学习的河湖采砂船个体船脸识别算法，可以解决目前现有的船舶监管技术只能对采砂船只类别进行判断，无法精确到识别具体每一艘个体采砂船的缺点，实现了对于违规采砂船个体特征的识别，降低人工监视的劳动强度，提升了采砂船的管理效率。