一种基于航拍高空作业图像的人脸检测方法和系统与流程

本发明属于人脸检测，尤其涉及一种基于航拍高空作业图像的人脸检测方法和系统。

背景技术：

1、在电力组塔过程中，需要施工人员进行高空作业。为了消除高空作业带来安全隐患，高空作业人员须先取得高空作业证。因而在电力组塔施工过程对高空作业人员进行人脸识别尤为重要。

2、一些高空作业的人脸检测采取现场布置摄像头的方式，将摄像头对准电力基塔上高空作业区域进行图像采集，配合边缘计算设备实现实时人脸检测。由于采用现场布置摄像头的方法监测到的高空作业区域有限，为了避免人员被基塔遮挡，需要基塔四面均布置一台摄像头；随着组塔过程进行，基塔越来越高，作业人员的高空作业的高度也变高了，摄像头很难采集到20米以上的高空作业人脸；摄像头仰视拍摄时受光线干扰大，导致检测效果差。

3、针对现场布置摄像头进行高空人脸检测中存在的问题，采取无人机进行巡检，这样只需无人机在一定高度绕塔飞行拍摄即可。然而考虑到无人机避障性能的限制，需要与基塔或树木等保持一定距离进行拍摄，因而采集到的图片视野宽广，若检测人员、基塔、机械设备等比较合适，但人脸占图像比例太小，在进行图像卷积操作提取特征时，下采样会丢失人脸大部分信息，导致人脸检测效果很差。

技术实现思路

1、为了弥补现有技术的缺陷，本发明提供了一种基于航拍高空作业图像的人脸检测方法和系统。

2、为了解决上述技术问题，本发明所采用的技术方案是：

3、第一方面，提供了一种基于航拍高空作业图像的人脸检测方法，包括：

4、通过无人机的摄像头采集基塔上高空作业区域的原始图像；

5、对原始图像进行预处理，得到图像分块集；

6、对图像分块集进行人工人脸标注，得到人脸标注分块集，并从人脸标注分块集中拆分出训练集；

7、对训练集中的人脸标注分块进行图像增强处理；

8、通过图像增强处理后的训练集对改进yolov5模型进行训练，得到人脸检测模型；

9、当无人机进行实时人脸检测时，利用人脸检测模型对实时图像进行处理，得到人脸检测结果。

10、进一步的，对原始图像进行预处理，得到图像分块集，包括：

11、对原始图像进行光照度均匀调整和去雾操作；

12、对光照度均匀调整和去雾操作后的原始图像进行滑动窗口切图，得到图像分块集，图像分块集包括至少两个图像分块，且相邻两个图像分块存在重叠区域。

13、进一步的，对原始图像进行光照度均匀调整和去雾操作，包括：

14、采用限制对比度自适应直方图均衡化clahe方式调整原始图像的图像灰度，实现原始图像的光照度均匀调整；

15、对光照度均匀调整后的原始图像，采用基于物理模型的去雾算法进行去雾操作。

16、进一步的，对训练集中的人脸标注分块进行图像增强处理，包括：

17、确定训练集中的人脸标注分块内的人脸标注框；

18、对人脸标注框随机旋转n度，n大于0且小于45；

19、对旋转n度的人脸标注框进行随机左右翻转，随机左右翻转的概率为50％；

20、判断随机左右翻转后的人脸标注框的宽高占人脸标注分块的比例是否大于预设阈值；

21、若大于，则采用mosaic图像增强技术对人脸标注分块进行图像增强处理；

22、若不大于，则不进行图像增强处理。

23、进一步的，方法还包括：

24、确定预设yolov5目标检测模型；

25、根据小人脸检测需求调整预设yolov5目标检测模型中大目标和小目标的权重；对预设yolov5目标检测模型添加biformer注意力机制；使用小目标检测评估nwd算法调整预设yolov5目标检测模型的损失函数；得到改进yolov5模型；

26、通过图像增强处理后的训练集对改进yolov5模型进行训练，得到人脸检测模型，包括：

27、对图像增强处理后的训练集，使用聚类算法得到各人脸标注分块对应的人脸标注框的宽高比，宽高比为人脸标注框的宽高占对应的人脸标注分块的比例；

28、将宽高比作为锚比对改进yolov5模型进行训练，得到人脸检测模型。

29、第二方面，提供了一种基于航拍高空作业图像的人脸检测系统，包括：

30、图像获取模块，用于通过无人机的摄像头采集基塔上高空作业区域的原始图像；

31、预处理模块，用于对原始图像进行预处理，得到图像分块集；

32、人脸标注模块，用于对图像分块集进行人工人脸标注，得到人脸标注分块集，并从人脸标注分块集中拆分出训练集；

33、图像增强模块，用于对训练集中的人脸标注分块进行图像增强处理；

34、模型训练模块，用于通过图像增强处理后的训练集对改进yolov5模型进行训练，得到人脸检测模型；

35、人脸检测模块，用于当无人机进行实时人脸检测时，利用人脸检测模型对实时图像进行处理，得到人脸检测结果。

36、进一步的，预处理模块包括：

37、处理单元，用于对原始图像进行光照度均匀调整和去雾操作；

38、切图单元，用于对光照度均匀调整和去雾操作后的原始图像进行滑动窗口切图，得到图像分块集，图像分块集包括至少两个图像分块，且相邻两个图像分块存在重叠区域。

39、进一步的，处理单元，具体用于采用限制对比度自适应直方图均衡化clahe方式调整原始图像的图像灰度，实现原始图像的光照度均匀调整；对光照度均匀调整后的原始图像，采用基于物理模型的去雾算法进行去雾操作。

40、进一步的，图像增强模块，具体用于确定训练集中的人脸标注分块内的人脸标注框；对人脸标注框随机旋转n度，n大于0且小于45；对旋转n度的人脸标注框进行随机左右翻转，随机左右翻转的概率为50％；判断随机左右翻转后的人脸标注框的宽高占人脸标注分块的比例是否大于预设阈值；若大于，则采用mosaic图像增强技术对人脸标注分块进行图像增强处理；若不大于，则不进行图像增强处理。

41、进一步的，人脸检测系统还包括：

42、改进yolov5模型生成模块，用于确定预设yolov5目标检测模型；根据小人脸检测需求调整预设yolov5目标检测模型中大目标和小目标的权重；对预设yolov5目标检测模型添加biformer注意力机制；使用小目标检测评估nwd算法调整预设yolov5目标检测模型的损失函数；得到改进yolov5模型；

43、模型训练模块，具体用于对图像增强处理后的训练集，使用聚类算法得到各人脸标注分块对应的人脸标注框的宽高比，宽高比为人脸标注框的宽高占对应的人脸标注分块的比例；将宽高比作为锚比对改进yolov5模型进行训练，得到人脸检测模型。

44、本发明所达到的有益效果：

45、通过无人机的摄像头采集基塔上高空作业区域的原始图像，对原始图像进行预处理得到图像分块集，使得在实际无人机巡检过程中具有很强的鲁棒性，即使在各种光线、阴影等干扰下也能识别不同角度的人脸；

46、对已有的yolov5模型进行了改进，调整了对于大小目标的损失权重，增加biformer注意力机制，调整损失函数，在训练集上使用聚类方法得到人脸标注框的宽高比作为锚比进行模型训练，在不增加计算量的情况下，有效提升模型对小人脸的人脸检测性能。