一种高远监控视角下人员小目标检测方法、设备及介质

本发明属于视频图像处理，涉及神经网络应用，为一种高远监控视角下人员小目标检测方法、设备及介质。

背景技术：

1、随着计算机图像技术的高速发展，许多领域均使用计算机视觉技术对拍摄获取的图像的进行处理。随着科技的发展，无人机、鸟瞰摄像头、高压线下监控等高远视角的应用也越来越多。例如无人机进行高空巡检危险区域，鸟瞰摄像头或者高压线下监控对危险区域中的人员进行监控等。由于摄像头的位置较高、较远，因此图像中内容丰富，背景复杂，图像中的人员在其中就显得很小，属于小目标，像素很少，因此通过人工识别高远视角中的人员小目标就很容易错漏，会造成很严重的后果，同时直接对图像进行检测也受到复杂场景中小目标的影响而效果不佳。因此需要研发一种基于高远监控视角下人员小目标检测方法，实现及时对危险区域小目标人员的检测。

技术实现思路

1、本发明要解决的问题是：随着智能化的发展，高远视角的人员小目标检测会受到像素少、背景复杂等问题的影响，小目标检测准确率低以及无法检测得到的问题，通过本发明可以解决上述小目标检测中存在的问题。本发明的目的在于提供一种根据高远视角摄像机拍摄的图片进行人员小目标的检测方法。

2、本发明的技术方案为：一种高远监控视角下人员小目标检测方法，获取监控摄像头拍得的监控图片，对图像进行预处理，以滑窗裁剪方式将图片裁剪为多个子图，子图重叠率不小于50％，然后对子图采用改进detr网络进行人员检测，再将各子图检测结果合并，还原图片，消除冗余检测框，得到监控图片的最终人员检测框，

3、其中，所述改进detr网络基于detr的主干网络resnet-50，将其首层7*7卷积层替换为1*1卷积层、3*3卷积层、5*5卷积层和7*7卷积层，并行提取特征融合；

4、所述子图检测结果合并为：遍历子图中检测出的人员检测框进行匹配合并，对两个检测框a、b的大小进行判断，以小框的面积为分母计算改进交并比miniou：

5、

6、如果miniou的值大于0.7则将两个检测框进行合并，否则分别保留，合并方式为对两个检测框的所有坐标的横、纵坐标x、y进行大小比较，选取最小的x、y为(x1,y1)，最大的x、y为(x2,y2)，由(x1,y1)(x2,y2)作为角点重新组成最大的框，并以此框作为基础框，对后续的检测框继续进行匹配合并，直至所有人员检测框完成匹配合并。

7、进一步的，本发明包括以下步骤：

8、step1：获取无人机、鸟瞰摄像头、高压线下监控等高远视角的监控摄像头采集的图像；

9、step2：构建改进detr网络模型，对step1采集的图像标注其中的人员，输入到改进detr网络模型中进行训练；

10、step3：对实时采集的高远视角监控图片进行图像预处理，对图片进行滑窗裁剪，划分得到图片不同区域的子图；

11、step4：使用训练后的改进detr网络模型对step3得到的子图进行人员的检测；

12、step5：获取每个子图的检测结果，将检测结果进行合并，消除多余的检测框；

13、step6：将合并后最终的人员小目标检测框在原监控图片中进行显示并进行输出。

14、进一步的，step2中，对step1采集的图像进行裁剪、旋转处理，用矩形框标注，作为标签放入数据集中，设置学习率及迭代次数参数，用数据集对构建的改进detr网络训练，得到自动检测小目标人员的网络模型，用于从新拍摄的实时监控图片中自动检测出人员小目标。

15、进一步的，step3中，滑窗裁剪将图片划分为24个同等大小的子图，设置重叠率为0.5，以确保人员至少完整地出现在一个子图中。

16、本发明还提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行，实现上述的高远监控视角下人员小目标检测方法。

17、本发明还提供种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或一段程序被执行时，实现上述的高远监控视角下人员小目标检测方法。

18、本发明针对小目标检测准确率低以及无法检测到的问题，先根据拍摄的图片，进行裁剪切分，然后利用改进的detr网络模型识别出人员，再对裁剪切分后不同图片区域的相同检测结果进行合并，最后将合并的结果在原图上显示并输出出来。

19、本发明针对高远监控视角下人员小目标检测，通过深度学习、图像处理的方法，智能检测小目标人员。

20、本发明重点针对小目标，改进了detr网络层，提升了对小目标的特征提取能力，并对原始图像进行裁剪切分，提高小目标在图像中的像素比例，提高小目标检测的准确率，解决了小目标可能被误识别为背景的问题。本发明针对裁剪还原提出了一种改进的miniou判别方法，能够避免将同一个目标的检测框识别为不同目标的检测框，消除检测冗余框。

技术特征：

1.一种高远监控视角下人员小目标检测方法，其特征是获取监控摄像头拍得的监控图片，对监控图片进行预处理，以滑窗裁剪方式将图片裁剪为多个子图，子图重叠率不小于50％，然后对子图采用改进detr网络进行人员检测，再将各子图检测结果合并，消除冗余检测框，还原图片，得到监控图片的最终人员检测框，

2.根据权利要求1所述的一种高远监控视角下人员小目标检测方法，其特征是包括以下步骤：

3.根据权利要求2所述的一种高远监控视角下人员小目标检测方法，其特征是step2中，对step1采集的图像进行裁剪、旋转处理，用矩形框标注，作为标签放入数据集中，设置学习率及迭代次数参数，用数据集对构建的改进detr网络训练，得到自动检测人员小目标的网络模型，用于从新拍摄的实时监控图片中自动检测出人员小目标。

4.根据权利要求2所述的一种高远监控视角下人员小目标方法，其特征是step3中，滑窗裁剪将图片划分为24个同等大小的子图，设置重叠率为0.5，以确保人员至少完整地出现在一个子图中。

5.一种电子设备，其特征是所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行，实现权利要求1-4任一项所述的高远监控视角下人员小目标检测方法。

6.一种计算机可读存储介质，其特征是所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或一段程序被执行时，实现如权利要求1-4任一项所述的高远监控视角下人员小目标检测方法。

技术总结
一种高远监控视角下人员小目标检测方法、设备及介质，获取监控图像作为训练样本，进行数据集扩充，训练改进的DETR网络模型，对监控拍摄的图片进行裁剪切分，使用改进后的DETR网络进行人员检测，再通过改进的IOU计算方法对每个区域检测到的人员目标检测框进行判别合并，消除冗余框，在原图显示最终的人员检测结果。本发明针对高远监控视角的人员小目标进行检测，相比于直接检测人员小目标准确率更高。

技术研发人员：阮雅端,顾鹏,范能俊,王涣宇,陈启美
受保护的技术使用者：南京大学
技术研发日：
技术公布日：2024/3/27