一种无人机图像二维人体关键点检测方法

本发明涉及计算机视觉识别，具体涉及一种无人机图像中的二维人体关键点检测方法。

背景技术：

1、随着无人机技术的进步，无人机的性能越来越强，而且制造成本逐渐降低，现在已经广泛地应用于各行各业中。无人机拍摄的航拍图像，不论是在民用还是军事领域，都发挥着重要作用，有助于测绘航测、应急救援、危险区域检测和识别易受灾地区等活动。在这些活动中，对人体行为的识别对于判断形势、决定下一步的行动来说，尤为关键。要精确地识别图像中的人体行为，首先要能精确地检测出人体关键点，从而构建人体模型，判断人体行为。

2、人体姿态关键点检测是计算机视觉领域和行为识别、行为检测、人物跟踪等相关应用的基础，对于描述描述人体姿态、人体行为等至关重要。人体姿态关键点检测从rgb图像中识别人体骨架上的稀疏关键点位置，包括头部、肘部、髋部、脚踝等，根据关键点定位人体的位置。目前的人体关键点检测方法是基于深度学习算法构建的，具备良好的效果，但是它们大都针对于普通视角下的人体进行分析。而针对无人机图像，因为背景复杂、人体目标偏小而且人体角度多变，现有方法在这些图像上的应用效果不佳。

3、因此，如何提高在无人机图像中人体关键点的检测精度和速度、降低部署代价，这些都是现有技术改进和提高的方向。

技术实现思路

1、针对现有技术的不足，本发明所要解决的技术问题是如何提高在无人机图像中人体关键点的检测精度和速度、降低部署代价。方案中，首先以无人机图像数据为基础，采用了一种mosaic数据增强方法；另外，在backbone中采用了稠密连接结构。其次，构建了一个双向特征提取模块，用于直接从俯拍视角的图片中直接获取各种空间视角的人体姿态，进行全方位人体姿态估计，引入swish激活函数，缓解梯度消失的情况，以满足在无人机图片中对多角度的小目标人体进行精确姿态估计的目的。

2、本发明为解决上述技术问题采用了以下技术方案：

3、(1)以无人机图像数据为基础，采用mosaic数据增强方法，丰富训练数据集中的图片背景。每次从数据集中读取4张包含人体的图片，分别对其进行翻转、缩放、色域变换等操作。

4、(2)将4张图片按照矩形的四个角摆放好，再利用矩阵截取固定的区域，拼接成一张新的图片。一张图片中可能包含不同尺度的人体目标，使得系统面对不同的镜头拉伸导致的人体目标尺度变化时，有更好的鲁棒性。

5、(3)设计主干网络，其中包括了轻量化的卷积模块lightconv。lightconv先通过卷积运算生成少量的特征图，这些特征图随后经过线性运算得到light特征图，再把卷积生成的特征图与light特征图进行通道拼接，以匹配输出通道数量。lightconv卷积模块能用更少的卷积运算，达到与普通卷积相似的效果，因此计算复杂度更低，消耗的时间更少。

6、(4)设计主干网络，该网络由4个不同大小的稠密连接预测子网组成。稠密连接子网由稠密块连接而成，每一个稠密块的输入都来自它前面所有稠密块的输出，这种连接方式保证了浅层特征信息再传递中不会丢失，改善了对目标的错检和漏检的问题，提升了对无人机照片中的小目标人体关键点的检测性能。图像在分别经过第1、2、4个预测子网时，会分别输出尺度由大到小、特征抽象程度由低到高的人体特征。这些不同抽象程度的多尺度特征充分包含了图像中的低分辨率人体特征，防止了在网络传播过程发生的特征丢失问题。

7、(5)设计主干网络，该网络设计中包含了双向特征提取模块，该模块由的正向通道作为通道注意力映射，由vggnet16的前10层设计而成，能以不同的尺度观察人体目标，提取不同视野范围下的特征；由vggnet19的前12层设计而成，能以不同的空间角度观察人体目标，建立立体的空间感知，提取不同的空间角度下人体特征。

8、(6)为了提升无人机照片中对小目标人体关键点的识别精度，构建了基于双向特征金字塔的特征融合模块，用来表示和处理从主干网络中获得的多尺度特征。双向特征金字塔将每一个双向传播的路径视作特征网络，通过学习不同特征的权重，对不同的特征进行区分融合。

9、(7)为了能增加了网络模型的非线性特征提取能力和泛化性能，设计了一个cbs模块。在cbs模块中还引入了swish激活函数，这是一个非单调激活函数，其最大的优点是不会出现梯度消失问题，曲线更为平滑，表现出更强的泛化学习能力。

10、(8)为了使整个网络模型能够方便快捷地部署到无人机中，使不具备小目标人体关键点检测的无人机也能快速部署该模型，投入到实际应用中，开发了一个轻量化的快捷部署系统，不仅能使无人机快速具备小目标人体关键点检测的功能，还能部署在低算力的小型设备上，具有很强的兼容性。

技术特征：

1.一种无人机图像二维人体关键点检测方法，所述方法包括以下步骤：

技术总结
本发明公开了一种无人机图像中的二维人体关键点检测方法，所述方法首先以无人机图像数据为基础，采用了一种Mosaic数据增强方法；另外，在backbone中采用了稠密连接结构。其次，构建了一个双向特征提取模块，用于直接从俯拍视角的图片中直接获取各种空间视角的人体姿态，进行全方位人体姿态估计，引入Swish激活函数，缓解梯度消失的情况，以满足在无人机图片中对多角度的小目标人体进行精确姿态估计的目的。

技术研发人员：强保华,陈礼睿,张世豪,谢元,陈锐东,郑虹
受保护的技术使用者：桂林电子科技大学
技术研发日：
技术公布日：2024/5/10