基于边缘设备的行人目标检测方法、装置、设备及介质与流程

本发明涉及行人检测领域，尤其涉及一种基于边缘设备的行人目标检测方法、装置、计算机设备及介质。

背景技术：

1、随着芯片性能和功能的不断提高，人工智能技术得到了快速发展，其中计算机视觉是一个重要且活跃的研究领域。为了提高人工智能应用的效率和实时性，传统的云计算已经不能满足各个领域的需求。较之而言，边缘计算呈现出更低的延迟、更好的隐私保护以及更高的可靠性，能够支持各种分布式、低延迟和可靠的智能服务。然而，边缘计算也受限于有限的算力资源和存储资源，这使得卷积神经网络(cnn)模型需要在保证性能的前提下尽可能减少参数和计算量。

2、在许多实际应用中，实现理想精度往往需要多个计算机视觉任务相互协作。其中，目标检测和多人姿态估计是两项具有挑战性的核心任务。在一些下游的行为识别应用中，这两个任务的联合判断对于达到所需精度至关重要。

3、然而，独立运行这两个任务会消耗大量的算力资源。鉴于此，亟需一种目标检测与姿态估计融合方法，以最大限度地利用边缘设备有限的算力资源。

技术实现思路

1、本发明实施例提供一种基于边缘设备的行人目标检测方法、装置、计算机设备和存储介质，以提高行人目标检测的效率和准确率。

2、为了解决上述技术问题，本技术实施例提供一种基于边缘设备的行人目标检测方法，包括：

3、获取待检测图像；

4、将所述待检测图像输入到训练好的行人目标检测网络中，其中，所述训练好的行人目标检测网络包括共享特征提取层、目标检测层和姿态估计层；

5、采用所述共享特征提取层对所述待检测图像进行浅层次特征提取，得到第一特征；

6、通过所述目标检测层对所述第一特征进行深层次特征提取，得到第二特征，并基于所述第二特征确定分类信息；

7、通过所述姿态估计层对所述第一特征进行人体目标检测和人体关键点检测，得到姿态检测结果；

8、基于所述分类信息和所述姿态检测结果，确定行人目标检测结果。

9、可选地，所述共享特征提取层包括yolov7主干网络、sppcspc层以及自上至下的特征融合金字塔，其中，所述yolov7主干网络中三个连续的cbl模块首尾相连，并与另一个cbl层并行连接。

10、可选地，所述采用所述共享特征提取层对所述待检测图像进行浅层次特征提取，得到第一特征包括：

11、将骨干网络中的顶层输出经过sppcspc层得到顶层的输出特征图，并对顶层的输出特征图进行一次上采样，得到分辨率增加一倍的特征图p1；

12、将骨干网络中倒数第二层的输出特征图进行连接，并采用主干网络中的elan层与特征图p1进行特征融合操作和上采样，得到特征图p2；

13、将骨干网络中倒数第三层的输出特征图进行连接，并采用主干网络中的elan层与特征图p2进行特征融合操作和上采样，得到特征图p3，将所述特征图p1、特征图p2和所述特征图p3作为所述第一特征。

14、可选地，所述目标检测层包括自下往上的特征融合金字塔和目标检测检测头，所述目标检测检测头用于预测目标检测信息，所述目标检测信息包括第一检测框信息、第一检测框置信度以及第一分类信息，其中，所述目标检测检测头包括一个cbl模块和一个点卷积层，所述点卷积层的输出特征图数应为5+c，其中c为类别数。

15、可选地，所述姿态估计层包括自下往上的特征融合金字塔和姿态估计检测头，所述姿态估计检测头用于检测人体检测信息以及人体关键点信息，其中，所述人体检测信息包括了第二检测框信息、第二检测框置信度以及第二分类信息。

16、可选地，在将所述待检测图像输入到训练好的行人目标检测网络之前，所述方法还包括对初始行人目标检测网络进行训练，得到所述训练好的行人目标检测网络；

17、所述对初始行人目标检测网络进行训练，得到所述训练好的行人目标检测网络包括：

18、第一阶段，固定姿态估计解码器，训练编码器和目标检测解码器，其中，训练数据为目标检测数据集，损失函数包括了分类损失、置信度损失以及边界框损失，分类损失和置信度损失采用focal loss作为损失函数，边界框损失采用ciou损失作为损失函数；

19、第二阶段，固定编码器和目标检测解码器，训练姿态估计解码器，训练数据为姿态估计数据集，损失函数包括了置信度损失、边界框损失和关键点回归损失，置信度损失采用focal loss作为损失函数，边界框损失采用ciou作为损失函数，关键点回归损失采用oks损失作为损失函数；

20、第三阶段，同时训练编码器和两个解码器，直到达到收敛，得到所述训练好的行人目标检测网络，其中，上述训练数据包含了姿态估计数据集和目标检测数据集，损失函数包括了上述所有损失函数。

21、为了解决上述技术问题，本技术实施例还提供一种基于边缘设备的行人目标检测装置，包括：

22、图像获取模块，用于获取待检测图像；

23、图像输入模块，用于将所述待检测图像输入到训练好的行人目标检测网络中，其中，所述训练好的行人目标检测网络包括共享特征提取层、目标检测层和姿态估计层；

24、特征提取模块，用于采用所述共享特征提取层对所述待检测图像进行浅层次特征提取，得到第一特征；

25、第一识别模块，用于通过所述目标检测层对所述第一特征进行深层次特征提取，得到第二特征，并基于所述第二特征确定分类信息；

26、第二识别模块，用于通过所述姿态估计层对所述第一特征进行人体目标检测和人体关键点检测，得到姿态检测结果；

27、结果确定模块，用于基于所述分类信息和所述姿态检测结果，确定行人目标检测结果。

28、可选地，所述特征提取模块包括：

29、特征图采样单元，用于将骨干网络中的顶层输出经过sppcspc层得到顶层的输出特征图，并对顶层的输出特征图进行一次上采样，得到分辨率增加一倍的特征图p1；

30、第一融合单元，用于将骨干网络中倒数第二层的输出特征图进行连接，并采用主干网络中的elan层与特征图p1进行特征融合操作和上采样，得到特征图p2；

31、第二融合单元，用于将骨干网络中倒数第三层的输出特征图进行连接，并采用主干网络中的elan层与特征图p2进行特征融合操作和上采样，得到特征图p3，将所述特征图p1、特征图p2和所述特征图p3作为所述第一特征。

32、为了解决上述技术问题，本技术实施例还提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于边缘设备的行人目标检测方法的步骤。

33、为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于边缘设备的行人目标检测方法的步骤。

34、本发明实施例提供的基于边缘设备的行人目标检测方法、装置、计算机设备及存储介质，通过获取待检测图像；将待检测图像输入到训练好的行人目标检测网络中，其中，训练好的行人目标检测网络包括共享特征提取层、目标检测层和姿态估计层；采用共享特征提取层对待检测图像进行浅层次特征提取，得到第一特征；通过目标检测层对第一特征进行深层次特征提取，得到第二特征，并基于第二特征确定分类信息；通过姿态估计层对第一特征进行人体目标检测和人体关键点检测，得到姿态检测结果；基于分类信息和姿态检测结果，确定行人目标检测结果。实现同时采用数据共享支撑两个任务，提高行人目标检测的效率，同时，基于两种任务结果进行融合判断，提高行人识别的准确率。