人物交互关系检测方法以及系统与流程

本发明涉及图像处理，特别是涉及一种人物交互关系检测方法以及系统。

背景技术：

1、近年来，随着城市化进程不断加快，机动车数量不断增加，随之而来也产生了很多城市交通拥堵、停车矛盾等问题，为此，依托人工智能算法、云服务平台、智能硬件设备以及边缘端计算设备等，实现了智能化的城市交通管理系统，能够实时、精确的对交通信息进行收集、处理、反馈的智能化管理系统。

2、通过对监控场景视频图像数据进行处理及分析，能够对交通违法行为如闯红灯、超速等行为进行证据抓拍及警示，对路侧停车进行引导和泊位记录、对交通拥堵状况进行实时更新、预测和发布等。然而，对于监控场景下行人与物体的交互问题需要更高层次的视觉理解，传统方法采用两阶段的检测方式，最终的人物关系检测结果依赖于第一阶段对人和物的检测准确性，导致检测效率低。

技术实现思路

1、本发明的目的是解决传统方法的检测效率低的技术问题。为实现上述目的，本发明提供一种人物交互关系检测方法以及系统。

2、本发明提供一种人物交互关系检测方法，包括：

3、获取人物关系检测数据集，所述人物关系检测数据集包括标签数据；

4、将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图；

5、将所述人物关系特征图输入至所述人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高；

6、将所述人物关系特征图输入至所述人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量；

7、根据所述行人中心点热力图、所述物体中心点热力图、所述交互中心点热力图、所述预测行人宽高、所述预测物体宽高、所述预测交互偏移量以及所述标签数据构建损失函数，并根据所述损失函数对所述人物交互关系检测模型进行训练，获得训练完成的人物交互关系检测模型；

8、根据所述训练完成的人物交互关系检测模型，对监控场景中人物交互关系进行检测。

9、在一个实施例中，所述将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图，包括：

10、将所述人物关系检测数据集中每个图像输入至所述骨干网络的第一金字塔网络结构中进行多层下采样，获得经下采样的特征图；

11、将所述经下采样的特征图输入至所述骨干网络的第二金字塔网络结构中进行多层上采样，获得经上采样的特征图，所述经上采样的特征图为所述人物关系特征图。

12、在一个实施例中，所述将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图，还包括：

13、将所述第一金字塔网络结构的多层下采样网络与所述第二金字塔网络结构的多层上采样网络中特征图尺寸相同的网络层的输出特征进行逐像素相加，获得所述人物关系特征图。

14、在一个实施例中，所述将所述人物关系特征图输入至所述人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高，包括：

15、根据所述交互中心点学习分支的热力图点回归方法对所述人物关系特征图进行中心点学习，获得所述人物关系特征图对应的所述行人中心点热力图、所述物体中心点热力图以及所述交互中心点热力图。

16、在一个实施例中，所述将所述人物关系特征图输入至所述人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量，包括：

17、将所述人物关系特征图输入至所述交互偏移学习分支的多个卷积模块中，获得所述预测交互偏移量。

18、本发明提供一种人物交互关系检测系统，包括：

19、数据获取模块，用于获取人物关系检测数据集，所述人物关系检测数据集包括标签数据；

20、特征提取模块，用于将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图；

21、交互中心点学习模块，用于将所述人物关系特征图输入至所述人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高；

22、交互偏移学习模块，用于将所述人物关系特征图输入至所述人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量；

23、模型训练模块，用于根据所述行人中心点热力图、所述物体中心点热力图、所述交互中心点热力图、所述预测行人宽高、所述预测物体宽高、所述预测交互偏移量以及所述标签数据构建损失函数，并根据所述损失函数对所述人物交互关系检测模型进行训练，获得训练完成的人物交互关系检测模型；

24、检测模块，用于根据所述训练完成的人物交互关系检测模型，对监控场景中人物交互关系进行检测。

25、在一个实施例中，所述特征提取模块包括：

26、下采样模块，用于将所述人物关系检测数据集中每个图像输入至所述骨干网络的第一金字塔网络结构中进行多层下采样，获得经下采样的特征图；

27、上采样模块，用于将所述经下采样的特征图输入至所述骨干网络的第二金字塔网络结构中进行多层上采样，获得经上采样的特征图，所述经上采样的特征图为所述人物关系特征图。

28、在一个实施例中，所述特征提取模块还包括：

29、特征融合模块，用于将所述第一金字塔网络结构的多层下采样网络与所述第二金字塔网络结构的多层上采样网络中特征图尺寸相同的网络层的输出特征进行逐像素相加，获得所述人物关系特征图。

30、在一个实施例中，所述交互中心点学习模块包括：

31、热力图生成模块，用于根据所述交互中心点学习分支的热力图点回归方法对所述人物关系特征图进行中心点学习，获得所述人物关系特征图对应的所述行人中心点热力图、所述物体中心点热力图以及所述交互中心点热力图。

32、在一个实施例中，所述交互偏移学习模块包括：

33、交互偏移卷积模块，用于将所述人物关系特征图输入至所述交互偏移学习分支的多个卷积模块中，获得所述预测交互偏移量。

34、上述人物交互关系检测方法以及系统中，通过交互中心点学习分支学习行人中心点、物体中心点以及交互中心点，通过交互偏移学习分支学习交互中心点分别到具有交互关系的行人中心点和物体中心点的偏移量，并将两个学习分支的输出结果进行融合，获得具有交互关系的行人与物体匹配组合以及交互关系的类别，即监控场景下人物交互关系检测结果。通过本发明提供的人物交互关系检测方法，实现了端到端的人物交互关系检测，解决了两阶段检测方法中人物关系检测结果依赖于第一阶段导致的检测效率低的技术问题，能够更方便的用于监控设备。

技术特征：

1.一种人物交互关系检测方法，其特征在于，包括：

2.根据权利要求1所述的人物交互关系检测方法，其特征在于，所述将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图，包括：

3.根据权利要求2所述的人物交互关系检测方法，其特征在于，所述将所述人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图，还包括：

4.根据权利要求1所述的人物交互关系检测方法，其特征在于，所述将所述人物关系特征图输入至所述人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高，包括：

5.根据权利要求1所述的人物交互关系检测方法，其特征在于，所述将所述人物关系特征图输入至所述人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量，包括：

6.一种人物交互关系检测系统，其特征在于，包括：

7.根据权利要求6所述的人物交互关系检测系统，其特征在于，所述特征提取模块包括：

8.根据权利要求7所述的人物交互关系检测系统，其特征在于，所述特征提取模块还包括：

9.根据权利要求6所述的人物交互关系检测系统，其特征在于，所述交互中心点学习模块包括：

10.根据权利要求6所述的人物交互关系检测系统，其特征在于，所述交互偏移学习模块包括：

技术总结
本发明公开一种人物交互关系检测方法以及系统，包括：将人物关系检测数据集中每个图像输入至人物交互关系检测模型的骨干网络中，获得人物关系特征图；将人物关系特征图输入至人物交互关系检测模型的交互中心点学习分支中，获得行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高以及预测物体宽高；将人物关系特征图输入至人物交互关系检测模型的交互偏移学习分支中，获得预测交互偏移量；根据行人中心点热力图、物体中心点热力图、交互中心点热力图、预测行人宽高、预测物体宽高、预测交互偏移量以及标签数据构建损失函数，对模型进行训练，获得训练完成的人物交互关系检测模型，对监控场景中人物交互关系进行检测。

技术研发人员：王凤菊,丁丽珠,王艳清
受保护的技术使用者：智慧互通科技股份有限公司
技术研发日：
技术公布日：2024/1/15