基于三维车辆姿态的路侧停车管理方法以及系统与流程

本技术涉及图像处理，特别是涉及一种基于三维车辆姿态的路侧停车管理方法以及系统。

背景技术：

1、近年来，高位视频技术发展迅速，通过在路侧安装高位视频摄像头，可对车辆的泊车进行判断与管理，通过进行车辆的检测、车身姿态的检测，然后与已知的泊位位置进行数据分析，从而判断车辆的状态，如车辆是否位于泊位内、车辆是否压线停车、车辆是否在禁停区停车等。根据车辆的车身姿态判断车辆是否违停，从而对于城市的交通管理、行车安全等各个方面都具有积极地促进作用。

2、传统方法通过二维车辆矩形检测框进行车辆姿态估计来实现路侧停车管理。然而，二维车辆矩形检测框表征的车辆立体特征差，无法准确判断车辆位置，使得路侧停车管理效率低。

3、申请内容

4、本技术的目的是解决传统方法检测车辆位置的准确率低的技术问题。为实现上述目的，本技术提供一种基于三维车辆姿态的路侧停车管理方法以及系统。

5、本技术提供一种基于三维车辆姿态的路侧停车管理方法，包括：

6、获取建模仿真交通场景图像数据集，建模仿真交通场景图像数据集包括多个交通场景图像，每个交通场景图像标注有多个二维检测框真实信息、多个三维包围框真实姿态关键点信息、多个车辆真实姿态中心点、多个车辆真实宽高信息以及车辆真实姿态关键点到车辆真实姿态中心点的多个真实偏移量；

7、将每个交通场景图像输入至关键点检测模型的骨干网络中进行特征提取，获得骨干特征图数据集；

8、将骨干特征图数据集中每个骨干特征图输入至关键点检测模型的特征聚合网络中进行特征融合，获得聚合特征图数据集；

9、将聚合特征图数据集中每个聚合特征图输入至关键点检测模型的关键点预测网络中进行点位预测，获得多个车辆预测姿态中心点、多个车辆预测宽高信息以及车辆预测姿态关键点到车辆预测姿态中心点的多个预测偏移量；

10、根据多个车辆预测姿态中心点、多个车辆预测宽高信息、多个预测偏移量、多个车辆真实姿态中心点、多个车辆真实宽高信息以及多个真实偏移量构建损失函数，并根据损失函数对关键点检测模型进行训练优化，获得训练完成的关键点检测模型；

11、获取待测交通场景图像，根据训练完成的关键点检测模型对待测交通场景图像进行检测，获得多个车辆姿态中心点与多个偏移量；

12、根据多个车辆姿态中心点与多个偏移量，获得多个车辆姿态关键点，根据多个车辆姿态关键点，获得待测交通场景图像中多个待测车辆的位置，进行路侧停车管理。

13、在一个实施例中，多个二维检测框真实信息包括每个车辆的车辆矩形框的真实左上角坐标与真实右下角坐标，多个三维包围框真实姿态关键点信息包括每个车辆的三维包围框在图像坐标系下的多个车辆真实姿态关键点；

14、获取建模仿真交通场景图像数据集，建模仿真交通场景图像数据集包括多个交通场景图像，每个交通场景图像标注有多个二维检测框真实信息、多个三维包围框真实姿态关键点信息、多个车辆真实姿态中心点、多个车辆真实宽高信息以及车辆真实姿态关键点到车辆真实姿态中心点的多个真实偏移量，包括：

15、根据每个车辆的真实左上角坐标与真实右下角坐标，获得车辆真实姿态中心点；

16、根据每个车辆的真实左上角坐标与真实右下角坐标，获得车辆真实宽高信息；

17、计算每个车辆的多个车辆真实姿态关键点到车辆真实姿态中心点的多个真实偏移量。

18、在一个实施例中，将每个交通场景图像输入至关键点检测模型的骨干网络中进行特征提取，获得骨干特征图数据集，包括：

19、将每个交通场景图像输入至卷积层，输出第一特征图数据集；

20、将第一特征图数据集中每个第一特征图输入至归一化层，输出第二特征图数据集；

21、将第二特征图数据集中每个第二特征图输入至激活函数层，输出第三特征图数据集，第三特征图数据集包括多个第三特征图。

22、在一个实施例中，将骨干特征图数据集中每个骨干特征图输入至关键点检测模型的特征聚合网络中进行特征融合，获得聚合特征图数据集，包括：

23、将第一特征图、第二特征图以及第三特征图输入至特征聚合网络中进行特征融合，获得聚合特征图数据集的聚合特征图。

24、在一个实施例中，根据多个车辆预测姿态中心点、多个车辆预测宽高信息、多个预测偏移量、多个车辆真实姿态中心点、多个车辆真实宽高信息以及多个真实偏移量构建损失函数，并根据损失函数对关键点检测模型进行训练优化，获得训练完成的关键点检测模型，包括：

25、根据多个车辆真实姿态中心点与多个车辆预测姿态中心点，构建车辆姿态中心点的回归损失函数；

26、根据多个车辆真实宽高信息与多个车辆预测宽高信息，构建车辆宽高的回归损失函数；

27、根据多个真实偏移量与多个预测偏移量，构建车辆姿态关键点和车辆姿态中心点的偏移量的回归损失函数；

28、根据车辆姿态中心点的回归损失函数、车辆宽高的回归损失函数以及偏移量的回归损失函数，构建关键点检测模型的损失函数。

29、在一个实施例中，根据多个车辆姿态中心点与多个偏移量，获得多个车辆姿态关键点，根据多个车辆姿态关键点，获得待测交通场景图像中多个待测车辆的位置，进行路侧停车管理，包括：

30、将多个车辆姿态关键点与多个车辆姿态中心点进行匹配，获得每个车辆姿态中心点对应匹配的多个车辆姿态关键点；

31、对每个车辆姿态中心点对应匹配的多个车辆姿态关键点进行世界坐标系坐标转换，获得每个待测车辆的位置；

32、根据每个待测车辆的位置，判断每个待测车辆是否停在泊位内。

33、在一个实施例中，本技术提供一种基于车辆姿态的路侧停车管理系统，包括：

34、数据获取模块，用于获取建模仿真交通场景图像数据集，建模仿真交通场景图像数据集包括多个交通场景图像，每个交通场景图像标注有多个二维检测框真实信息、多个三维包围框真实姿态关键点信息、多个车辆真实姿态中心点、多个车辆真实宽高信息以及车辆真实姿态关键点到车辆真实姿态中心点的多个真实偏移量；

35、骨干网络模块，用于将每个交通场景图像输入至关键点检测模型的骨干网络中进行特征提取，获得骨干特征图数据集；

36、特征聚合网络模块，用于将骨干特征图数据集中每个骨干特征图输入至关键点检测模型的特征聚合网络中进行特征融合，获得聚合特征图数据集；

37、关键点预测网络模块，用于将聚合特征图数据集中每个聚合特征图输入至关键点检测模型的关键点预测网络中进行点位预测，获得多个车辆预测姿态中心点、多个车辆预测宽高信息以及车辆预测姿态关键点到车辆预测姿态中心点的多个预测偏移量；

38、训练模块，用于根据多个车辆预测姿态中心点、多个车辆预测宽高信息、多个预测偏移量、多个车辆真实姿态中心点、多个车辆真实宽高信息以及多个真实偏移量构建损失函数，并根据损失函数对关键点检测模型进行训练优化，获得训练完成的关键点检测模型；

39、检测模块，用于获取待测交通场景图像，根据训练完成的关键点检测模型对待测交通场景图像进行检测，获得多个车辆姿态中心点与多个偏移量；

40、车辆位置获取模块，用于根据多个车辆姿态中心点与多个偏移量，获得多个车辆姿态关键点，根据多个车辆姿态关键点，获得待测交通场景图像中多个待测车辆的位置，进行路侧停车管理。

41、在一个实施例中，多个二维检测框真实信息包括每个车辆的车辆矩形框的真实左上角坐标与真实右下角坐标，多个三维包围框真实姿态关键点信息包括每个车辆的三维包围框在图像坐标系下的多个车辆真实姿态关键点，数据模块包括：

42、车辆真实姿态中心点获取模块，用于根据每个车辆的真实左上角坐标与真实右下角坐标，获得车辆真实姿态中心点；

43、车辆真实宽高信息获取模块，用于根据每个车辆的真实左上角坐标与真实右下角坐标，获得车辆真实宽高信息；

44、真实偏移量获取模块，用于计算每个车辆的多个车辆真实姿态关键点到车辆真实姿态中心点的多个真实偏移量。

45、在一个实施例中，骨干网络模块包括：

46、卷积层模块，用于将每个交通场景图像输入至卷积层，输出第一特征图数据集；

47、归一化层模块，用于将第一特征图数据集中每个第一特征图输入至归一化层，输出第二特征图数据集；

48、激活函数层模块，用于将第二特征图数据集中每个第二特征图输入至激活函数层，输出第三特征图数据集，第三特征图数据集包括多个第三特征图。

49、在一个实施例中，特征聚合网络模块用于将第一特征图、第二特征图以及第三特征图输入至特征聚合网络中进行特征融合，获得聚合特征图数据集的聚合特征图。

50、在一个实施例中，训练模块包括：

51、第一回归损失函数模块，用于根据多个车辆真实姿态中心点与多个车辆预测姿态中心点，构建车辆姿态中心点的回归损失函数；

52、第二回归损失函数模块，用于根据多个车辆真实宽高信息与多个车辆预测宽高信息，构建车辆宽高的回归损失函数；

53、第三回归损失函数模块，用于根据多个真实偏移量与多个预测偏移量，构建车辆姿态关键点和车辆姿态中心点的偏移量的回归损失函数；

54、模型损失函数，用于根据车辆姿态中心点的回归损失函数、车辆宽高的回归损失函数以及偏移量的回归损失函数，构建关键点检测模型的损失函数。

55、在一个实施例中，车辆位置获取模块包括：

56、匹配模块，用于将多个车辆姿态关键点与多个车辆姿态中心点进行匹配，获得每个车辆姿态中心点对应匹配的多个车辆姿态关键点；

57、坐标转换模块，用于对每个车辆姿态中心点对应匹配的多个车辆姿态关键点进行世界坐标系坐标转换，获得每个待测车辆的位置；

58、判断模块，用于根据每个待测车辆的位置，判断每个待测车辆是否停在泊位内。

59、上述基于三维车辆姿态的路侧停车管理方法以及系统中，通过建模技术生成路侧停车场景的虚拟数据及其标签数据虚拟图像数据与真实路侧停车场景图像在细节上有所差异，但是具有相似的空间布局，车辆的整体形态是相同的。利用虚拟数据训练得到的模型可以利用在真实路侧停车场景图像中。在虚拟数据生成过程中，根据数字车辆模型即可自动获得精确的车辆立体包围框，无需进行人工标注，也避免了人工标注带来的误差，同时可利用不同的车辆模型，可生成不同的停车场景图像数据，以及调整不同摄像头视角，获得不同视角的数据，也极大减少了数据采集的时间和劳动成本。

60、通过建模仿真交通场景图像数据集，构建车辆关键点检测模型进行构成车辆三维包围框的姿态关键点的坐标回归预测。将在图像坐标系下获得的车辆姿态关键点位置进行坐标转换，得到在世界坐标系下的车辆姿态关键点，并与在同一坐标系下的泊位位置进行判断，从而得到车辆的停车位置与姿态，提高了对车辆位置的检测准确率，进行提高了车辆的泊车判断与管理以及车辆是否违规停车、压线停车等管理效率。通过对车辆的姿态关键点进行回归，从而判断车辆的姿态，在车辆遮挡严重的情况下，也能够根据可见关键点对车身姿态进行预估，鲁棒性较强。

技术实现思路