一种目标检测模型的训练方法及目标检测方法与流程

本技术涉及人工智能领域，具体而言，涉及一种目标检测模型的训练方法及目标检测方法。

背景技术：

1、v2x（vehicle to everything，即车对外界的信息交换）中路侧感知设备 ，需要通过相机将目标车辆或行人等目标的位置信息、航向信息等发送给车辆，从而辅助车辆完成更好的辅助驾驶功能。目前很多路侧感知设备都是直接在相机拍摄的原始图像上进行检测，然后利用标定信息，得出目标车辆或行人的位置信息，然后根据运动轨迹估计目标的速度和航向信息，但是，这种方法存在以下缺点：

2、1、现有技术中目标车辆或行人的定位点通常选在检测框的底边中心点，而不是在地图上显示的目标车辆或行人的中心点，例如目标车辆或行人倾斜造成底边中心点实际不在车身上或行人身上，导致目标车辆或行人的定位误差较大。

3、2、现有技术需要至少前后两帧图像来计算目标车辆或行人的航向信息，检测的航向信息滞后，甚至由于目标车辆或行人的定位误差，造成检测到的目标车辆或行人的速度和航向不稳定。

技术实现思路

1、本技术实施例的目的在于提供一种目标检测模型的训练方法及目标检测方法，用以解决现有路侧感知设备之间在原始图像上检测目标车辆或行人导致目标的定位误差较大、以及目标的航向角滞后的问题。

2、本技术实施例提供的一种目标检测模型的训练方法，包括：

3、获取路侧感知设备拍摄的原始图像；

4、将原始图像转化为鸟瞰图像；

5、标注鸟瞰图像中的目标物，并进行目标检测模型的训练，得到训练后的目标检测模型。

6、上述技术方案中，将路侧感知设备拍摄的原始图像转换为鸟瞰图像，再对鸟瞰图像中的目标物进行标注，可以将目标物的定位点选择到目标物检测框的中心点，使目标物的定位更加准确，且目标物的朝向即为目标的航向角，无需再根据前后两帧图像来计算目标的航向信息，避免航向信息滞后的问题。之后，利用标注有目标物的鸟瞰图像进行目标检测模块的训练，训练后的目标检测模块能够实现目标物的准确定位和航向角识别。

7、在一些可选的实施方式中，其中，原始图像包括路侧感知设备的真实相机成像真实图像；

8、鸟瞰图像包括基于真实图像所生成的鸟瞰仿真图像；并且在鸟瞰仿真图像的成像位置的高度h大于目标物高度h1。

9、上述技术方案中，将路侧感知设备的真实相机成像的原始图像，转化为虚拟相机成像的鸟瞰图像，即将真实相机通过旋转到垂直向下，然后平移到离地面一定高度h，该高度h远大于目标物高度h1，例如将高度h设置为10倍的h1，以避免目标物高度造成的原始图像转化为鸟瞰图像后，目标物拉伸或者变形。

10、在一些可选的实施方式中，其中，鸟瞰仿真图像由成像位置的高度h大于目标物高度h1的虚拟相机模拟成像生成；

11、将原始图像转化为鸟瞰图像，包括：

12、配置虚拟相机与真实相机具有相同的内参k，将真实相机从当前位置通过旋转矩阵和平移矩阵转化到虚拟相机的位置，真实相机的外参矩阵为m，虚拟相机坐标系的坐标值xv=m×xc；其中，xc为真实相机坐标系的坐标值；

13、配置地面高度为0，虚拟相机的鸟瞰图像坐标系的像素值xvp=（h2/h）×m×xp；其中，xp为真实相机的原始图像坐标系的像素值，h2为真实相机的高度。

14、上述技术方案中，将真实相机的原始图像转化为虚拟相机的鸟瞰图像的具体步骤包括：

15、令虚拟相机与真实相机具有相同的内参k，将真实相机从当前位置通过旋转矩阵和平移矩阵转化到虚拟相机的位置，真实相机的外参矩阵为m，虚拟相机坐标系的坐标值xv=m×xc；其中，xc为真实相机坐标系的坐标值；

16、令地面高度为0，根据真实相机的成像原理，得到：xp/h2=k×xc；其中，xp为真实相机的原始图像坐标系的像素值，h2为真实相机的高度；

17、又，根据虚拟相机的成像原理，得到虚拟相机的鸟瞰图像坐标系的像素值：xvp=k×xv/h=（h2/h）×m×xp；其中，h为虚拟相机的高度。

18、在一些可选的实施方式中，标注鸟瞰图像中的目标物，包括：

19、在鸟瞰图像中，根据目标物的轮廓来标注旋转检测框，旋转检测框包括：

20、旋转检测框的中心点横坐标x和纵坐标y，旋转检测框的宽度w和高度h，旋转检测框的角度θ；

21、其中，目标物包括行人和/或车辆。

22、上述技术方案中，在鸟瞰图像中根据目标物的轮廓标注的旋转检测框，该旋转检测框为2d矩形检测框，目标物包括行人或车辆，旋转检测框的参数包括：旋转检测框的中心点横坐标x和纵坐标y，旋转检测框的宽度w和高度h，旋转检测框的角度θ。其中，旋转检测框的中心点横坐标x和纵坐标y为目标物的定位点；利用旋转检测框的角度θ可以确定目标物的朝向。

23、本技术实施例提供的一种目标检测方法，包括：

24、获取路侧感知设备拍摄的实际图像；

25、将实际图像转化为实际鸟瞰图像；

26、将实际鸟瞰图像输入训练后的目标检测模型，得到标注有目标物的实际鸟瞰图像；

27、其中，训练后的目标检测模型通过以上任一的训练方法获得。

28、上述技术方案中，将路侧感知设备拍摄的实际图像转换为实际鸟瞰图像，再将实际鸟瞰图像输入训练后的目标检测模型，得到标注有目标物的实际鸟瞰图像，其中，目标物的定位点能够选择到目标物检测框的中心点，使目标物的定位更加准确，且目标物的朝向即为目标的航向角，无需再根据前后两帧图像来计算目标的航向信息，避免航向信息滞后的问题。

29、在一些可选的实施方式中，将实际图像转化为实际鸟瞰图像，对路侧感知设备的真实相机成像的实际图像，转化为虚拟相机成像的实际鸟瞰图像；其中，虚拟相机垂直向下拍摄，且虚拟相机的高度h大于目标物高度h1。

30、上述技术方案中，将路侧感知设备的真实相机成像的实际图像，转化为虚拟相机成像的实际鸟瞰图像，即将真实相机通过旋转到垂直向下，然后平移到离地面一定高度h，该高度h远大于目标物高度h1，例如将高度h设置为10倍的h1，以避免目标物高度造成的实际图像转化为实际鸟瞰图像后，目标物拉伸或者变形。

31、在一些可选的实施方式中，对路侧感知设备的真实相机成像的实际图像，转化为虚拟相机成像的实际鸟瞰图像，包括：

32、配置虚拟相机与真实相机具有相同的内参k，将真实相机从当前位置通过旋转矩阵和平移矩阵转化到虚拟相机的位置，真实相机的外参矩阵为m，虚拟相机坐标系的坐标值xv=m×xc；其中，xc为真实相机坐标系的坐标值；

33、配置地面高度为0，虚拟相机的实际鸟瞰图像坐标系的像素值xvp’=（h2/h）×m×xp’；其中，xp’为真实相机的实际图像坐标系的像素值，h2为真实相机的高度。

34、上述技术方案中，将真实相机的实际图像转化为虚拟相机的实际鸟瞰图像的具体步骤包括：

35、令虚拟相机与真实相机具有相同的内参k，将真实相机从当前位置通过旋转矩阵和平移矩阵转化到虚拟相机的位置，真实相机的外参矩阵为m，虚拟相机坐标系的坐标值xv=m×xc；其中，xc为真实相机坐标系的坐标值；

36、令地面高度为0，根据真实相机的成像原理，得到：xp’/h2=k×xc；其中，xp’为真实相机的实际图像坐标系的像素值，h2为真实相机的高度；

37、又，根据虚拟相机的成像原理，得到虚拟相机的实际鸟瞰图像坐标系的像素值：xvp’=k×xv/h=（h2/h）×m×xp’；其中，h为虚拟相机的高度。

38、在一些可选的实施方式中，将实际鸟瞰图像输入训练后的目标检测模型，包括：

39、训练后的目标检测模型对输入的实际鸟瞰图像中的目标物的轮廓，标记旋转检测框；

40、其中，旋转检测框包括：旋转检测框的中心点横坐标x和纵坐标y，旋转检测框的宽度w和高度h，旋转检测框的角度θ；目标物包括行人和/或车辆。

41、上述技术方案中，训练后的目标检测模型用于对输入的实际鸟瞰图像中的目标物的轮廓，标记旋转检测框，该旋转检测框为2d矩形检测框，目标物包括行人或车辆，旋转检测框的参数包括：旋转检测框的中心点横坐标x和纵坐标y，旋转检测框的宽度w和高度h，旋转检测框的角度θ。其中，旋转检测框的中心点横坐标x和纵坐标y为目标物的定位点；利用旋转检测框的角度θ可以确定目标物的朝向。

42、本技术实施例提供的一种电子设备，包括：处理器和存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行如以上任一所述的训练方法或目标检测方法。

43、本技术实施例提供的一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如以上任一所述的训练方法或目标检测方法。