结合相机参数的目标检测模型训练方法和目标检测方法

本公开涉及计算机视觉，更具体地，涉及一种结合相机参数的目标检测模型训练方法和目标检测方法。

背景技术：

1、相关技术中，光学卫星、浮空器、无人机等新兴设备均采用了光学相机对地采集图像，由于采集图像时存在一定的倾斜角度，因此会造成图像中目标物体与实际差异较大，从而导致对图像的分类、检测等任务带来困难。

2、在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：相关技术中没有充分利用目标检测图像的信息，导致目标检测精度较低。

技术实现思路

1、有鉴于此，本公开提供了一种结合相机参数的目标检测模型训练方法、装置、电子设备和目标检测方法。

2、本公开的一方面提供了一种结合相机参数的目标检测模型训练方法，包括：

3、获取目标检测图像，其中，目标检测图像为采集倾角大于预设角度阈值的图像，目标检测图像带有目标标注信息；

4、将目标检测图像输入至初始目标检测网络，输出对目标检测图像的初始目标检测结果；

5、根据目标检测图像和相机参数信息，确定带有像素深度信息的像素深度检测图像；

6、将像素深度检测图像输入至像素深度检测网络中，输出对像素深度检测图像的像素深度检测结果；

7、基于目标标注信息、像素深度信息、初始目标检测结果和像素深度检测结果训练初始目标检测网络和像素深度检测网络，得到训练好的目标检测模型。

8、根据本公开的实施例，其中，将目标检测图像输入至初始目标检测网络，输出对目标检测图像的初始目标检测结果，包括：

9、将目标检测图像输入至初始目标检测网络的第一下采样层，输出多个尺度的第一特征图；

10、将多个尺度的第一特征图输入至初始检测网络的第一融合特征层，输出多个尺度的第二特征图；

11、将多个尺度的第二特征图输入至初始检测网络的感兴趣区域提取层，输出多个尺度的第二特征图中每个第二特征图的感兴趣区域；

12、将多个感兴趣区域输入至初始检测网络的预测层，输出对目标检测图像的初始目标检测结果。

13、根据本公开的实施例，其中，将像素深度检测图像输入至像素深度检测网络中，输出对像素深度检测图像的像素深度检测结果，包括：

14、将像素深度检测图像输入至像素深度检测网络的第二下采样层，输出多个尺度的第三特征图；

15、将多个尺度的第三特征图输入至像素深度检测网络的第二融合特征层，输出多个尺度的第四特征图；

16、将多个尺度的第四特征图分别输出至像素深度检测网络的三维深度感知层，输出对像素深度检测图像的像素深度检测结果。

17、根据本公开的实施例，其中，基于目标标注信息、像素深度信息、初始目标检测结果和像素深度检测结果训练初始目标检测网络和像素深度检测网络，得到训练好的目标检测模型，包括：

18、基于初始目标检测结果和目标标注信息，确定目标检测损失值；

19、基于像素深度检测结果和像素深度信息，确定像素深度检测损失值；

20、基于目标检测损失值和像素深度检测损失值训练初始目标检测网络和像素深度检测网络，得到训练好的目标检测模型。

21、根据本公开的实施例，其中，目标标注信息包括目标坐标信息和目标类别信息，基于初始目标检测结果和目标标注信息，确定目标检测损失值，包括：

22、基于初始目标检测结果和目标坐标信息，确定目标坐标检测损失值；

23、基于初始目标检测结果和目标类别信息，确定目标类别检测损失值；

24、基于目标坐标检测损失值和目标类别检测损失值，确定目标检测损失值。

25、根据本公开的实施例，其中，根据目标检测图像和相机参数信息，确定带有像素深度信息的像素深度检测图像，包括：

26、根据目标标注信息和相机参数信息，确定目标检测图像像素深度信息，得到第一子像素深度检测图像；

27、根据预设像素阈值，利用k均值聚类算法确定第一子像素深度检测图像的多个聚类区域；

28、根据多个聚类区域中的像素深度值，从多个聚类区域中确定第二子像素深度检测图像；

29、基于第一子像素深度检测图像和第二子像素深度检测图像，确定像素深度检测图像。

30、根据本公开的实施例，目标检测损失值、目标坐标检测损失值和目标类别检测损失值分别用下式表示：

31、ldetection＝lloc+lcls               (1)

32、

33、

34、其中，ldetection表示目标检测损失值，lloc表示目标坐标检测损失值，lcls表示目标类别检测损失值，x表示目标坐标信息中目标位置框的左上角x轴坐标值，y表示目标坐标信息中目标位置框的左上角y轴坐标值，w表示目标坐标信息中目标位置框的宽度值，h表示目标坐标信息中目标位置框的高度值，ti表示目标坐标信息，μi表示初始目标检测结果中的目标坐标检测结果，t表示目标检测图像中目标类别的个数，yi表示目标类别信息，sj表示初始目标检测结果中的目标类别检测结果。

35、本公开的另一方面提供了一种结合相机参数信息的目标检测方法，包括：

36、将待检测目标图像输入至如上述结合相机参数信息的目标检测模型训练方法训练好的目标检测模型中，输出初始目标检测结果和像素深度检测结果；

37、基于初始目标检测结果和像素深度检测结果，利用非极大值抑制方法确定目标检测结果。

38、本公开的另一方面提供了一种结合相机参数信息的目标检测模型训练装置，包括：

39、第一获取模块，用于获取目标检测图像，其中，目标检测图像带有目标标注信息；

40、第一输出模块，用于将目标检测图像输入至初始目标检测网络，输出对目标检测图像的初始目标检测结果；

41、第一确定模块，用于根据目标检测图像和相机参数信息，确定带有像素深度信息的像素深度检测图像；

42、第二输出模块，用于将像素深度检测图像输入至像素深度检测网络中，输出对像素深度检测图像的像素深度检测结果；

43、得到模块，用于基于初始目标检测结果和像素深度检测结果训练初始目标检测网络和像素深度检测网络，得到训练好的目标检测模型。

44、本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现上述结合相机参数信息的目标检测模型训练方法。

45、根据本公开的实施例，因为采用了将带有目标标注信息的目标检测图像输入至目标检测网络中，输出初始目标检测结果，将根据目标检测图像和相机参数确定的带有像素深度信息的像素深度检测图像输入至像素深度检测网络中，输出像素深度检测结果，基于目标标注信息、像素深度信息、初始目标检测结果和像素深度检测结果训练初始目标检测网络和像素深度检测网络，得到目标检测模型技术手段，将目标检测图像中的目标信息与像素深度结合起来，能够更加精确的确定目标检测图像中的目标，所以至少部分地克服了相关技术中没有充分利用目标检测图像的信息，导致目标检测精度较低的技术问题。