基于有向包围盒的目标检测方法、装置及电子设备

本发明涉及目标检测，尤其涉及基于有向包围盒的目标检测方法、装置及电子设备。

背景技术：

1、随着深度学习技术的高速发展，深度神经网络被广泛地应用于目标检测领域中。在遥感图像目标检测、文字识别等领域中，目标在图像中的方向通常是任意的。为了提高这类目标的检测精度，这些目标通常会由有向包围盒，即有向矩形表示，具体地，神经网络中需要将有向包围盒编码为几个参数用于回归。

2、传统的有向包围盒编码方法通常会存在不稳定的问题，其通常是将有向包围盒编码为中心点横坐标、纵坐标、宽、高、旋转角度。由于旋转角度存在周期性，进行有向包围盒编码时，需要将旋转角度限制在一定范围内。

3、当有向包围盒的旋转角度接近该范围的边界时，细微的扰动就有可能导致有向包围盒的旋转角度超出定义的范围，跳跃到边界另一端。在这种情况下，有向包围盒的细微变动就有可能导致有向包围盒的编码结果出现明显的变化，进而造成神经网络损失值的跳变，这会对神经网络的训练过程造成不利影响。

4、与此同时，其他有向包围盒编码方法在有向包围盒接近正方形时可能会出现相似的不稳定现象，或者在解码时不能准确地还原原本的有向包围盒。

5、因此，如何解决现有目标检测方法中有向包围盒编码稳定性不高，且准确度不高的问题，是目标检测技术领域亟待解决的重要课题。

技术实现思路

1、本发明提供一种基于有向包围盒的目标检测方法、装置及电子设备，用以克服现有目标检测方法中有向包围盒编码稳定性不高，且准确度不高的缺陷，实现有向包围盒的稳定、准确编码、解码。

2、一方面，本发明提供一种基于有向包围盒的目标检测方法，包括：获取待检测图像；将所述待检测图像输入至预先训练的目标检测网络，得到预测输出；对所述预测输出进行解码处理，得到所述待检测图像的目标检测结果；其中，所述目标检测网络通过根据样本图像中目标的原始有向包围盒的编码结果进行训练优化得到，所述编码结果包括所述原始有向包围盒对应的水平外包围盒参数、滑动比例参数，以及所述原始有向包围盒与候选有向包围盒的交并比参数，所述候选有向包围盒与所述原始有向包围盒具有相同的水平外包围盒和滑动比例参数。

3、进一步地，训练所述目标检测网络，具体步骤包括：获取训练样本数据集，所述训练样本数据集中每一训练样本包括样本图像及其对应的标签图像，所述标签图像标注有目标的原始有向包围盒；将所述样本图像输入至待训练的目标检测网络，得到训练预测输出；对所述标签图像中目标的原始有向包围盒进行编码处理，得到编码结果；根据所述训练预测输出和所述编码结果，对所述目标检测网络进行迭代优化，得到训练好的目标检测网络。

4、进一步地，所述对所述标签图像中目标的原始有向包围盒进行编码处理，得到编码结果，包括：根据所述原始有向包围盒的原始有向包围盒参数，计算所述原始有向包围盒对应的水平外包围盒参数；根据所述原始有向包围盒参数和所述水平外包围盒参数，计算所述滑动比例参数，并生成多个所述候选有向包围盒；分别计算所述原始有向包围盒与每一所述候选有向包围盒的交并比分数，得到所述交并比参数。

5、进一步地，所述原始有向包围盒参数包括所述原始有向包围盒的四个顶点坐标；相应地，所述根据所述原始有向包围盒的原始有向包围盒参数，计算所述原始有向包围盒对应的水平外包围盒参数，包括：根据所述原始有向包围盒的四个顶点坐标，计算所述原始有向包围盒对应水平外包围盒的中心横坐标、中心纵坐标以及宽和高。

6、进一步地，通过交并比公式计算所述原始有向包围盒与每一所述候选有向包围盒的交并比分数，所述交并比公式如下：

7、

8、其中，obb原始表示原始有向包围盒，obb候选表示任一候选有向包围盒，area表示多边形的面积，obb原始∩obb候选表示原始有向包围盒与候选有向包围盒的交集区域。

9、进一步地，所述预测输出包括所述待检测图像中目标的初始有向包围盒对应的水平外包围盒参数、滑动比例参数，以及初始有向包围盒与待选有向包围盒的交并比参数，所述待选有向包围盒与所述初始有向包围盒具有相同的水平外包围盒和滑动比例参数；相应地，所述对所述预测输出进行解码处理，得到所述待检测图像的目标检测结果，包括：根据所述预测输出，还原多个所述待选有向包围盒；确定所述初始有向包围盒分别与多个所述待选有向包围盒的交并比参数中的最大交并比参数；将所述最大交并比参数对应的所述待选有向包围盒作为所述目标检测结果。

10、第二方面，本发明还提供一种基于有向包围盒的目标检测装置，包括：图像获取模块，用于获取待检测图像；目标预测模块，用于将所述待检测图像输入至预先训练的目标检测网络，得到预测输出；解码处理模块，用于对所述预测输出进行解码处理，得到所述待检测图像的目标检测结果；其中，所述目标检测网络通过根据样本图像中目标的原始有向包围盒的编码结果进行训练优化得到，所述编码结果包括所述原始有向包围盒对应的水平外包围盒参数、滑动比例参数，以及所述原始有向包围盒与候选有向包围盒的交并比参数，所述候选有向包围盒与所述原始有向包围盒具有相同的水平外包围盒和滑动比例参数。

11、第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的基于有向包围盒的目标检测方法。

12、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的基于有向包围盒的目标检测方法。

13、第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的基于有向包围盒的目标检测方法。

14、本发明提供的一种基于有向包围盒的目标检测方法，通过获取待检测图像，并将待检测图像输入至预先训练的目标检测网络，得到预测输出，进而对预测输出进行解码处理，得到待检测图像的目标检测结果，其中，目标检测网络通过根据样本图像中目标的原始有向包围盒的编码结果进行训练优化得到，编码结果包括原始有向包围盒对应的水平外包围盒参数、滑动比例参数，以及原始有向包围盒与候选有向包围盒的交并比参数，候选有向包围盒与原始有向包围盒具有相同的水平外包围盒和滑动比例参数。该方法通过在目标检测网络的训练过程中将原始有向包围盒编码为对应的水平外包围盒参数、滑动比例参数，以及原始有向包围盒与候选有向包围盒的交并比参数，此过程不会因为细微扰动而导致编码结果出现明显的变化，编码过程具有良好的稳定性，并且，由于候选有向包围盒与原始有向包围盒具有相同的水平外包围盒和滑动比例参数，在进行解码时也能准确地还原出原本的有向包围盒，实现了有向包围盒的稳定、准确编码、解码，从而进一步提升图像目标检测的准确度。

技术特征：

1.一种基于有向包围盒的目标检测方法，其特征在于，包括：

2.根据权利要求1所述的基于有向包围盒的目标检测方法，其特征在于，训练所述目标检测网络，具体步骤包括：

3.根据权利要求2所述的基于有向包围盒的目标检测方法，其特征在于，所述对所述标签图像中目标的原始有向包围盒进行编码处理，得到编码结果，包括：

4.根据权利要求3所述的基于有向包围盒的目标检测方法，其特征在于，所述原始有向包围盒参数包括所述原始有向包围盒的四个顶点坐标；

5.根据权利要求3所述的基于有向包围盒的目标检测方法，其特征在于，通过交并比公式计算所述原始有向包围盒与每一所述候选有向包围盒的交并比分数，所述交并比公式如下：

6.根据权利要求1-5中任一项所述的基于有向包围盒的目标检测方法，其特征在于，所述预测输出包括所述待检测图像中目标的初始有向包围盒对应的水平外包围盒参数、滑动比例参数，以及初始有向包围盒与待选有向包围盒的交并比参数，所述待选有向包围盒与所述初始有向包围盒具有相同的水平外包围盒和滑动比例参数；

7.一种基于有向包围盒的目标检测装置，其特征在于，包括：

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6中任一项所述的基于有向包围盒的目标检测方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于有向包围盒的目标检测方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的基于有向包围盒的目标检测方法。

技术总结
本发明提供一种基于有向包围盒的目标检测方法、装置及电子设备，其中的方法包括：将待检测图像输入至预先训练的目标检测网络，得到预测输出；对预测输出进行解码处理，得到待检测图像的目标检测结果；其中，目标检测网络通过根据样本图像中目标的原始有向包围盒的编码结果进行训练优化得到。该方法通过在目标检测网络的训练过程中将原始有向包围盒编码为对应的水平外包围盒参数、滑动比例参数以及交并比参数，此过程不会因为细微扰动而导致编码结果出现明显的变化，具有良好的稳定性，且解码时准确地还原出原本的有向包围盒，实现了有向包围盒的稳定、准确编码、解码，进一步提升了图像目标检测的准确度。

技术研发人员：胡事民,肖子凯,杨国烨,穆太江
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/5/10