一种标注框的修正方法、电子设备及存储介质与流程

本发明实施例涉及数据处理领域，特别涉及一种标注框的修正方法、电子设备及存储介质。

背景技术：

鱼眼镜头是比标准镜头视角更大、焦距更短的一种特殊镜头。由于鱼眼镜头的视角大焦距短的结构特点，导致其采集到的鱼眼图像具有畸变。鱼眼图像中的物体发生严重形变，同一物体在鱼眼镜头视角范围内的不同位置中，形变不同，所以同一物体特征无法被传统目标检测识别算法直接使用。业内对鱼眼镜头的应用，主要将其作为视觉传感器，用在视频监控场景中。对于鱼眼镜头拍摄的图像，先使用畸变校正算法将由鱼眼镜头采集到的畸变鱼眼图像进行校正，将其校正成符合人眼视觉效果的图片，然后使用拼接算法将校正后的鱼眼图像进行拼接。由于鱼眼图像的校正算法直接影响校正效果，目前的校正算法的校正效果都有其自身的局限性，校正后的鱼眼图像仍然很难直接被传统的目标检测识别算法使用。因此，业内开始使用准确率更高的基于深度学习的目标检测识别算法。基于深度学习的目标检测识别算法的原理是：通过使用整理好的训练数据(图片和对应标注文件)来训练检测识别模型，用训练好的模型，对一张图片中的物体进行检测识别。训练数据要求尽量覆盖一个目标物体的各个特征。

然而，发明人发现现有技术中至少存在如下问题：目前，基于深度学习的图像算法的训练数据都是由标准镜头采集。物体在图片中由镜头导致的光学畸变几乎可以忽略不计。基于深度学习的算法很容易学习到固定一类物体特征，训练好的模型对无畸变的图片检测识别效果很好。当直接使用由鱼眼镜头采集到的畸变鱼眼图像作为训练数据训练检测识别模型时，由于鱼眼镜头的光学畸变，基于深度学习的目标检测识别算法对畸变鱼眼图像中同一类物体特征的学习效果不好。

技术实现要素：

本发明实施方式的目的在于提供一种标注框的修正方法、电子设备及存储介质，使得能够减小标注框之间的重叠面积，提高基于深度学习的目标检测算法的学习效果，提高识别准确率。

为解决上述技术问题，本发明的实施方式提供了一种标注框的修正方法，包括以下步骤：根据图像的标注框信息，确定图像的标注框之间的重叠信息，重叠信息指示图像的标注框之间是否重叠；根据图像的标注框之间的重叠信息，若确定图像中存在重叠的标注框，调整图像的标注框，以减小重叠的标注框之间的重叠面积。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述实施方式提及的修正方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的标注框的修正方法。

本发明实施方式相对于现有技术而言，基于图像的标注框之间的重叠信息，对图像中的标注框进行调整，减小标注框之间的重叠面积。由于图像中的标注框之间的重叠面积减小了，可以减少基于深度学习的目标检测算法将小标注框所标注的物体的特征学习成大标注框所标注的物体的特征的情况，提高基于深度学习的目标检测算法的学习效果，提高识别准确率。

另外，调整图像的标注框，以减小重叠的标注框之间的重叠面积，具体包括：针对任意两个重叠的标注框，分别进行以下操作：确定两个重叠的标注框中面积较大的标注框；根据预设的调整规则，调整面积较大的标注框的边界，以减小重叠的标注框之间的重叠面积。

另外，在确定两个重叠的标注框中面积较大的标注框之前，标注框的修正方法还包括：判断两个重叠的标注框之间的重叠面积比例是否大于第一阈值；若确定是，执行确定两个重叠的标注框中面积较大的标注框的步骤。该实施例中，可以提高处理效率，减少计算资源的消耗。

另外，在判断两个重叠的标注框之间的重叠面积比例是否大于第一阈值之前，标注框的修正方法还包括：判断两个重叠的标注框之间的面积比例是否小于第二阈值；若确定是，执行判断两个重叠的标注框之间的重叠面积比例是否大于第一阈值的步骤。该实施例中，可以提高处理效率，减少计算资源的消耗。

另外，预设的调整规则为：沿面积较大的标注框的最长边，向面积较大的标注框的重心方向，缩小面积较大的标注框，以使缩小后的标注框与两个重叠的标注框中面积较小的标注框的重叠面积比例小于等于第三阈值，其中，第三阈值小于或等于第一阈值。

另外，两个重叠的标注框之间的重叠面积比例等于两个重叠的标注框之间的重叠面积/面积较大的标注框的面积，第一阈值大于等于20％，且，小于等于30％。

另外，两个重叠的标注框之间的面积比例等于两个重叠的标注框中面积较小的标注框的面积/面积较大的标注框的面积，第二阈值大于等于20％，且小于等于30％。

另外，在根据预设的调整规则，调整面积较大的标注框的边界，以减小重叠的标注框之间的重叠面积之后，标注框的修正方法还包括：更新面积较大的标注框与其他标注框的重叠信息；其中，其他标注框为所述图像中除面积较大的标注框以外的标注框；或者，

更新与面积较大的标注框存在重叠的其他标注框与面积较大的标注框的重叠信息；其中，其他标注框为：根据更新前的重叠信息确定的与面积较大的标注框存在重叠的标注框中，除两个重叠的标注框中面积较小的标注框以外的标注框。

另外，图像的标注框信息为图像的标注框的位置信息。

附图说明

一个或多个实施例通过与之对应的附图中的图像进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明的第一实施方式的标注框的修正方法的流程图；

图2是根据本发明的第二实施方式的标注框的修正方法的流程图；

图3a是根据本发明的第二实施方式的调整前的标注框1和标注框2的位置示意图；

图3b是根据本发明的第二实施方式的调整后的标注框1和标注框2的位置示意图；

图4是根据本发明的第三实施方式的标注框的修正装置的结构示意图；

图5是根据本发明的第四实施方式的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明公开的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本发明的第一实施方式涉及一种标注框的修正方法，应用于电子设备，如终端或服务器，如图1所示，标注框的修正方法包括以下步骤：

步骤101：根据图像的标注框信息，确定图像的标注框之间的重叠信息。

具体地说，重叠信息指示图像的标注框之间是否重叠。其中，图像可以是基于深度学习的目标检测算法的训练数据中的图像，标注框信息可以是基于深度学习的目标检测算法的训练数据中的标注信息。

在一个实施例中，图像的标注框信息为图像的标注框的位置信息。其中，标注框的位置信息可以包括标注框的左上角坐标、标注框的x轴向长度信息和y轴向长度信息。电子设备针对图像中的任意两个标注框，基于这两个标注框的位置信息，确定这两个标注框之间的重叠信息。两个标注框之间的重叠信息指示两个标注框重叠或不重叠。

例如，重叠信息用二进制表示，重叠信息为1表示两者重叠，重叠信息为0表示两者不重叠。假设，标注框1的位置信息指示：标注框1的左上角坐标为(1,1)，x轴向长度为10个单位长度，y轴向长度为20个单位长度；标注框2的位置信息指示；左上角坐标为(6,11)，x轴向长度为5个单位长度，y轴向长度为10个单位长度。根据标注框1的位置信息，可以确定标注框1为坐标点(1,1)、(11,1)、(11,21)和(1,21)依次收尾相连构成的边框。而标注框2的左上角坐标位于标注框1内，因此，标注框1和标注框2的重叠信息为1，即两者重叠。

又如，重叠信息为两个标注框之间的重叠面积。若两个标注框之间的重叠面积为0，则两个标注框之间的重叠信息指示两个标注框不重叠，若两个标注框之间的重叠面积不为0，则两个标注框之间的重叠信息指示两个标注框重叠。假设，标注框1的位置信息指示：标注框1的左上角坐标为(1,1)，x轴向长度为10个单位长度，y轴向长度为20个单位长度；标注框2的位置信息指示：标注框2的左上角坐标为(6,11)，x轴向长度为5个单位长度，y轴向长度为10个单位长度。根据标注框1的位置信息和标注框2的位置信息，可以确定两者的重叠面积为50个单位面积，因此，标注框1和标注框2重叠。

需要说明的是，本领域技术人员可以理解，实际应用中，可以根据需要选择可以指示标注框是否重叠的参数作为两个标注框之间的重叠信息，本实施方式不限制重叠信息的具体含义。

步骤102：根据图像的标注框之间的重叠信息，若确定图像中存在重叠的标注框，调整图像的标注框，以减小重叠的标注框之间的重叠面积。

具体地说，若图像中存在重叠的标注框，则调整图像的标注框。可选择的，若图像中不存在重叠的标注框，不调整图像中的标注框。

发明人发现，当两个物体紧挨或者遮挡摆放时，该图像中的大物体的标注框会整个或者部分覆盖小物体的标注框。使用这类图像构成的训练数据训练的目标检测算法，将导致小物体学习成大物体的一部分，从而影响识别准确率。因此，电子设备在确定两个标注框之间存在重叠时，根据重叠信息，调整图像的标注框，以减小重叠的标注框之间的重叠面积，从而提高基于深度学习的目标检测算法的学习效果，提高识别准确率。

在一个实施例中，图像为鱼眼图像。鱼眼图像为通过鱼眼镜头拍摄的图像。由于鱼眼图像存在光学畸变，不同物体之间的标注框常常会出现重叠的情况，这将影响基于深度学习的目标检测算法的学习效果。本实施方式中，通过对鱼眼图像的标注框进行修正，可以提高基于深度学习的目标检测算法的学习效果，提高识别准确率。

需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。

与现有技术相比，本实施方式中提供的标注框的修正方法，基于图像的标注框之间的重叠信息，对图像中的标注框进行调整，减小标注框之间的重叠面积。由于图像中的标注框之间的重叠面积减小了，可以减少基于深度学习的目标检测算法将小标注框所标注的物体的特征学习成大标注框所标注的物体的特征的情况，提高基于深度学习的目标检测算法的学习效果，提高识别准确率。

本发明的第二实施方式涉及一种标注框的修正方法。本实施方式是对第一实施方式的举例说明，具体说明了第一实施方式的调整图像的标注框的过程。

具体的说，在步骤102中，电子设备根据图像的标注框之间的重叠信息，若确定图像中存在重叠的标注框，则针对任意两个重叠的标注框，分别进行以下操作：

步骤201：确定两个重叠的标注框中面积较大的标注框。

具体地说，电子设备可以根据标注框的位置信息，确定各标注框的面积。通过比较两个重叠的标注框的面积，确定面积较大的标注框。

在一个实施例中，在执行步骤201之前，电子设备判断两个重叠的标注框之间的重叠面积比例是否大于第一阈值，若确定两个重叠的标注框之间的重叠面积比例大于第一阈值，执行步骤201，否则，不对两个重叠的标注框进行调整。

在一个实施例中，两个重叠的标注框之间的重叠面积比例等于两个重叠的标注框之间的重叠面积/面积较大的标注框的面积，第一阈值大于等于20％，且，小于等于30％，例如，25％。

需要说明的是，本领域技术人员可以理解，实际应用中，可以根据需要选择第一阈值，本实施方式不做限制。

值得一提的是，重叠面积较小的两个物体的标注框之间的相互影响较小，调整前与调整后的效果相差不大。本实施方式中，调整重叠面积比例达到预设的第一阈值的发生重叠的标注框，可以提高处理效率，减少计算资源的消耗。

在另一实施例中，电子设备在判断两个重叠的标注框之间的重叠面积比例是否大于第一阈值之前，判断两个重叠的标注框之间的面积比例是否小于第二阈值；若确定是，执行判断两个重叠的标注框之间的重叠面积比例是否大于第一阈值的步骤，否则，不进行后续操作。

在一个实施例中，两个重叠的标注框之间的面积比例等于两个重叠的标注框中面积较小的标注框的面积/面积较大的标注框的面积，第二阈值大于等于20％，且小于等于30％，例如，30％。

值的一提的是，两个物体的标注框之间的面积比例较小，说明两个物体的差异较小，重叠一部分对基于深度学习的目标检测算法的影响较小。本实施方式中，对差异较大的物体的存在重叠的标注框进行调整，可以提高调整效率，减少计算资源的消耗。

需要说明的是，本领域技术人员可以理解，实际应用中，可以根据需要选择第二阈值，本实施方式不做限制。

例如，第一阈值为25％，第二阈值为30％，电子设备判断是否调整图像的标注框的流程如下：首先，电子设备读取图像和图像的标注框信息(标注框的位置信息)。然后，电子设备根据标注框信息，判断标注框之间的重叠关系。最后，电子设备依次取出每一对存在重叠的标注框，判断是否需要调整，若判定为需要调整，则通过执行步骤201和步骤202，对两个重叠的标注框进行跳帧，否则，不调整这两个重叠的标注框。假设，在某次判断过程中，取出的存在重叠的一对标注框为标注框a和标注框b，scale＝min(sa,sb)/max(sa,sb)，scaliou＝s(a∩b)/min(sa,sb)，其中，scale表示两个重叠的标注框之间的面积比例，scaliou表示两个重叠的标注框之间的重叠面积比例，sa表示标注框a的面积，sb表示标注框b的面积。当scale<30％时，则判定为两个标注框的面积相差较大。当scale>30％时，则判定为两个标注框的面积相差不大。当scaliou<25％时，重叠面积小，影响较小，不做处理。当scaliou>25％时，重叠面积大，影响较大，需要缩小大目标的标注框。具体的算法流程大致如下：

需要说明的是，本领域技术人员可以理解，实际应用中，可以根据需要，在调整标注框之前，设定一些筛选条件，有选择的对一部分重叠的标注框进行调整，本实施方式不限制具体的筛选条件。

步骤202：根据预设的调整规则，调整面积较大的标注框的边界，以减小重叠的标注框之间的重叠面积。

在一个实施例中，预设的调整规则为：将与面积较小的标注框重叠的面积较大的标注框的最短边沿面积较大的标注框的最长边，向面积较大的标注框的重心方向移动，直至调整后的面积较大的标注框与两个重叠的标注框中面积较小的标注框的重叠面积比例小于等于第三阈值，其中，第三阈值小于或等于第二阈值。

值得一提的是，沿面积较大的标注框的最长边调整标注框，可以更多地保留面积较大的标注框所标注的物体的特征，便于基于深度学习的目标检测算法学习面积较大的标注框所标注的物体的特征，提高检测准确率。

需要说明的是，本领域技术人员可以理解，实际应用中，可以根据需要设置调整规则，例如，将调整规则设置为沿面积较大的标注框的最短边，向面积较大的标注框的重心方向，缩小面积较大的标注框，以减小两个重叠的标注框之间的重叠面积比例，本实施方式不限制标注框的具体调整方法。

在一个例子中，第三阈值为0％。即将面积较大的标注框的最长边缩短至面积较小的标注框的边界。假设，未调整前的标注框1和标注框2如图3a所示，标注框1为面积较大的标注框，标注框2为面积较小的标注框，且两个重叠的标注框之间的面积比例小于第二阈值，重叠面积比例大于第一阈值。因此，需要对标注框1进行修正，将与标注框2重叠的标注框1的最短边沿标注框1的长边，向重心的方向移动(如图3a中箭头所示)，调整后得到标注框1和标注框2如图3b所示。

需要说明的是，本领域技术人员可以理解，实际应用中，第三阈值可以选取大于等于0，小于等于第一阈值的任意数值，本实施方式不限制第三阈值的具体取值。

在一个实施例中，电子设备在针对任意两个重叠的标注框，调整面积较大的标注框后，有选择地，更新面积较大的标注框与其他标注框的重叠信息；其中，其他标注框为图像中除面积较大的标注框以外的标注框；或者，更新与面积较大的标注框存在重叠的其他标注框与面积较大的标注框的重叠信息；其中，其他标注框为：根据更新前的重叠信息确定的与面积较大的标注框存在重叠的标注框中，除两个重叠的标注框中面积较小的标注框以外的标注框。

值得一提的是，更新面积较大的标注框与其他标注框的重叠信息，可以避免面积较大的标注框调整后，与其他标注框的重叠信息发生变化，电子设备仍然按照未更新的重叠信息进行处理造成的计算资源的浪费。

需要说明的是，以上仅为举例说明，并不对本发明的技术方案构成限定。

与现有技术相比，本实施方式中提供的标注框的修正方法，基于图像的标注框之间的重叠信息，对图像中的标注框进行调整，减小标注框之间的重叠面积。由于图像中的标注框之间的重叠面积减小了，可以减少基于深度学习的目标检测算法将小标注框所标注的物体的特征学习成大标注框所标注的物体的特征的情况，提高基于深度学习的目标检测算法的学习效果，提高识别准确率。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明的第三实施方式涉及一种标注框的修正装置，如图4所示，包括：确定模块401和调整模块402。确定模块401用于根据图像的标注框信息，确定图像的标注框之间的重叠信息，重叠信息指示图像的标注框之间是否重叠。调整模块402用于根据图像的标注框之间的重叠信息，调整图像的标注框，以减小重叠的标注框之间的重叠面积。

不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明的第四实施方式涉及一种电子设备，如图5所示，包括：至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行如上述实施方式提及的标注框的修正方法。

该电子设备包括：一个或多个处理器501以及存储器502，图5中以一个处理器501为例。处理器501、存储器502可以通过总线或者其他方式连接，图5中以通过总线连接为例。存储器502作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器501通过运行存储在存储器502中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述标注框的修正方法。

存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施方式中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器502中，当被一个或者多个处理器501执行时，执行上述任意方法实施方式中的标注框的修正方法。

上述产品可执行本申请实施方式所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。

本发明的第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。