图像处理方法、装置、设备及存储介质

本发明涉及计算机视觉，尤其涉及一种图像处理方法、装置、设备及存储介质。

背景技术：

1、目标检测是计算机视觉中最基本的任务之一，该任务旨在预测输入图像中物体的类别与包围框。但由于现实世界的物体种类多、标注成本高，目标检测任务只能基于封闭世界的假设来实现，即检测器只需要检测学过的类别数量有限的对象。近年来，自动驾驶和机器人技术的快速发展对目标检测提出了更高的要求。检测器不仅需要找到预定义类别的对象，即已知物体，还需要捕获检测器在训练期间从未见过的对象，即未知物体，以便无人驾驶汽车或机器人应对更具挑战性的环境。但是基于封闭世界假设设计的模型不能满足这些需求。这是由于在训练期间，即使训练图像中出现了未知物体，模型也会将其作为背景来学习。所以在测试时，检测器也就无法识别到未知物体。

2、目前，可识别未知物体检测的方法主要为两种：开放集分类与检测和开放世界物体检测。开放集分类与检测通过设计度量未知物体与已知物体之间特征差异的不确定性方法来找出被检测器误分类为已知对象的未知物体。开放世界物体检测旨在让模型检测已知物体和未知物体，并通过在训练过程中自动标记伪未知对象来提高对未知物体检测能力，而且模型可以增量地学习新类的注释。

3、然而，现有技术对未知物体的检测精度低。

技术实现思路

1、本技术提供一种图像处理方法、装置、设备及存储介质，从而解决现有技术对未知物体的检测精度低的技术问题。

2、第一方面，本技术提供了一种图像处理方法，包括：

3、获取待处理图像；

4、通过预设目标检测模型，对所述待处理图像进行特征提取，得到包围盒和包围盒特征；

5、根据所述包围盒和所述包围盒特征，通过预设广义物体置信度回归器进行检测处理，得到未知物体的包围盒，其中，所述预设广义物体置信度回归器通过图像样本的包围盒特征和广义物体置信度训练得到；

6、根据所述包围盒和所述包围盒特征，通过预设分类器和预设包围盒位移回归器进行检测处理，得到已知物体，其中，所述预设分类器通过图像样本的包围盒特征和类别概率训练得到，所述预设包围盒位移回归器通过图像样本的包围盒特征和包围盒位移向量训练得到。

7、这里，本技术提供了一种可同时检测图像中已知物体与未知物体的图片处理方法，针对需要进行物体识别的图像，首先提取图像中的包围盒和包围盒特征，通过预先构建的广义物体置信度回归器来检测未知物体的包围盒，从已知类别物体中学习泛化的物体特征，使用广义物体置信度回归器来充分捕捉未知物体，通过预先建立的分类器和包围盒位移回归器，可用于检测已知物体，实现了对未知物体和已知物体的准确检测，在保证对已知物体的检测能力基本不变的前提下，实现对未知物体有效检测，提高了未知物体的检测精度。

8、可选地，所述根据所述包围盒和所述包围盒特征，通过预设广义物体置信度回归器进行检测处理，得到未知物体的包围盒，包括：根据所述包围盒和所述包围盒特征，通过预设广义物体置信度回归器，计算每个所述包围盒的广义物体置信度，并根据所述广义物体置信度对所述包围盒进行第一筛选处理，得到待处理包围盒；根据所述包围盒的广义物体置信度，通过自适应的包围盒筛选机制对所述待处理包围盒进行第二筛选处理，得到未知物体的包围盒。

9、可选地，所述根据所述包围盒的广义物体置信度，通过自适应的包围盒筛选机制对所述待处理包围盒进行第二筛选处理，得到未知物体的包围盒，包括：将所述待处理包围盒构造为一个加权无向图，其中，所述加权无向图集合中的每个节点代表一个待处理包围盒，所述加权无向图集合中的每条边由节点之间的重叠度构成；通过递归的归一化切割算法将整个所述待处理图像迭代分解为n个子图，直到子图的归一化切割代价值低于预设分割阈值时终止，其中，n为任意正整数；在每个所述子图中，将广义物体置信度得分最高的待处理包围盒确定为未知物体的包围盒。

10、可选地，在所述根据所述包围盒和所述包围盒特征，通过预设广义物体置信度回归器进行检测处理，得到未知物体的包围盒之前，还包括：获取图像样本；将所述图像样本的包围盒特征和广义物体置信度输入至二阶段目标检测器，训练得到预设广义物体置信度回归器；将所述图像样本的包围盒特征和类别概率输入至二阶段目标检测器，训练得到预设分类器；将所述图像样本的包围盒特征和包围盒位移向量输入至二阶段目标检测器，训练得到述预设包围盒位移回归器。

11、可选地，在所述将所述图像样本的包围盒特征和包围盒位移向量输入至二阶段目标检测器，训练得到述预设包围盒位移回归器之后，还包括：通过负能量抑制对所述预设分类器进行优化处理，得到优化后分类器；和\或，对所述预设广义物体置信度回归器进行优化处理，得到优化后广义物体置信度回归器；和\或，对所述预设包围盒位移回归器进行优化处理，得到优化后包围盒位移回归器；相应地，所述根据所述包围盒和所述包围盒特征，通过预设广义物体置信度回归器进行检测处理，得到未知物体的包围盒，包括：根据所述包围盒和所述包围盒特征，通过优化后广义物体置信度回归器进行检测处理，得到未知物体的包围盒；所述根据所述包围盒和所述包围盒特征，通过预设分类器和预设包围盒位移回归器进行检测处理，得到已知物体，包括：根据所述包围盒和所述包围盒特征，通过优化后分类器和优化后包围盒位移回归器进行检测处理，得到已知物体。

12、可选地，所述通过负能量抑制对所述预设分类器进行优化处理，得到优化后分类器，包括：通过负能量抑制，结合交叉熵损失函数和基于虚拟样本合成的不确定性度量损失函数对所述预设分类器进行训练处理，得到优化后分类器；

13、所述对所述预设包围盒位移回归器进行优化处理，得到优化后包围盒位移回归器，包括：通过预设回归损失函数对所述预设包围盒位移回归器进行训练处理，得到优化后包围盒位移回归器；

14、所述对所述预设广义物体置信度回归器进行优化处理，得到优化后广义物体置信度回归器，包括：设所述图像样本中包括k个实例，其中，所述k为任意正整数；为所述图像样本定义交预测比和交真值比两个指标，其中，所述交预测比和交真值比通过所述k个实例和所述图像样本中的包围盒样本计算得到；根据所述交预测比和所述交真值比，对所述图像样本中的包围盒样本进行分类处理，将包含同一对象实例的包围盒样本分配到同一组，得到k组包围盒样本，并将所述k组包围盒样本分为完整对象集合、局部对象集合、超界对象集合和非物体集合；根据第一预设广义物体置信度得分和所述完整对象集合，得到第一损失参数；根据第二预设广义物体置信度得分和所述局部对象集合，和\或，根据第二预设广义物体置信度得分和所述超界对象集合，得到第二损失参数；根据所述完整对象集合，通过对比学习，得到第三损失参数；根据所述第一损失参数、所述第二损失参数和所述第三损失参数对所述预设广义物体置信度回归器进行训练处理，得到优化后广义物体置信度回归器。

15、可选地，在所述根据所述包围盒和所述包围盒特征，通过预设分类器和预设包围盒位移回归器进行检测处理，得到已知物体之后，还包括：将所述未知物体的包围盒和所述已知物体进行融合处理，得到物体集合。

16、第二方面，本技术提供了一种图像处理装置，包括：

17、获取模块，用于获取待处理图像；

18、特征提取模块，用于通过预设目标检测模型，对所述待处理图像进行特征提取，得到包围盒和包围盒特征；

19、第一物体识别模块，用于根据所述包围盒和所述包围盒特征，通过预设广义物体置信度回归器进行检测处理，得到未知物体的包围盒，其中，所述预设广义物体置信度回归器通过图像样本的包围盒特征和广义物体置信度训练得到；

20、第二物体识别模块，用于根据所述包围盒和所述包围盒特征，通过预设分类器和预设包围盒位移回归器进行检测处理，得到已知物体，其中，所述预设分类器通过图像样本的包围盒特征和类别概率训练得到，所述预设包围盒位移回归器通过图像样本的包围盒特征和包围盒位移向量训练得到。

21、可选地，所述第一物体识别模块具体用于：根据所述包围盒和所述包围盒特征，通过预设广义物体置信度回归器，计算每个所述包围盒的广义物体置信度，并根据所述广义物体置信度对所述包围盒进行第一筛选处理，得到待处理包围盒；根据所述包围盒的广义物体置信度，通过自适应的包围盒筛选机制对所述待处理包围盒进行第二筛选处理，得到未知物体的包围盒。

22、可选地，所述第一物体识别模块还具体用于：将所述待处理包围盒构造为一个加权无向图，其中，所述加权无向图集合中的每个节点代表一个待处理包围盒，所述加权无向图集合中的每条边由节点之间的重叠度构成；通过递归的归一化切割算法将整个所述待处理图像迭代分解为n个子图，直到子图的归一化切割代价值低于预设分割阈值时终止，其中，n为任意正整数；在每个所述子图中，将广义物体置信度得分最高的待处理包围盒确定为未知物体的包围盒。

23、可选地，在所述第一识别模块用于根据所述包围盒和所述包围盒特征，通过预设广义物体置信度回归器进行检测处理，得到未知物体的包围盒之前，上述装置还包括：样本获取模块，用于获取图像样本；第一训练模块，用于将所述图像样本的包围盒特征和广义物体置信度输入至二阶段目标检测器，训练得到预设广义物体置信度回归器；第二训练模块，用于将所述图像样本的包围盒特征和类别概率输入至二阶段目标检测器，训练得到预设分类器；第三训练模块，用于将所述图像样本的包围盒特征和包围盒位移向量输入至二阶段目标检测器，训练得到述预设包围盒位移回归器。

24、可选地，在所述第三训练模块将所述图像样本的包围盒特征和包围盒位移向量输入至二阶段目标检测器，训练得到述预设包围盒位移回归器之后，上述装置还包括：优化模块，用于：通过负能量抑制对所述预设分类器进行优化处理，得到优化后分类器；和\或，对所述预设广义物体置信度回归器进行优化处理，得到优化后广义物体置信度回归器；和\或，对所述预设包围盒位移回归器进行优化处理，得到优化后包围盒位移回归器；

25、相应地，所述第一物体识别模块具体用于：根据所述包围盒和所述包围盒特征，通过优化后广义物体置信度回归器进行检测处理，得到未知物体的包围盒；所述第二物体识别模块具体用于：根据所述包围盒和所述包围盒特征，通过优化后分类器和优化后包围盒位移回归器进行检测处理，得到已知物体。

26、可选地，所述优化模块具体用于：通过负能量抑制，结合交叉熵损失函数和基于虚拟样本合成的不确定性度量损失函数对所述预设分类器进行训练处理，得到优化后分类器；和\或，通过预设回归损失函数对所述预设包围盒位移回归器进行训练处理，得到优化后包围盒位移回归器；和\或，设所述图像样本中包括k个实例，其中，所述k为任意正整数；为所述图像样本定义交预测比和交真值比两个指标，其中，所述交预测比和交真值比通过所述k个实例和所述图像样本中的包围盒样本计算得到；根据所述交预测比和所述交真值比，对所述图像样本中的包围盒样本进行分类处理，将包含同一对象实例的包围盒样本分配到同一组，得到k组包围盒样本，并将所述k组包围盒样本分为完整对象集合、局部对象集合、超界对象集合和非物体集合；根据第一预设广义物体置信度得分和所述完整对象集合，得到第一损失参数；根据第二预设广义物体置信度得分和所述局部对象集合，和\或，根据第二预设广义物体置信度得分和所述超界对象集合，得到第二损失参数；根据所述完整对象集合，通过对比学习，得到第三损失参数；根据所述第一损失参数、所述第二损失参数和所述第三损失参数对所述预设广义物体置信度回归器进行训练处理，得到优化后广义物体置信度回归器。

27、可选地，在所述第二物体识别模块根据所述包围盒和所述包围盒特征，通过预设分类器和预设包围盒位移回归器进行检测处理，得到已知物体之后，上述装置还包括：融合模块，用于将所述未知物体的包围盒和所述已知物体进行融合处理，得到物体集合。

28、第三方面，本技术提供一种图像处理设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的图像处理方法。

29、第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的图像处理方法。

30、第五方面，本发明提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上第一方面以及第一方面各种可能的设计所述的图像处理方法。

31、本技术提供的图像处理方法、装置、设备及存储介质，其中该方法针对需要进行物体识别的图像，首先提取图像中的包围盒和包围盒特征，通过预先构建的广义物体置信度回归器来检测未知物体的包围盒，从已知类别物体中学习泛化的物体特征，使用广义物体置信度回归器来充分捕捉未知物体，通过预先建立的分类器和包围盒位移回归器，可用于检测已知物体，实现了对未知物体和已知物体的准确检测，在保证对已知物体的检测能力基本不变的前提下，实现对未知物体有效检测，进一步地，通过负能量抑制减少非物体的误检测，并利用自适应的候选框筛选算法精确定位未知物体，提高了未知物体的检测精度。