目标检测方法、装置和服务器与流程

本说明书属于图像处理，尤其涉及目标检测方法、装置和服务器。

背景技术：

1、在许多应用场景中(例如，交通道路监管场景、小区安保场景、油田施工场景等)，常常需要利用相应的检测模型对监控采集到的图像进行目标检测，以确定是否存在相应的安全性风险。

2、但是，基于现有方法，大多需要先耗费大量的标注成本得到大量的全标注样本，再利用上述全标注样本来训练得到相对应的检测模型，进而可以利用上述检测模型对图像进行具体的目标检测。上述方法具体实施时，往往存在模型训练耗时长，训练成本高，进而影响整体的处理成本和处理效率的技术问题。

3、针对上述问题，目前尚未提出有效的解决方案。

技术实现思路

1、本说明书提供了目标检测方法、装置和服务器，能够以相对较低的处理成本，高效、精准地实现针对图像数据的目标检测。

2、本说明书提供了一种目标检测方法，包括：

3、获取目标图像；

4、利用目标检测模型处理所述目标图像，得到对应的目标处理结果；其中，所述目标检测模型为预先根据基于点标注的弱半监督学习规则利用点标注样本图像、全标注样本图像，以及样本改造模型，通过弱半监督学习训练得到的；所述样本改造模型至少包括：点扩增模块；

5、根据目标处理结果，确定目标图像中是否存在目标对象；以及在确定目标图像中存在目标对象的情况下，确定出目标图像中的目标对象的位置信息和对象类型。

6、在一个实施例中，在获取目标图像之前，所述方法还包括：

7、根据基于点标注的弱半监督学习规则，获取点标注样本图像和全标注样本图像；其中，点标注样本图像的数量大于全标注样本图像的数量；所述全标注样本图像至少包含有一个用于框选出样本对象的标注框，以及该标注框所携带的针对样本对象的类型标签；所述点标注样本图像至少包含有一个用于指示样本对象的标注点，以及该标注点所携带的针对样本对象的类型标签；

8、利用样本改造模型处理所述点标注样本图像，得到携带有伪标注框的处理后的点标注样本图像；

9、组合所述全标注样本图像和处理后的点标注样本图像，得到训练样本集；

10、利用所述训练样本集训练初始检测模型，得到符合要求的目标检测模型。

11、在一个实施例中，所述样本改造模型还包括：特征提取网络、transformer模块、点编码器、预测头模块；

12、其中，所述特征提取网络与所述transformer模块相连；所述点扩增模块还与点编码器相连；所述点编码器还与所述transformer模块相连；所述transformer模块还与所述预测头模块相连；

13、所述预测头模块用于基于transformer模块输出的中间结果数据，在输入样本改造模型的点标注样本图像中确定并标注出用于框选样本对象的伪标注框，以输出相对应的携带有伪标注框的处理后的点标注样本图像。

14、在一个实施例中，所述特征提取网络用于对输入样本改造模型的点标注样本图像进行特征提取，得到对应的样本特征图；并将所述样本特征图发送至transformer模块；

15、所述点扩增模块用于接收特征提取网路输出的点标注样本图像的高维特征；并在所述点标注样本图像的高维特征中，通过双线性插值采样，获取标注点处的高维特征信息；根据标注点处的高维特征信息，通过位置偏移预测，确定出与标注点关联的且位于四个不同方向上的四个辅助点；并将所述标注点所携带的类型标签分别设置于所述四个辅助点上，得到扩增后的伪标注点。

16、在一个实施例中，所述点编码器包括：改进的点编码器；其中，所述改进的点编码器至少包括：绝对位置分支处理结构、相对位置分支处理结构、类别索引分支处理结构、语义对齐分支处理结构；

17、所述点编码器用于通过处理点标注样本图像中的标注点，以及扩增后的伪标注点，得到并输出相对应的联合编码。

18、在一个实施例中，所述点编码器按照以下方式通过处理点标注样本图像中的标注点，以及扩增后的伪标注点，得到并输出相对应的联合编码：

19、通过绝对位置分支处理结构，根据标注点的位置坐标，以及扩增后的伪标注点的位置坐标，分别进行预设的编码处理，得到对应的绝对位置编码；

20、通过相对位置分支处理结构，根据标注点的位置坐标，以及扩增后的伪标注点的位置坐标，确定并根据标注点，以及扩增后的伪标注点相对该点标注样本图像的上边界、下边界、左边界、右边界的偏移距离，生成对应的相对位置向量；将所述相对位置向量转换为对应的相对比值数据；对所述相对比值数据进行预设的编码处理，得到对应的相对位置编码；

21、通过类别索引分支处理结构，处理所述标注点的类型标签，以及扩增后的伪标注点的类型标签，得到对应的类别索引编码；

22、通过语义对齐分支处理结构，对所获取的标注点的高维特征，以及扩增后的伪标注点的高维特征分别进行线性映射，得到对应的图像语义特征编码；其中，所述图像语义特征编码、绝对位置编码、相对位置编码，以及类别索引编码维度相同；

23、组合使用所述绝对位置编码、相对位置编码、类别索引编码，以及图像语义特征编码，得到对应的联合编码。

24、在一个实施例中，组合使用所述绝对位置编码、相对位置编码、类别索引编码，以及图像语义特征编码，得到对应的联合编码，包括：

25、使用所述绝对位置编码、相对位置编码和类别索引编码进行加法运算，得到中间编码；

26、使用所述中间编码和特征编码进行乘法运算，得到所述联合编码。

27、在一个实施例中，所述transformer模块，包括：transformer编码器和transformer解码器；其中，所述transformer编码器分别与所述特征提取网络和transformer解码器相连；所述transformer解码器还与点编码器和预测头模块相连；

28、所述transformer模块用于根据输入的样本特征图、位置编码，以及联合编码生成并输出对应的中间结果数据。

29、在一个实施例中，所述transformer模块按照以方式根据输入的样本特征图、位置编码，以及联合编码生成并输出对应的中间结果数据：

30、通过transformer编码器处理所述样本特征图和所述位置编码的组合，生成对应的嵌入数据；并将所述嵌入数据发送至transformer解码器；

31、通过transformer解码器获取相匹配的注意力掩码；

32、通过transformer解码器利用所述联合编码生成对应的对象查询数据；并利用所述注意力掩码、对象查询数据和嵌入数据，生成并输出对应的中间结果数据。

33、在一个实施例中，所述transformer解码器包括：解码层；其中，所述解码层包含有：自注意力层、交叉注意力层，以及前馈神经网络层；

34、所述自注意力层用于利用注意力掩码处理所述对象查询数据，以强化指示同一样本对象的对象查询数据之间的交互；

35、所述交叉注意力层用于利用嵌入数据，对自注意力层输出的处理后的对象查询数据进行细化处理，以得到细化后的对象查询数据；

36、所述前馈神经网络层用于根据细化后的对象查询数据，在点标注样本图像中进行关于包含有样本对象的边界框的预测，得到对应的中间结果数据。

37、在一个实施例中，所述样本改造模型还连接有匹配损失模块；其中，所述匹配损失模块配置有匹配损失函数和去噪损失函数。

38、在一个实施例中，通过transformer解码器利用所述联合编码生成对应的对象查询数据，包括：

39、获取基于类型标签的噪声数据；

40、根据所述对象查询数据，生成对应的匹配数据；

41、组合所述噪声数据和所述匹配数据，得到所述对象查询数据；

42、相应的，相匹配的注意力掩码包括：与所述噪声数据对应的去噪掩码区，以及与匹配数据对应的匹配掩码区。

43、在一个实施例中，所述样本改造模型按照以下方式训练得到：

44、根据基于点标注的弱半监督学习规则，获取并利用全标注样本图像，生成第一样本数据；

45、构建初始的改造模型；其中，所述初始的改造模型至少包括初始的点扩增模块；

46、利用所述第一样本数据，训练所述初始的改造模型，得到符合要求的样本改造模型。

47、本说明书还提供了一种目标检测装置，包括：

48、获取模块，用于获取目标图像；

49、处理模块，用于利用目标检测模型处理所述目标图像，得到对应的目标处理结果；其中，所述目标检测模型为预先根据基于点标注的弱半监督学习规则利用点标注样本图像、全标注样本图像，以及样本改造模型，通过弱半监督学习训练得到的；所述样本改造模型至少包括：点扩增模块；

50、确定模块，用于根据目标处理结果，确定目标图像中是否存在目标对象；以及在确定目标图像中存在目标对象的情况下，确定出目标图像中的目标对象的位置信息和对象类型。

51、本说明书还提供了一种服务器，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现所述目标检测方法的相关步骤。

52、基于本说明书提供的目标检测方法、装置和服务器，具体实施前，可以根据基于点标注的弱半监督学习规则利用大量点标注样本图像、少量全标注样本图像，以及至少包括点扩增模块的样本改造模型，通过弱半监督学习，以较低成本训练得到的精度较高、效果较好的目标检测模型；具体实施时，可以通过利用上述目标检测模型处理目标图像，准确地确定出目标图像中是否存在目标对象；并在确定目标图像中存在目标对象的情况下，进一步确定出目标图像中目标对象的位置信息和对象类型。通过根据基于点标注的弱半监督学习规则，采用至少包括点扩增模块的样本改造模型进行弱半监督学习，只需要获取和使用较小数量的全标注样本图像，主要依赖和使用标注成本较低的点标注样本图像，就能快速地训练得到精度较高、效果较好的目标检测模型，从而能够有效地降低整体的处理成本；并且，能够利用基于上述方式训练得到的目标检测模型高效、精准地实现针对图像数据的目标检测。