一种物品检测方法、装置、设备及存储介质与流程

本技术涉及计算机视觉，尤其涉及一种物品检测方法、装置、设备及存储介质。

背景技术：

1、实际场景中，针对特殊场合，如海关安检、进站安检等，常常需要对旅客的随身物品进行安全检查。旋转目标检测模型常常用于上述需要进行安全检查的场景中。基于该旋转目标检测模型，对包含多个物品的图像进行目标检测，从而得到每个物品对应的图像，进而完成对每个物品的分析、识别等。

2、然而，目前的旋转目标检测模型通常仅能检测出完整显示在图像中的物品。但在实际场景中，往往会因部分物品的摆放等原因，导致被检测的图像中包含未完整显示的物品，这样，在采用目前的旋转目标检测模型进行物品检测时，模型通常不对未完整显示在图像中的物品进行目标检测，从而造成了信息丢失，进而导致实际使用中模型存在着检测准确率低下问题。

技术实现思路

1、本技术实施例提供一种物品检测方法、装置、设备及存储介质，用以提高旋转目标检测模型的检测准确率。

2、本技术实施例提供的具体技术方案如下：

3、第一方面，本技术实施例提供一种物品检测方法，包括：

4、拍摄视野区域内的多个待测物品，得到原始图像；

5、将所述原始图像输入预设的旋转目标检测模型，得到各待测物品对应的检测区域定位信息，其中，所述旋转目标检测模型是基于多个样本图像以及样本图像内各样本物品的检测区域标注信息，对待训练的旋转目标检测模型进行训练得到的，所述各样本物品中包括至少一个部分外轮廓位于对应样本图像的拍摄视野区域外的物品；

6、若基于所述各待测物品对应的检测区域定位信息，确定所述原始图像中存在部分外轮廓位于所述视野区域外的待测物品，则对所述原始图像进行像素填充，得到目标图像，并从所述目标图像中分割出所述各待测物品的图像。

7、采用本技术实施例提供的一种物品检测方法，通过对待训练的旋转目标检测模型进行训练，可以使得训练完毕的旋转目标检测模型顺利检测出原始图像中包含的，部分外轮廓位于拍摄视野区域外的待测物品，从而对待测物品对应的原始图像进行像素填充，得到目标图像，这样，便可以采用传统图像分割方式，顺利从目标图像中分割出上述各待测物品的图像，降低了信息丢失概率，提高了模型实际使用中的检测准确率，为后续基于各待测物品的图像进行安全分析、识别等做准备。

8、在一种可能的实现方式中，任一待测物品的检测区域定位信息包括所述任一待测物品的预测旋转检测框对应的多个坐标信息；

9、通过如下方式确定所述原始图像中存在部分外轮廓位于所述视野区域外的待测物品：

10、从所述各待测物品对应的检测区域定位信息中，选取出横坐标最大值和横坐标最小值，以及纵坐标最大值和纵坐标最小值；

11、若所述横坐标最大值、所述横坐标最小值、所述纵坐标最大值和所述纵坐标最小值中至少一个参考值满足预设条件，则确定所述原始图像中存在部分外轮廓位于所述视野区域外的待测物品，其中，所述预设条件包括：

12、横坐标最小值小于第一预设值；

13、横坐标最大值大于所述原始图像的宽度；

14、纵坐标最小值小于第二预设值；

15、纵坐标最大值大于所述原始图像的高度。

16、上述方法，通过设置预设条件，可以基于旋转目标检测模型输出的各待测物品的检测区域定位信息，确定出各待测物品中是否存在部分外轮廓位于视野区域外的待测物品，从而决定下一步计算机视觉处理的流程：直接调用传统图像分割方式从原始图像中分割出各待测物品的图像，还是先对原始图像进行像素填充，得到目标图像，再调用传统图像分割方式从目标图像中分割出各待测物品的图像。

17、在一种可能的实现方式中，所述对所述原始图像进行像素填充之前，还包括：

18、基于参考值的属性与填充规则之间的对应关系，确定满足所述预设条件的参考值的属性对应的填充规则；

19、基于所述参考值和所述填充规则，确定填充区域及填充像素个数；

20、所述对所述原始图像进行像素填充，得到目标图像，包括：

21、采用预设像素值，在所述原始图像外的所述填充区域内，填充所述填充像素个数的像素，得到所述目标图像。

22、上述方法，在确定各待测物品中存在部分外轮廓位于视野区域外的待测物品后，确定具体填充区域及填充像素个数，为后续进行像素填充起到指导作用；然后，采用预设像素值进行填充，以保证后续进行图像分割时，可以从目标图像中顺利分割出部分外轮廓位于视野区域外的待测物品的图像。

23、在一种可能的实现方式中，所述得到目标图像之后，所述从所述目标图像中分割出所述各待测物品的图像之前，还包括：

24、针对所述各待测物品中的任一待测物品，基于所述目标图像的预设角的坐标信息，对所述任一待测物品在所述原始图像中的检测区域定位信息进行调整，得到所述任一待测物品在所述目标图像中的目标检测区域定位信息；

25、所述从所述目标图像中分割出所述各待测物品的图像，包括：

26、针对所述各待测物品中的任一待测物品，基于所述任一待测物品在所述目标图像中的目标检测区域定位信息，从所述目标图像中分割出所述任一待测物品的图像。

27、在一种可能的实现方式中，在对所述待训练的旋转目标检测模型进行训练之前，还包括：

28、确定每个样本物品的检测区域标注信息包括的坐标信息的个数是否大于第一数量，其中，所述第一数量是所述待训练的旋转目标检测模型输出的，针对任一样本物品的检测区域定位信息包括的旋转检测框的坐标信息的个数；

29、若目标样本物品的检测区域标注信息包括的坐标信息的个数大于第一数量，则从所述目标样本物品的检测区域标注信息包括的各坐标信息中，筛选出至少两个备选坐标信息，其中，所述备选坐标信息是所述目标样本物品的旋转检测框，与包含所述目标样本物品的目标样本图像的图像边缘线的交点对应的坐标信息；

30、基于所述至少两个备选坐标信息，确定所述目标样本物品位于所述目标样本图像的拍摄视野区域外的所述旋转检测框对应的目标坐标信息，并用所述目标坐标信息替换所述至少两个备选坐标信息。

31、上述方法，通过采用多于第一数量的标注方式对目标样本物品进行标注，可以最大限度精准地框定该类物品的区域，在对待训练的旋转目标检测模型进行训练前，对样本物品的检测区域标注信息包括的坐标信息的个数进行统一，可以使得待训练的旋转目标检测模型学习到目标样本物品的特征，从而使得训练完毕的旋转目标检测模型在模型使用阶段，可以顺利地检测出原始图像中部分外轮廓位于原始图像的视野区域外的待测物品，从而降低信息丢失概率，提高了模型实际使用中的检测准确率。

32、在一种可能的实现方式中，所述基于所述至少两个备选坐标信息，确定所述目标样本物品位于所述目标样本图像的拍摄视野区域外的所述旋转检测框对应的目标坐标信息，包括：

33、针对所述至少两个备选坐标信息中的任一备选坐标信息，基于所述任一备选坐标信息，从所述各坐标信息中选取出参考坐标信息，其中，所述参考坐标信息与所述任一备选坐标信息对应的点的编号相邻，且不包括所述至少两个备选坐标信息中的其他备选坐标信息；

34、基于所述至少两个备选坐标信息，以及所述至少两个备选坐标信息对应的参考坐标信息，确定所述目标样本物品位于所述拍摄视野区域外的所述旋转检测框对应的目标坐标信息。

35、在一种可能的实现方式中，所述从所述目标样本物品的检测区域标注信息包括的各坐标信息中，筛选出至少两个备选坐标信息，包括：

36、基于预设的扩展编号集，对所述各坐标信息进行多轮筛选，直至所述扩展编号集中的所有编号均选取为止，得到所述至少两个备选坐标信息，其中，一轮筛选过程为：

37、将上一轮选取的第二数量个坐标信息对应的点的编号中，预设排序信息对应的编号作为本轮选取的首个编号，其中，所述第二数量个坐标信息对应的各点的编号连续；

38、基于所述扩展编号集和所述首个编号，确定本轮选取的所述第二数量个的编号，并基于所述本轮选取的所述第二数量个的编号，从所述各坐标信息中，选取出本轮筛选对应的所述第二数量个坐标信息；

39、若基于所述第二数量个坐标信息对应的各点，确定所述各点组成的各夹角中目标夹角的夹角值大于夹角阈值，且所述目标夹角的顶点的坐标信息不是已确定的备选坐标信息，则将所述目标夹角的顶点的坐标信息确定为所述备选坐标信息。

40、第二方面，本技术实施例提供一种物品检测装置，包括：

41、拍摄模块，用于拍摄视野区域内的多个待测物品，得到原始图像；

42、目标检测模块，用于将所述原始图像输入预设的旋转目标检测模型，得到各待测物品对应的检测区域定位信息，其中，所述旋转目标检测模型是基于多个样本图像以及样本图像内各样本物品的检测区域标注信息，对待训练的旋转目标检测模型进行训练得到的，所述各样本物品中包括至少一个部分外轮廓位于对应样本图像的拍摄视野区域外的物品；

43、像素填充模块，用于若基于所述各待测物品对应的检测区域定位信息，确定所述原始图像中存在部分外轮廓位于所述视野区域外的待测物品，则对所述原始图像进行像素填充，得到目标图像，并从所述目标图像中分割出所述各待测物品的图像。

44、在一种可能的实现方式中，任一待测物品的检测区域定位信息包括所述任一待测物品的预测旋转检测框对应的多个坐标信息；

45、所述像素填充模块具体用于，通过如下方式确定所述原始图像中存在部分外轮廓位于所述视野区域外的待测物品：

46、从所述各待测物品对应的检测区域定位信息中，选取出横坐标最大值和横坐标最小值，以及纵坐标最大值和纵坐标最小值；

47、若所述横坐标最大值、所述横坐标最小值、所述纵坐标最大值和所述纵坐标最小值中至少一个参考值满足预设条件，则确定所述原始图像中存在部分外轮廓位于所述视野区域外的待测物品，其中，所述预设条件包括：

48、横坐标最小值小于第一预设值；

49、横坐标最大值大于所述原始图像的宽度；

50、纵坐标最小值小于第二预设值；

51、纵坐标最大值大于所述原始图像的高度。

52、在一种可能的实现方式中，所述对所述原始图像进行像素填充之前，所述像素填充模块还用于：

53、基于参考值的属性与填充规则之间的对应关系，确定满足所述预设条件的参考值的属性对应的填充规则；

54、基于所述参考值和所述填充规则，确定填充区域及填充像素个数；

55、所述像素填充模块具体用于：

56、采用预设像素值，在所述原始图像外的所述填充区域内，填充所述填充像素个数的像素，得到所述目标图像。

57、在一种可能的实现方式中，所述得到目标图像之后，所述从所述目标图像中分割出所述各待测物品的图像之前，所述像素填充模块还用于：

58、针对所述各待测物品中的任一待测物品，基于所述目标图像的预设角的坐标信息，对所述任一待测物品在所述原始图像中的检测区域定位信息进行调整，得到所述任一待测物品在所述目标图像中的目标检测区域定位信息；

59、所述像素填充模块具体用于：

60、针对所述各待测物品中的任一待测物品，基于所述任一待测物品在所述目标图像中的目标检测区域定位信息，从所述目标图像中分割出所述任一待测物品的图像。

61、在一种可能的实现方式中，在对所述待训练的旋转目标检测模型进行训练之前，所述目标检测模块还用于：

62、确定每个样本物品的检测区域标注信息包括的坐标信息的个数是否大于第一数量，其中，所述第一数量是所述待训练的旋转目标检测模型输出的，针对任一样本物品的检测区域定位信息包括的旋转检测框的坐标信息的个数；

63、若目标样本物品的检测区域标注信息包括的坐标信息的个数大于第一数量，则从所述目标样本物品的检测区域标注信息包括的各坐标信息中，筛选出至少两个备选坐标信息，其中，所述备选坐标信息是所述目标样本物品的旋转检测框，与包含所述目标样本物品的目标样本图像的图像边缘线的交点对应的坐标信息；

64、基于所述至少两个备选坐标信息，确定所述目标样本物品位于所述目标样本图像的拍摄视野区域外的所述旋转检测框对应的目标坐标信息，并用所述目标坐标信息替换所述至少两个备选坐标信息。

65、在一种可能的实现方式中，所述目标检测模块具体用于：

66、针对所述至少两个备选坐标信息中的任一备选坐标信息，基于所述任一备选坐标信息，从所述各坐标信息中选取出参考坐标信息，其中，所述参考坐标信息与所述任一备选坐标信息对应的点的编号相邻，且不包括所述至少两个备选坐标信息中的其他备选坐标信息；

67、基于所述至少两个备选坐标信息，以及所述至少两个备选坐标信息对应的参考坐标信息，确定所述目标样本物品位于所述拍摄视野区域外的所述旋转检测框对应的目标坐标信息。

68、在一种可能的实现方式中，所述目标检测模块具体用于：

69、基于预设的扩展编号集，对所述各坐标信息进行多轮筛选，直至所述扩展编号集中的所有编号均选取为止，得到所述至少两个备选坐标信息，其中，一轮筛选过程为：

70、将上一轮选取的第二数量个坐标信息对应的点的编号中，预设排序信息对应的编号作为本轮选取的首个编号，其中，所述第二数量个坐标信息对应的各点的编号连续；

71、基于所述扩展编号集和所述首个编号，确定本轮选取的所述第二数量个的编号，并基于所述本轮选取的所述第二数量个的编号，从所述各坐标信息中，选取出本轮筛选对应的所述第二数量个坐标信息；

72、若基于所述第二数量个坐标信息对应的各点，确定所述各点组成的各夹角中目标夹角的夹角值大于夹角阈值，且所述目标夹角的顶点的坐标信息不是已确定的备选坐标信息，则将所述目标夹角的顶点的坐标信息确定为所述备选坐标信息。

73、第三方面，本技术实施例提供一种电子设备，包括：

74、存储器，用于存储计算机程序或指令；

75、处理器，用于执行所述存储器中的计算机程序或指令，使得如上述第一方面中任一项的方法被执行。

76、第四方面，本技术实施例提供一种计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得所述处理器能够执行上述第一方面中任一项所述的方法。

77、另外，第二方面至第四方面中任意一种实现方式所带来的技术效果可参见第一方面中不同实现方式所带来的技术效果，此处不再赘述。