一种基于多级联合判定OOD物体的方法、设备及介质与流程

本发明涉及ood检测，尤其涉及一种基于多级联合判定ood物体的方法、设备及介质。

背景技术：

1、在机场目前的自动化安检体系中，往往只能对已经被采集的目标进行有效检测，但是对于out-of-distribution(以下简称ood，分布外样本检测)的目标，存在着较大检测缺陷。为了弥补这一缺陷，制定和优化合理的ood检测算法，对于整个系统的稳定性来说，至关重要。

2、目前比较常用的ood检测方法大致分为以下四类：

3、1.softmax-based:这类方法利用pre-trained model(预训练模型)输出的最大softmax(softmax是一种数学函数,通常用于将一组任意实数转换为表示概率分布的实数)概率进行统计分析，统计发现ood样本和id样本softmax概率的分布情况，试图将二者的分布差距加大，然后选取合适的阈值来判断一个样本属于ood还是id。但由于本身sofmax存在的局限性，所以输出的得分可信度较低，并且在特征提取过程中，对图像细粒化特征损失较为严重，较为容易误检。

4、2.uncertainty:由于模型的概率输出并不能直接表示模型的置信度(confidence)。因此这类方法让模型学习一个对输入样本的不确定性属性。面对测试数据，如果模型输入为id样本，则不确定性低，相反，如果模型输入为ood样本，则不确定性高。这类方法需要修改模型的网络结构来学习不确定性属性。由于ood范围是较大的，所以本方法只能局限于需要检测的ood范围，不确定属性较为固定情况。

5、3.generative model(生成模型):这类方法主要利用variational autoencoder(变分自动编码器)的reconstruction error(重构误差)或者其他度量方式来判断一个样本是否属于id或ood样本。主要的假设是，autoencoder的隐含空间(latent space)能够学习出id数据的明显特征(silent vector)，而对于ood样本则不行，因此ood样本会产生较高的reconstruction error，这类方法只关注ood检测性能，不关注id数据本来的任务。这类方法大多还处于理论阶段，很不稳定，可信度较低。

6、4.classifier(分类器):这类方法比较直接，使用分类器对提取的特征进行分类来判断是否为ood样本。这类方法简单直接，也取得了不错的效果，有的方法修改网络结构为一个n+1类分类器，n为原本分类任务的类别数，第n+1类则是ood类；有的方法直接提取特征来进行分类，不需要修改网络的结构。当ood特征比较复杂，或者没被采集过的时候，此时检测精度较低。

7、但是这些算法都存在较大局限性，并且算法的精度和置信度存在较大浮动，本算法针对此类痛点，采用多级联合判定的方式，使得ood算法精度达到较高水平。

技术实现思路

1、有鉴于此，本发明的目的在于提出一种基于多级联合判定ood物体的方法，用于提高目标样本定位与匹配的精度和稳定性，解决传统的ood算法场景指标和可靠性及泛化性问题。

2、为了实现上述的技术目的，本发明所采用的技术方案为：

3、本发明提供了一种基于多级联合判定ood物体的方法，应用于机场行李运输过程中用于安放物体的装放筐的检测，包括如下步骤：

4、步骤1、获取机场行李运输过程中用于安放物体的装放筐所对应的装放筐图像，对装放筐图像进行矫正，使装放筐图像的形状和大小与装放筐实际形态保持一致；

5、步骤2、将矫正后的装放筐图像输入到目标检测层，获取装放筐图像的目标样本并判断该目标样本是否在采样目标集合内，若是，则说明装放筐内存在属于采样目标集合内的物体，对该装放筐进行拦截；否则判定为可能存在ood物体，进入步骤3；

6、步骤3、将可能存在ood物体的装放筐图像作为输入进入到第一分类层，所述第一分类层对输入的装放筐图像的方向进行粗过滤，若为标准方向，则进入步骤4，若为非标准方向，则进行方向矫正后，进入步骤4；

7、步骤4、将方向进行粗过滤后的装放筐图像作为输入进入到第二分类层的第一分类网络，所述第一分类网络将装放筐图像均匀分割为n*m等分作为n*m个位置图片，n和m为任意正整数；并绑定每个位置图片的位置信息；

8、步骤5、根据所述位置信息作为索引，将每个位置图片分别输入到第二分类层的第二分类网络，得到置信度；根据每个位置图片的置信度与预设的置信度阈值判断是否存在ood物体，若存在，则返回存在，若不存在，则返回不存在；

9、步骤6、对n*m个位置图片进行权重累计，得到总权重值；并根据所述总权重值与预设的权重阈值判断是否存在ood物体，若是，则对该装放筐进行拦截；否则对该装放筐进行放行。

10、进一步的，所述步骤1具体包括：

11、步骤11、获取机场行李运输过程中用于安放物体的装放筐所对应的装放筐图像，将装放筐图像转为灰度图，并进行边缘检测；

12、步骤12、对边缘检测后的装放筐图像做形态学操作后，找到最大轮廓；

13、步骤13、对最大轮廓做最小外接四边形，得到旋转的角度；

14、步骤14、根据旋转的角度和需要矫正的区域得到h矩阵；

15、步骤15、通过h矩阵对装放筐图像做仿射变换进行校正，使装放筐图像的形状和大小与装放筐实际形态保持一致。

16、进一步的，所述步骤2中将矫正后的装放筐图像输入到目标检测层，获取装放筐图像的目标样本并判断该目标样本是否在采样目标集合内，具体包括：

17、步骤21、所述目标检测层包括backbone特征提取模块、neck特征融合模块和head检测模块；

18、步骤22、将矫正后的装放筐图像输入到目标检测层，经过所述backbone特征提取模块中的sppf模块、多个cbs模块和多个csp1模块对装放筐图像进行特征提取，生成不同层次的特征作为目标样本；

19、步骤23、将生成的多个特征输入所述neck特征融合模块，经过所述neck特征融合模块中的多个cbs模块、upsample模块、concat模块和csp2模块这四个不同尺度的检测层对特征进行融合，实现语义信息从深层特征到浅层特征的传递以及定位信息从浅层特征层到深层特征层的传递，分别得到具有多个特征信息的多个特征矩阵；

20、步骤24、将多个特征矩阵输入所述head检测模块，经过多个detect检测器分别对多个增强特征进行检测，得到目标样本对应的各个类别、类别置信度及回归框的位置坐标，根据位置坐标将回归框所属类别置信度最高的类别，通过类别阈值过滤和非极大值抑制处理，若有输出检测结果，则说明目标样本在采样目标集合内；若没有输出检测结果，则判断目标样本不在采样目标集合内。

21、进一步的，所述步骤3具体包括：

22、步骤31、将可能存在ood物体的装放筐图像输入第一分类层，经过多个cbs模块、多个csp1模块和classify模块对装放筐图像的方向进行分类，并输出图像方向的分类结果；

23、步骤32、根据该分类结果判断装放筐图像的方向是否为标准方向，若是，则无需处理，直接进入步骤4；否则将方向矫正为标准方向后，进入步骤4。

24、进一步的，所述步骤4中所述第一分类网络将装放筐图像均匀分割为n*m等分作为n*m个位置图片，具体为：

25、采用所述n和m的数值为3，则所述第一分类网络将装放筐图像均匀分割为9等分作为9个位置图片。

26、进一步的，所述步骤4中绑定每个位置图片的位置信息，具体包括：

27、步骤41、初始化位置信息，分别编号为1-n*m；

28、步骤42、按照从左到右，从上到下的顺序分别把编号为1-n*m的位置信息绑定给n*m个位置图片。

29、进一步的，所述步骤5中根据每个位置图片的置信度与预设的置信度阈值判断是否存在ood物体，具有包括：

30、步骤51、将每个位置图片的置信度分别与预设的置信度阈值进行对比；

31、步骤52、若所有位置图片中存在至少一个位置图片的置信度大于置信度阈值，则判定为存在ood物体；若所有位置图片的置信度均不大于置信度阈值，则判定为不存在ood物体。

32、进一步的，所述步骤6具体包括：

33、步骤61、对n*m个位置图片的置信度得分进行归一化，得到每个位置图片的得分比例；

34、步骤62、每个位置图片按照得分比例分配权重，进行累加，得到总权重值；

35、步骤63、对比所述总权重值与预设的权重阈值，若所述总权重值大于权重阈值，则判定为存在ood物体，最终判定该装放筐不为空筐，即装放筐内有属于采样目标集合外的物体，发送对应信号给后台，后台对该装放筐进行拦截处理；若所述总权重值不大于权重阈值，则判定为不存在ood物体，最终判定该装放筐为空筐，发送对应信号给后台，后台对该装放筐进行放行处理。

36、本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的一种基于多级联合判定ood物体的方法。

37、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的一种基于多级联合判定ood物体的方法。

38、采用上述的技术方案，本发明与现有技术相比，其具有的有益效果为：

39、1、本方法采用第一分类层和第二分类层，将输入图像一分为n*m(n和m为任意正整数，n和m表示两个不同的取值范围，n和m的具体数值可以相同，也可以不同；例如：n＝2，m＝3，则n*m＝6；n＝3，m＝3，则n*m＝9)，使得网络每次输入经过均匀大小分割之后，可以保留较多的特征信息。并且使用n*m份输出的结果进行综合判定，提高了最终结果的可信度。

40、2、本方法是局限于需要检测的ood范围，不确定属性较为固定的情况。本方法采用多级联合判定，在第一阶段的目标检测层里面，就已经概括了大多的已知物体，再在之后的第一分类层和第二分类层，进一步细化，使得结果较为可靠。

41、3、本方法采用检测与分类的联合判定，提高了任务的准确性与稳定性，并且通过产线实操，确认其具有较高的可操作性。

42、4、本方法首先是通过一个目标检测层，对于已经采集的物体进行一个初步过滤；同时对于没有经过采集的物体，第一分类层将输入图像分为n*m份，增强了细粒度特征的提取能力，使得结果更加可信。