一种开放条件下分布内外图像识别方法与流程

本发明涉及图像识别，更确切地说，它涉及一种开放条件下分布内外图像识别方法。

背景技术：

1、随着计算机视觉的快速发展，图像识别的应用场景增多、需求变广，封闭条件下在有限数据集上训练模型进行图像识别不满足实际应用需求。在开放条件下，模型训练数据集有限，在图像识别任务中可能会遇到未见过的类型，将其识别为数据库中的类型，可能对系统造成潜在威胁。通常将数据库中存储的图像种类称为分布内类型，将实际任务中出现的异常图像种类称为分布外类型。开放条件下的分布内外图像识别要求对分布内图像类型进行准确分类，同时要识别出分布外异常图像。此任务涉及多种领域，如自动驾驶中识别异常道路状况、工业图像识别中检测故障器件、视频监控中异常行为检测等。

2、现有的分布内图像识别技术已经比较成熟，采用神经网络进行分类有较高的分类精度。而分布外异常识别研究相对落后，主流方法包括：odin、马氏距离方法、最大置信度方法、能量函数方法等。然而，如odin和马氏距离方法这类需要新的神经网络重新训练，会产生额外的设备开销和时间损耗，或者对分布内分类网络有较大改动，影响分布内分类精度。而简单的分布外检测器，如最大置信度、能量函数等方法，仅仅利用神经网络得到的置信度或逻辑向量进行判断，会因模型对异常类型产生高置信度而对系统产生威胁。

技术实现思路

1、本发明的目的是针对现有技术的不足，提出了一种开放条件下分布内外图像识别方法。

2、第一方面，提供了一种开放条件下分布内外图像识别方法，包括：

3、s1、进行神经网络训练；

4、s1包括：

5、s101、图像数据采集，构建训练数据集，并进行原始图像预处理；

6、s102、神经网络特征提取；

7、s103、计算交叉熵损失；

8、s104、模型更新；

9、s2、图像类型推理；

10、s2包括：

11、s201、模型特征提取；

12、s202、置信度判断；

13、s203、计算能量得分、相似度得分和异常分数；

14、s204、根据异常分数进行异常类型判断；

15、s205、输出识别结果。

16、作为优选，s102中，采用convnet-tiny神经网络框架作为基础的特征提取器，并将神经网络得到的高维特征进行降维。

17、作为优选，s103中，交叉熵损失的计算公式为：

18、

19、其中，n为图像训练集数量，c为类别数量，yic是样本xi的标签编码yi＝{yi1,yi2,...,yic}，当属于第c类时，yic为1否则为0，pic是样本xi属于类别c的概率。

20、作为优选，s104中，前向传播完成后，采用梯度下降的方式对模型反向传播，更新模型的网络参数。经过多轮次的模型参数更新，训练完成后，将模型的参数权重进行保存，并将分布内数据集训练过程中得到的特征进行保存，用来识别新输入的图像。

21、作为优选，s201中，特征提取表示为：

22、znew＝z(xnew)

23、lnew＝l1(znew)

24、gnew＝l2(relu(lnew))

25、fnew＝l3(gnew)

26、pnew＝softmax(fnew)

27、其中，xnew为新输入的图像，znew为神经网络编码器z输出的高维特征向量，lnew为第一层线性层l1输出，gnew为第二层线性层l2输出，fnew是分类线性层l3的逻辑向量，pnew＝{pnew1,pnew2,...,pnewc}为softmax激活函数输出的置信度向量。

28、作为优选，s202中，根据最大置信度进行初步判断，当最大置信度小于阈值τ时，即识别为异常类型图像，将该输入图像xnew标记为“unknown”；当置信度高于阈值τ时，即pm≥τ时，由于模型会对未知图像产生高置信度，计算得分函数来判断。

29、作为优选，s203包括：

30、s2031、计算能量得分，根据逻辑向量计算能量得分函数：

31、

32、s2032、计算相似度得分，根据神经网络得到不同维度的特征向量z,l,g，与训练集的特征向量进行余弦相似度计算，并根据得到的相似度进行加强求和；

33、

34、

35、scoresim＝λ1simmax(ztest,{zm})+λ2simmax(ltest,{lm})+λ3simmax(gtest,{gm})

36、其中，scoresim是相似度得分函数，是输入图像xnew经过神经网络得到znew,lnew,gnew与分布内数据集余弦相似度最大值的加权和，λ1,λ2,λ3为权重；

37、s2033、计算异常分数，表示为：

38、score＝μ1scoreenergy+μ2scoresim

39、其中，μ1，μ2为得分权重。

40、作为优选，s204中，当设置阈值为ρ，score<ρ时，说明输入图像与训练集分布内图像分布差异较大，新输入的图像为未知类型；当score≥ρ时，说明新输入的图像是数据库中已有类型，根据最大置信度说明新输入的图像属于第m种类型。

41、第二方面，提供了一种开放条件下分布内外图像识别系统，用于执行第一方面任一所述的开放条件下分布内外图像识别方法，包括：

42、训练模块，用于进行神经网络训练；

43、训练模块包括：

44、采集单元，用于图像数据采集，构建训练数据集，并进行原始图像预处理；

45、提取单元，用于神经网络特征提取；

46、第一计算单元，用于计算交叉熵损失；

47、更新单元，用于模型更新；

48、推理模块，用于图像类型推理；

49、推理模块包括：

50、提取单元，用于模型特征提取；

51、判断单元，用于置信度判断；

52、第二计算单元，用于计算能量得分、相似度得分和异常分数；

53、判断单元，用于根据异常分数进行异常类型判断；

54、输出单元，用于输出识别结果。

55、第三方面，提供了一种计算机存储介质，所述计算机存储介质内存储有计算机程序；所述计算机程序在计算机上运行时，使得计算机执行权利要求1至8任一所述的开放条件下分布内外图像识别方法。

56、本发明的有益效果是：本发明在神经网络训练阶段，在保证分布内图像分类精度的前提下，通过添加线性层来降低特征维度，保存训练集的特征向量用于分布外异常检测。当识别新输入的图像时，利用训练完成的神经网络模型进行推理得到输入图像的特征向量，计算本发明设计的分布外得分函数，从而判断是否为分布外异常类型。本发明设计的分布外异常检测器通过得分函数进行判断，不需要额外的神经网络，因此更加方便且可移植性更强。此外，分布外得分函数综合考虑了分布内分类模型输出的逻辑向量的分布特点和与分布内数据集的相似度差异，提高了对分布外异常类型的识别精度。