一种训练样本被少量标记的违规图像检测方法

本发明涉及人工智能、违规数据检测技术，具体是一种训练样本被少量标记的违规图像检测方法。

背景技术：

1、传统的违规图像检测算法需要手动提取特征，对于复杂的高维数据处理能力较弱，缺乏泛化能力，因此在精度和鲁棒性方面存在局限性。此外，目前国内外对于违规数据认定的相关研究通常针对单一类型的违规数据，例如成人图像、枪支图像或暴力图像等，旨在从大量待检测的样本中检测出这些特定类型的违规图像。

2、传统的机器学习方法通常需要手动提取肤色和纹理特征或者使用手工特征模式识别方法来检测成人图像。虽然grega等人提出了一种自动检测和识别闭路电视系统中危险情况的算法，但最终商用的算法是一个感知支持系统，因为自动系统无法评估整体状况，无法准确评估当前环境中潜在危险的严重程度。déniz等人结合心理学研究成果，提出了一种新的暴力行为检测算法，使用连续帧来估计极端加速度，并使用极端加速度作为主要检测特征。

技术实现思路

1、本发明的目的是针对现有技术的不足，而提供一种训练样本仅需少量标记的违规图像检测方法。这种方法能识别鉴定多种类型的违规图像、数据处理能力强，泛化能强，精度和鲁棒性高。

2、实现本发明目的的技术方案是：

3、一种训练样本被少量标记的违规图像检测方法，包括如下步骤：

4、1)模型结构设计和训练：采用三个结构不同的分类器设计组成集成学习模型，采用有标记图像进行训练，三个分类器分中分类器h(1)与h(2)采用传统卷积层构成，分类器h(3)采用残差结构，残差结构带来了集成学习系统内模型之间的结构差异，也使得分类器h(3)具有更优的性能，这个特性将在后续联合决策中被使用到，通过结构上的不同，创造了三个分类器在进行预测时，可能存在的分歧，后面的步骤中，利用这种分歧来筛选高可靠性的无标签样本，具体为：

5、1-1)三个分类器中含有残差注意力模块，定义为输入特征映射，n为图像中像素的数量，d为特征维度的数量，为线性层，k＝1，2，具体如公式(1)、公式(2)：

6、

7、fout＝al2+f   (2),

8、其中，(α)i，j为第i个像素与特征存储m的第j行之间的相似度，d与s为超参数，a为注意力图，fout采用残差连接保留输入的原始特征，注意力模块的输出通过残差连接与输入特征相结合；

9、1-2)在所有的三个分类器中，均采用步骤1-1)中的残差注意力模块进行数据增强，图片输入任何一个分类器或者模型，都是通过卷积不断地提取特征，选择在经过注意力模块提取特征后的2个特征图，来进行混合，按照8：2的比例拼成一张新的特征图，新的特征图的标签即分类类别就变成了80％类别1、20％类别2，未进行混合的图片的类别为100％的所属类别，分类器h(1)、分类器h(2)和分类器h(3)定义为f(x)＝fra(gra(x))，其中gra(·)表示将数据输入网络模型中进行处理，直到经过残差注意力模块后的特征图，fra(·)表示对特征图继续处理直到输出f(x)，数据增强的具体步骤如下：已知含有i个有标记样本的数据集dl＝{(xi，yi)|i＝1，2，...，l，从dl中随机抽取两个样本(x，y)和(x′，y′)，输入分类器进行逐层计算特征，直到获取到这两个样本经过残差注意力模块处理，此时获取到两个被中间数个神经网络层处理后的样本特征图(gra(x)，y)和(gra(x′)，y′)，对这两个小批量样本进行混合操作，得到混合样本，如公式(3)所示：

10、

11、其中，mixλ(a，b)＝λ·α+(1-λ)·β，(y，y′)为独热编码one-hot标签，混合系数λ在0和1之间等概率分布，而后采用混合后的样本从残差注意力模块开始继续在网络中进行前向传递，直到输出，采用输出计算损失值和梯度，更新神经网络的所有参数；

12、2)联合决策赋予伪标签与权重：经过步骤1)得到包含三个分类器的集成学习模型，对无标签数据赋予伪标签，并且筛选出高可靠性的那部分，伪标签的决策方式不仅考虑每个模型的预测结果数量，还兼顾每个模型的预测概率值，假设无标签数据集du＝{(xu)|u＝1，2，...，u}中的样本数量为u，采用训练好的分类器h(1)、分类器h(2)和分类器h(3)对样本类别进行预测，得到每个分类器对同一样本的预测标签为分类器h(1)给出的预测结果，为分类器h(2)给出的预测结果，则如公式(4)：

13、

14、其中，当分类器h(1)与分类器h(2)的预测结果一致时，将该样本视为高可靠性样本，当分类器h(1)与分类器h(2)的预测结果不一致时，将该样本视为低可靠性样本，如果为高可靠性样本，则将分类器h(1)与分类器h(2)的预测的类别作为伪标签，并取分类器h(1)与分类器h(2)给出预测概率较高者为样本权重ω，如公式(5)、公式(6)：

15、

16、

17、其中，为分类器h(i)给出的样本xu的分类预测的概率,其中i的范围为1，2，3。之后结合分类器h(1)、h(2)与分类器h(3)的分类结果，联合决策伪标签并筛选样本，其包含以下三种情况：如果与相同，维持为样本xu的伪标签，更新样本权重ω为如果与不同，且大于则同样维持为样本xu的伪标签，更新样本权重ω为如果与不同，且小于则将该样本权重ω更新为0，即从高可靠性样本转而分到低可靠性样本，权重赋予抉择如公式(7)所示：

18、

19、通过集成学习的思想，融合三个模型的分类标签与对应概率来生成伪标签并估计给定未标记数据的样本权重，生成的更准确的伪标签与样本权重相互配合，用于训练后续工作中的模型；

20、3)对深度残差模型进行训练：首先采用7x7卷积核提取特征，而后使maxpool层进行特征图缩小，并依次采用四种resblock来进行特征提取，提取得特征图输入步骤3-1)中残差通道注意力模块和步骤3-2)中残差空间注意力模块进行进一步的特征处理，处理后，将数据输入步骤3-3)中宽度学习系统，具体为：

21、3-1)残差通道注意力模块：首先对经过卷积操作得到的违规图像特征进行全局平均池化，然后对生成的每个特征图进行压缩操作，其次，通过两个全连接层描述通道间的关联性，确保输出特征权数与输入特征权数一致，最后，采用sigmoid激活函数对权重进行处理，权重代表每个特征通道的重要程度，依据权值表示输入特征图中每个特征通道的关注程度，如公式(8)、公式(9)所示：

22、y=σ(mlp(avgpool(i))+mlp(maxpool(i)))    (8)，

23、

24、其中，y表示通道注意力图，σ表示sigmoid激活函数，mlp表示多层感知机，i表示输入特征，i′表示经过残差通道注意力处理后的特征图；

25、3-2)残差通道注意力模块：首先对输入特征在通道维度上执行最大池化操作和全局平均池化操作，获得两个h×w×1的通道，而后将两个h×w×1通道进行组合，获得新特征图，最后对新特征图进行卷积操作，并采用sigmoid激活函数运算获得权重，如公式(10)、公式(11)所示：

26、y＝σ(f3×3([avgpool(i)；maxpool(i)]))  (10),

27、

28、其中，y表示空间注意力图，σ表示sigmoid激活函数，f3×3表示3×3大小的卷积核，i表示输入特征，i′表示经过残差通道注意力处理后的特征图；

29、3-3)宽度学习系统：宽度学习系统由输入层、特征节点、增强节点和输出层组成，宽度学习系统采用3-2)所提取的特征图作为宽度学习系统的输入矩阵输出为n表示样本总数，b表示样本维数，c表示类别总数，对于有n个特征的特征值图，每个特征图生成n个节点，第i个特征节点如公式(12)所示：

30、

31、其中i＝1，...，n，与为随机生成的权重和偏移量，是一个线性激活函数，映射特征为线性形式，宽度学习系统采用稀疏自编码方法来优化输入权重，zn≡[z1，...，zi]表示每个特征节点，对于m个增强节点，第j个增强节点如公式(13)所示：

32、

33、其中j＝1，...，m，与随机生成，ξ为正切sigmoid非线性激活函数，正切sigmoid函数如公式(14)所示：

34、

35、所有的增强节点被表示为hm＝[h1，...，hj]，整体的宽度学习系统采用下方的公式(15)来表示：

36、y＝[zn|hm]w   (15),

37、其中w＝[zn|hm]+为宽度结构的隐藏层与输出层之间的连接权重，通过求解[zn|hm]+的岭回归近似，可计算出w，选择采用l2范数正则化来解决优化问题，宽度学习系统的目标函数如公式(16)所示：

38、其中λ正则化系数，为预测结果。

39、随着违规数据种类的不断增加以及特征的不断变化，需要大量的标记数据集来训练模型，这一过程中获取和管理这些数据所涉及的人力、物力和时间成本可能是令人望而却步的，进一步限制了大批量人工标记数据的可行性，此外，对违规数据的标记会给工作人员带来巨大的生理和心理风险，人工手动标记大量的数据成为一项艰巨的任务。

40、本技术方案与现有技术相比，具有一下优点：

41、1.集成学习模型中的三个分类器均采用了注意力机制和数据增强，提高了分类的准确度；

42、2.将三个分类器的结果，通过联合决策根据判别结果，来筛选高可靠性无标签样本赋予伪标签，解决了分类器之间的分歧，又筛选出更具有代表性的图像样本；

43、3.采用残差通道、空间注意力，使模型学习到关注的区域与关注的通道；

44、4.宽度学习系统进一步提高了模型性能；

45、这种方法能识别鉴定多种类型的违规图像、数据处理能力强，泛化能强，精度和鲁棒性高。