基于神经网络的烟叶包装箱内夹层纸板检测方法

1.本发明涉及卷烟制造领域，尤其涉及一种基于神经网络的烟叶包装箱内夹层纸板检测方法。


背景技术：

2.当机器人(如kuka)对生产线上烟叶包装箱内夹层情况无法识别判断时，容易导致出现误操作情况。具体来说，烟叶包装箱的内部多采用黄纸板作为夹层，在提取黄纸板特征时，黄纸板一般为偏黄色且色调不固定，纸板形状一般为矩形。而在烟叶包装箱内，黄纸板的局部又通常会被特征相近的烟叶所遮盖，同时烟叶来自不同产地，其表面纹理、颜色等特征比较复杂，导致在检测过程中出现无法检测情况，例如机器人判定为烟叶包装箱内无夹层板，使得机器人对生产线上包装箱内的夹层情况产生误判。
3.烟草技术从业者一直重视对复杂环境中图像特征提取的研究。不过针对烟叶包装箱内部夹层检测，经实践发现，若使用传统的机器学习方式会存在较大的检测误差，尤其是烟草行业对于图像特征识别的研究和应用，主要方向是提取叶片颜色、轮廓等浅层特征，而直接利用烟草行业内的现有图像检测策略则难以实现在较为相似颜色下通过细微差别区域分割判断烟叶物料夹层纸板。


技术实现要素：

4.鉴于上述，本发明旨在提供一种基于神经网络的烟叶包装箱内夹层纸板检测方法，以解决前述提及的技术问题。
5.本发明采用的技术方案如下：
6.本发明提供了一种基于神经网络的烟叶包装箱内夹层纸板检测方法，其中包括：
7.采集与烟叶包装箱内夹层板相关的原始图像；
8.对所述原始图像通过直方图进行增强处理；
9.将增强图像从rgb颜色空间转化到hsv颜色空间；
10.通过预设的基于注意力机制的残差神经网络，对转化到hsv颜色空间的烟叶箱图像进行分类识别；
11.基于分类识别结果，输出烟叶包装箱内是否存在夹层板。
12.在其中至少一种可能的实现方式中，所述原始图像包括烟叶包装箱内存在黄纸板的图像或不存在黄纸板而仅有烟叶的图像。
13.在其中至少一种可能的实现方式中，所述增强处理包括：在直方图正规化系数固定基础上，将所述原始图像的像素范围映射到[0，255]范围内。
[0014]
在其中至少一种可能的实现方式中，所述分类识别的处理过程包括：
[0015]
将空间注意力机制和通道注意力机制进行线性组合，由不同的注意力机制对转化到hsv颜色空间的烟叶箱图像中的待辨识区域进行特征提取。
[0016]
在其中至少一种可能的实现方式中，所述特征提取的方式包括：
[0017]
将hsv颜色空间烟叶包装箱的图像特征输入至不同的通道注意力模块，并获取各通道的权重值；
[0018]
利用所述权重值与所述图像特征进行矩阵相乘，提取到所述图像特征在不同通道的权重分布；
[0019]
经由空间注意力模块从所述权重分布中获取局部区域特征分布情况；
[0020]
结合所述局部区域特征分布情况以及所述权重分布，提取出目标特征。
[0021]
在其中至少一种可能的实现方式中，所述通道注意力模块包括一个平均池化层、一个最大池化层、四个连接层和一个relu激活层以及一个sigmoid激活层。
[0022]
在其中至少一种可能的实现方式中，所述空间注意力模块包括一个平均池化层和最大池化层。
[0023]
在其中至少一种可能的实现方式中，所述基于注意力机制的残差神经网络的结构包括：在残差神经网络的第一卷积层后连接由通道注意力模块和空间注意力模块组成的综合注意力模块；并在整个残差神经网络之后连接一个注意力模块。
[0024]
本发明的主要设计构思在于，通过不同颜色的分布特征，使用改进的神经网络模型进行烟箱内特定区域的特征提取，从而实现在不同场景下的烟叶和内夹层纸板的准确识别。具体地，将残差神经网络加入注意力机制，并基于增强后的待处理图像引入hsv颜色空间转换机制，以满足对烟厂流水线上烟叶包装箱内夹层板的图像识别需求，解决了烟厂机器人操作前无法准确判断处理时机以及操作后的结果无法实现反馈验证的问题。本发明应用在实际生产过程中，能够可靠剔除烟叶图像特征而保留黄纸板区域并进行相应特征提取及识别检测，从而有效提高了针对烟叶箱内易混淆目标的识别判断精度。
附图说明
[0025]
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：
[0026]
图1为本发明实施例提供的基于神经网络的烟叶包装箱内夹层纸板检测方法的流程图。
具体实施方式
[0027]
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0028]
本发明提出了一种基于神经网络的烟叶包装箱内夹层纸板检测方法的实施例，具体来说，如图1所示，其中包括：
[0029]
步骤s1、采集与烟叶包装箱内夹层板相关的原始图像。
[0030]
在本方法涉及的算法训练阶段，可预先从制丝生产线上，使用工业相机等设备采集烟叶包装箱涉及夹层纸板的原始图像样本，例如在某个实施过程中获取原始图像520张，其中包括烟叶包装箱内存在黄纸板的图像320张，以及不存在黄纸板仅有烟叶的图像200张。
[0031]
步骤s2、对所述原始图像通过直方图进行增强处理，以使原始图像中的亮度信息、
纹理信息、颜色信息等细节更加清晰。具体地，可以在直方图正规化系数固定基础上，将原始图像的像素范围映射到[0,255]范围内。在实际操作中，可以设置烟叶的灰度范围是[i
min
,i
max
]，而输出的烟叶灰度值范围是[o
min
,o
max
](一般为[0,255])，关于当前位置像素的灰度值设为i
r,c
，同样对应位置的灰度值为o
r,c
，则它们之间的映射关系为：
[0032][0033]
步骤s3、将增强图像从rgb颜色空间转化到hsv颜色空间。
[0034]
在hsv颜色空间中，由色调(h)，饱和度(s)，明度(v)组成颜色参数。h参数表示色彩信息；s参数表示所选颜色的纯度和该颜色最大的纯度之间的比率；v表示色彩的明亮程度。对前述增强后的图像从rgb颜色空间转化到hsv颜色空间，具体的转化可参考如下：
[0035]v←
max(r,g,b)
[0036][0037][0038]
步骤s4、通过预设的基于注意力机制的残差神经网络(resnet 34网络模型)，对转化到hsv颜色空间的烟叶箱图像进行分类识别。
[0039]
具体地，包括将空间注意力机制和通道注意力机制进行线性组合，由不同的注意力机制对所述烟叶箱图像中的夹层纸板(黄纸板)特征进行提取，例如：首先将烟叶箱图像特征x输入至不同的通道注意力模块，并获取各通道的权重值w1，利用所述权重值与烟叶箱图像特征进行矩阵相乘，从而提取到烟叶箱图像特征在不同通道的权重分布s。公式为：
[0040]
s＝f1(x,w1)＝xw1[0041]
然后，经由空间注意力模块从所述权重分布s中获取局部区域特征分布情况。再结合所述局部区域特征分布情况以及所述权重分布s(可通过矩阵相乘的方式)，得到最终的输出特征。公式为：
[0042]
y＝f2(s,w2)＝sw2[0043]
关于前文提及的通道注意力模块，其主要包括一个平均池化、一个最大池化、四个连接层和一个relu激活层和一个sigmoid激活层。在数据处理过程中，先对输入为w*h*c的矩阵进行全局平均池化操作和全局最大池化操作，目的是压缩各个通道的特征，并且分别输出大小为1*1*c的全局特征。之后经过1*1卷积层进行通道的缩放，减少计算的复杂度。并经过relu激活层提高非线性能力，接着再通过1*1卷积层还原通道数，将分别计算的特征进行相加，最终经过sigmoid函数，将结果映射到0～1区间，得到不同通道的权重比例。可参考已成熟算法如下：
[0044]
avg_out＝conv2(relu(conv1(avg_pool(x))))
[0045]
max_out＝conv2(relu(conv1(max_pool(x))))
[0046]
out＝sigmoid[avg_out+max_out]
[0047]
关于前文提及的空间注意力模块包括一个平均池化和最大池化。在数据处理过程
中，先是输入一个w*h*c的特征矩阵，经过平均池化和最大池化运算，平均池化的取特征矩阵纵向的特征平均权重，最大池化的目的是获取特征矩阵纵向的特征最大权重，即得到的矩阵大小为w*h*1的特征。之后进行矩阵拼接运算并进行一个7*7卷积核运算改变通道参数，最后和通道注意力模块同样，将进行sigmoid激活处理，将结果映射到0～1区间，得到不同区域的权重比例。可参考已成熟算法如下：
[0048]
out1＝[avg_pool(x)，max_pool(x)]
[0049]
out2＝sigmoid(conv(out1))
[0050]
在本发明一些优选实施例中，提出的基于注意力机制的全局残差网络，是基于resnet 34基础网络，结合注意力模块以及全局残差结构进行改进。具体来说，在基础网络中，将通道注意力模块和空间注意力模块组成的综合注意力模块设置在resnet 34网络的conv1层后，目的是先提取最初的图像中的感兴趣特征，即通道权重和空间分布权重；然后将特征进入残差网络中，处理结果融合后送入relu层；并且在残差网络之后(relu层之后)再设置一个注意力模块，目的是在接下来的全局平均池化过程中，使用注意力机制可以让池化能力更加有效，该最后一个注意力模块得到的特征热力图经过平均池化、全连接后输出最终结果。
[0051]
在残差网络中，将对残差块conv2_x、conv3_x、conv4_x、conv5_x整体进行捷径连接，构成全局残差网络，这会进一步提高网络的收敛速度以及信息的保留，克服因relu激活函数导致的特征信息丢失等问题。改进的resnet 34网络架构可参考表1。
[0052]
表1改进的resnet 34网络架构
[0053][0054]
在损失函数上，可选择交叉熵损失函数作为模型的损失函数，对于本发明的训练，主要目标是针对烟叶和黄纸板的区分识别，实施时可以借鉴已有的相关算法，如选用adam优化算法，adam优化算法结合动量梯度下降算法和rmsprop算法，可以加快网络训练速度，对此本发明不作赘述和限定。
[0055]
步骤s5、基于分类识别结果，输出烟叶包装箱内是否存在夹层板。
[0056]
经实际验证，通过本发明提供的改进方式，对于黄色纸板夹层的识别准确率达到99％，远超烟草行业内其他已有的视觉检测手段。
[0057]
相应于上述检测方法各实施例，本发明还提供了一种基于神经网络的烟叶包装箱内夹层纸板检测装置的实施例，具体包括图像采集模块、图像增强模块、颜色空间转化模块、特征提取分析模块以及结果输出模块。
[0058]
对应上述步骤s1，所述图像采集模块，分为离线或在线采集，确保采集到符合需求的原始图像。图像采集模块包括工控机、工业相机、触控屏、冷光源等构成的系统，采集系统可以实现实时对烟叶包装箱内进行图像采集。在图像采集的环境中，配置冷光源可起到补光作用，并将工业相机固定在距离地面垂直约3m高的安装架上，且相机的安装角度可与水平面呈60
°
左右的角度，优选地，工业相机的检测精度达到0.5mm，从而可以获取到质量高的烟叶和内夹层图像。
[0059]
对应上述步骤s2，所述图像增强模块，通过直方图正规化解决由于图像的灰度级范围较小造成的对比度较低的问题，使得烟叶图像中的亮度信息、纹理信息、颜色信息的细节更加清晰，通过对采集的原始图像进行直方图均匀化处理，获取到较为明亮的烟叶和内夹层图像，便于后续处理。
[0060]
对应上述步骤s3，所述颜色空间转化模块，将增强处理后的图像从rgb颜色空间转化到hsv颜色空间，便于后续图像分类识别。
[0061]
对应上述步骤s4，所述特征提取分析模块，用于将经过上述预处理后的图像输入改进的残差网络模型中，实现对hsv颜色空间的图像进行精准分类识别，具体是通过综合多种注意力机制的全局残差网络模型对不同场景下的烟叶和内夹层进行辨识。
[0062]
对应上述步骤s5，所述结果输出模块用于发送烟叶包装箱内是否存在夹层板的判断结果信息。
[0063]
综上所述，本发明的主要设计构思在于，通过不同颜色的分布特征，使用改进的神经网络模型进行烟箱内特定区域的特征提取，从而实现在不同场景下的烟叶和内夹层纸板的准确识别。具体地，将残差神经网络加入注意力机制，并基于增强后的待处理图像引入hsv颜色空间转换机制，以满足对烟厂流水线上烟叶包装箱内夹层板的图像识别需求，解决了烟厂机器人操作前无法准确判断处理时机以及操作后的结果无法实现反馈验证的问题。本发明应用在实际生产过程中，能够可靠剔除烟叶图像特征而保留黄纸板区域并进行相应特征提取及识别检测，从而有效提高了针对烟叶箱内易混淆目标的识别判断精度。
[0064]
本发明实施例中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示单独存在a、同时存在a和b、单独存在b的情况。其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组合，包括单项或复数项的任意组合。例如，a，b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c或a和b和c，其中a，b，c可以是单个，也可以是多个。
[0065]
以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，但以上仅为本发明的较佳实施例，需要言明的是，上述实施例及其优选方式所涉及的技术特征，本领域技术人员可以在不脱离、不改变本发明的设计思路以及技术效果的前提下，合理地组
合搭配成多种等效方案；因此，本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。