烘丝质量智能检测方法及系统与流程

1.本公开涉及烟草加工领域，尤其涉及一种烘丝质量智能检测方法及系统。


背景技术：

2.烘丝工序是卷烟生产工艺的关键工序，该工序任务是将前段工序经过增温增湿的叶丝进行干燥脱水，使得叶丝定型并使其基本满足卷制要求。烘丝工序是对成品烟丝质量影响最大的设备，其质量控制是整个制丝过程的重中之重。由于烘丝工序在制丝工艺中的关键作用，其工序的输入输出及过程工艺质量指标均需遵循较为严格的规范要求，这对该工序及上下游工序中人、机、料、法、环、测的各生产要素提出了更高要求。烘丝环节的烟丝质量稳定性是保障卷烟等后续环节加工质量的关键因素之一。
3.对烟丝质量特性及质量波动进行在线检测是公司乃至全行业的迫切需求，并且对稳定下游工序
‑‑
烟支的卷制质量具有重要意义。烟丝结构是衡量烟丝质量的一项重要指标，主要包括如整丝率、碎丝率和填充值等参数，其在生产过程中的波动，最终将体现到成品烟支的各项指标上，例如空头剔除率、吸阻、端部落丝率等，较好的烟丝结构可提高烟丝的耐加工性能，提高烟支卷制过程的成品率。由于受诸多不稳定因素的影响，烟丝结构可能会有一定的波动，从而影响烟支卷制质量及其稳定性。烟丝结构的波动除了受原料均匀性的影响外，还与整个制丝过程的稳定性有密切关系。因此，对烘丝环节烟丝结构稳定性的控制，是行业进行降本、稳质、增效的一个重要突破点。
4.目前在行业中，烘丝环节的出口烟丝质量检测只包含了水分检测，尚未采用其他质量参数，难以全面的反映烘丝后烟丝的质量波动，烘丝质量未能透明化。现阶段只能依靠人工离线采样检测，检测频率低、费时长，且往往只在因之导致的切丝质量出现显著波动时才能引起关注，不利于烟丝生产质量的稳定性控制。由于烘丝质量从问题出现到发现再到找出质量问题进而解决问题，整个过程时间久、滞后性大，期间可能产生较多质量不稳定的成品烟丝，导致下游卷烟过程的质量波动损失，浪费大量的原、辅料。
5.与此同时，烟丝质量稳定性普遍采用人工取样的方式进行离线检测。人工取样法，即按照一定的取样策略对生产线上烟丝进行抽样，然后再离线检测，利用样本的质量特性反映整体产品的质量。这种依赖于操作人员手工检测的方法存在很大的局限性：(1)在离线状态下检测，滞后性大；(2)样本量少，难以全面、准确地反映烟丝的质量波动；(3)无法实现高效、自动化的在线检测，不能匹配高速的生产流程。


技术实现要素：

6.有鉴于此，本公开实施例提供一种烘丝质量智能检测方法及系统，能够改善烟丝生产质量。
7.在本公开的一个方面，提供一种烘丝质量智能检测方法，包括：
8.通过机器视觉对在线的烘后烟丝的烟丝图像进行实时获取；
9.将所述烟丝图像输入已训练的深度学习模型，以获得所述烟丝图像对应的烟丝质
量参数。
10.在一些实施例中，所述烘丝质量智能检测方法还包括：
11.根据所述烟丝质量参数，对烘丝工艺参数进行优化调整；或
12.根据所述烟丝质量参数进行报警推送。
13.在一些实施例中，所述烘丝质量智能检测方法还包括训练深度学习模型的步骤，具体包括：
14.通过机器视觉获取多个批次的烘前烟丝和烘后烟丝的烟丝图像；
15.对所述烟丝图像进行图像处理和特征提取，并根据提取的关键特征信息建立图像属性特征库；
16.将所述图像属性特征库中的图像属性特征与对应批次的工艺参数和烟丝质量参数进行关联，形成供训练和验证的数据集；
17.通过所述数据集对所述深度学习模型进行训练和验证。
18.在一些实施例中，所述烘丝质量智能检测方法还包括设置机器视觉功能的步骤，具体包括：
19.根据烘丝场地的烘丝工况进行工业相机、光源照明和图像处理系统的选择；
20.根据选择的工业相机、光源照明和图像处理系统进行现场安装。
21.在一些实施例中，选择工业相机的步骤包括：
22.根据烟丝在传输过程中位置和形态的变化情况确定工业相机的感光器件类型；
23.根据烟丝在传输过程中的运动速度确定工业相机的扫描频率及像素分辨率；
24.根据相机产生的数据量确定工业相机的通信接口协议；
25.根据确定的感光器件类型、扫描频率及像素分辨率和通信接口协议选择符合的工业相机。
26.在一些实施例中，选择光源照明的步骤包括：
27.根据烟丝在传输过程中的运动速度及选择的工业相机的扫描速率确定光源亮度；
28.根据光源亮度确定光源照明的功率及散热结构。
29.在一些实施例中，所述训练深度学习模型的步骤还包括：
30.在获取多个批次的烘前烟丝和烘后烟丝的烟丝图像时，采集对应批次的工艺参数和烟丝质量参数。
31.在一些实施例中，对所述烟丝图像进行图像处理和特征提取的步骤包括：
32.对所述烟丝图像进行预处理；
33.对预处理后的所述烟丝图像包含的图像特征进行特征提取和降维处理。
34.在一些实施例中，对所述烟丝图像进行预处理的步骤包括：
35.去除所述烟丝图像中的背景区域，并对所述烟丝图像进行图像增强和去噪。
36.在一些实施例中，对所述烟丝图像进行降噪的步骤包括：
37.通过以使用人工生成乘性噪声的方式训练的卷积神经网络模型对所述烟丝图像进行去噪。
38.在一些实施例中，对所述烟丝图像进行预处理的步骤还包括：
39.剔除非正常生产时段下的烟丝图像。
40.在一些实施例中，对预处理后的所述烟丝图像包含的图像特征进行特征提取和降
维处理的步骤包括：
41.对预处理后的所述烟丝图像进行尺寸归一化；
42.将归一化的所述烟丝图像输入预训练好的vgg16模型，以便从所述烟丝图像中选取候选区域，并提取候选区域的图像像素特征；
43.对提取的图像像素特征进行融合，并去掉冗余特征，以获得有效描述的特征量作为关键特征信息。
44.在一些实施例中，所述深度学习模型为深度学习图像分类模型。
45.在一些实施例中，所述深度学习模型为深度学习语义分割模型。
46.在本公开的一个方面，提供一种烘丝质量智能检测系统，包括：
47.存储器；和
48.耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行前述的烘丝质量智能检测方法。
49.因此，根据本公开实施例，通过机器视觉和深度学习模型实现对烘后烟丝质量的在线检测，从而可在不改变原有工艺、生产过程的情况下，在线地提供与烟丝质量有关的烟丝质量等级、质量检测指标、可能的风选环节剔除率等，并且能够通过对以往数据进行分析，寻找优化的工艺参数组合，提高烟丝质量检测效果的稳定性。这样，不仅能够节省检测工序、节约大量的检测时间，可同时进行烘丝状态及烘丝后烟丝质量的实时检测，以便依据预测结果判断烘丝设备运行状态，自动作出异常判断与原因分析，便于操作人员及早发现生产问题，提高生产效率和产品质量，节约了人力资源成本。
附图说明
50.构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
51.参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
52.图1是根据本公开烘丝质量智能检测方法的一些实施例的流程示意图；
53.图2是根据本公开烘丝质量智能检测方法实施例中训练深度学习模型的流程示意图；
54.图3a和图3b分别是本公开烘丝质量智能检测方法实施例中烘前烟丝和烘后烟丝的烟丝图像在图像处理后的示意图；
55.图4是根据本公开烘丝质量智能检测方法实施例中图像处理及提取出的两种图像特征的示意图；
56.图5是根据本公开烘丝质量智能检测方法实施例中图像降维处理后的烟丝图像示意图；
57.图6是根据本公开烘丝质量智能检测方法实施例中烟丝卷曲不同形态的示意图；
58.图7是根据本公开烘丝质量智能检测系统的一些实施例的结构示意图。
59.应当明白，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。此外，相同或类似的参考标号表示相同或类似的构件。
具体实施方式
60.现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整，并且向本领域技术人员充分表达本公开的范围。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、材料的组分、数字表达式和数值应被解释为仅仅是示例性的，而不是作为限制。
61.本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的部分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
62.在本公开中，当描述到特定器件位于第一器件和第二器件之间时，在该特定器件与第一器件或第二器件之间可以存在居间器件，也可以不存在居间器件。当描述到特定器件连接其它器件时，该特定器件可以与所述其它器件直接连接而不具有居间器件，也可以不与所述其它器件直接连接而具有居间器件。
63.本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
64.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
65.图1是根据本公开烘丝质量智能检测方法的一些实施例的流程示意图。如图1所示，本公开实施例提供了一种烘丝质量智能检测方法，包括：步骤s1和步骤s2。在步骤s1中，通过机器视觉对在线的烘后烟丝的烟丝图像进行实时获取。在步骤s2中，将所述烟丝图像输入已训练的深度学习模型，以获得所述烟丝图像对应的烟丝质量参数。
66.本实施例通过机器视觉和深度学习模型实现对烘后烟丝质量的在线检测，从而可在不改变原有工艺、生产过程的情况下，在线地提供与烟丝质量有关的烟丝质量等级、质量检测指标、可能的风选环节剔除率等，并且能够通过对以往数据进行分析，寻找优化的工艺参数组合，提高烟丝质量检测效果的稳定性。这样，不仅能够节省检测工序、节约大量的检测时间，可同时进行烘丝状态及烘丝后烟丝质量的实时检测，以便依据预测结果判断烘丝设备运行状态，自动作出异常判断与原因分析，便于操作人员及早发现生产问题，提高生产效率和产品质量，节约了人力资源成本。
67.在上述实施例中，在获得所述烟丝图像对应的烟丝质量参数之后，可以根据所述烟丝质量参数，对烘丝工艺参数进行优化调整，以便改善烘丝过程，提高烘丝后的烟丝质量；也可以根据所述烟丝质量参数进行报警推送，例如在发现烟丝质量异常时及时向操作者进行报警推送，从而使操作者能够及时关注到异常，以进行停机检查等相关处置。
68.在上述步骤s1中，为了实现机器视觉对烟丝图像的实时获取时，可在烘丝出口的输送机工位上增加在线机器视觉拍照设备，例如工业相机。线机器视觉拍照设备也可以在
训练深度学习模型时用于获取多个批次的烘前烟丝和烘后烟丝的烟丝图像。
69.在步骤s2中，实时获取的所述烟丝图像被输入已训练的深度学习模型，根据模型的输出结果来获得所述烟丝图像对应的烟丝质量参数。这里的烟丝质量参数可以为烘后烟丝的整丝率、碎丝率、填充值等，也可以为分选风选环节空头率、剔除率等。这些参数在深度学习模型中与烟丝图像的特征之间存在的关联性通过训练模型来实现。
70.在一些实施例中，烘丝质量智能检测方法还包括训练深度学习模型的步骤。参考图2，该步骤具体包括步骤s21到步骤s22。在步骤s21中，通过机器视觉获取多个批次的烘前烟丝和烘后烟丝的烟丝图像。在步骤s22中，对所述烟丝图像进行图像处理和特征提取，并根据提取的关键特征信息建立图像属性特征库。在步骤s23中，将所述图像属性特征库中的图像属性特征与对应批次的工艺参数和烟丝质量参数进行关联，形成供训练和验证的数据集。在步骤s24中，通过所述数据集对所述深度学习模型进行训练和验证。
71.对于自动光学检测系统来说，所有检测工作都是基于图像采集系统得到的数字图像来进行的，因此高质量图像的获取是基于机器视觉的自动光学检测系统成功应用的第一步关键所在。高质量图像需要尽可能使得目标信息与背景信息能够良好分离，以使目标的各项特征清晰明确，从而使得后继的图像处理算法简化，降低运算难度，提升运算速度和精度。如果采集到的原始图像质量低下，各种信息混乱或者噪声严重使得各项特征信息(如缺陷等)被掩没，那么就会大大增加后继图像处理工作的负担，轻则增加运算复杂度和运算时间，无法实现在线实时检测，重则使得检测结果出现误检、漏检等严重错误。
72.为了使步骤s1和步骤s21中涉及的机器视觉能够获取质量更高的烟丝图像，在一些实施例中，烘丝质量智能检测方法还包括设置机器视觉功能的步骤。该步骤具体包括：根据烘丝场地的烘丝工况进行工业相机、光源照明和图像处理系统的选择；根据选择的工业相机、光源照明和图像处理系统进行现场安装。
73.在进行工业相机选择时，可考察现场实际情况、成像区域、精度要求等多方面因素。其中，相机选择参考指标可包括：传感器类型、信噪比、数字i/o、尺寸、分辨率、增益范围、缓存容量、重量、像元尺寸、曝光时间范围、数据格式、镜头接口、帧频、快门模式、供电及功耗、软件、动态范围、数据接口、温度、操作系统、兼容及认证等。而工业相机在镜头选择上参考的指标可包括：焦距、像面尺寸、水平视场角、建议监控距离、接口、最近摄距、外形尺寸(mm)、镜头光圈、光圈控制及重量等。
74.具体地，在一些实施例中，选择工业相机的步骤可包括：根据烟丝在传输过程中位置和形态的变化情况确定工业相机的感光器件类型；根据烟丝在传输过程中的运动速度确定工业相机的扫描频率及像素分辨率；根据相机产生的数据量确定工业相机的通信接口协议；根据确定的感光器件类型、扫描频率及像素分辨率和通信接口协议选择符合的工业相机。
75.举例来说，在确定感光器件类型时，考虑到被拍摄的烟丝的位置和形态不固定，在运动过程中表现为于起伏不定的随机状态，因此对于相机光学成像系统有一定要求。线扫描相机按照感光光谱范围可以分为单色和彩色相机两类，由于颜色特征是区分烟丝和杂物的重要信息，因此优选彩色3ccd相机，而彩色相机按照光学系统的差异又可以划分为单片3ccd和棱镜分光3片式ccd相机，单彩色线阵相机的感光器件是在一片ccd芯片上刻出3条相邻的感光像素线，分别代表rgb三基色，由于3条像素带物理位置需要一定间隔，无法完全重
合，因此这类相机在以某一角度拍摄高低起伏的目标时，会发生颜色错位的问题，而棱镜分光3ccd相机是通过分光棱镜保证rgb三基色的有效重合，因此选择该种相机是比较适合烟丝图像采集要求的。
76.在确定工业相机的扫描频率、像素分辨率以及通信接口协议时，由于烟丝运动速度比较快，对应相机的扫描频率有一定的要求。假如烟丝运动的线速度为3m/s，相机的扫描频率选择14khz，烟丝图像在相机扫描方向的像素分辨率为0.5mm。选择4096像素的线阵相机，颜色分辨率为24bit，那么单台ccd相机工作时产生的数据流为14x4096x3＝172mbyte/s,这种海量数据流传输一般可采用cameralink接口协议进行传输，cameralink是专门为高速相机信号传输而制定的信号接口标准，其数据传输速率最高可达5.4gb/s(full模式)，因此选择cameralink接口的相机和采集卡来组建烟丝图像系统是比较适合的。
77.具体地，在一些实施例中，选择光源照明的步骤包括：根据烟丝在传输过程中的运动速度及选择的工业相机的扫描速率确定光源亮度；根据光源亮度确定光源照明的功率及散热结构。
78.照明光源对相机成像质量的影响非常大，由于烟丝运动速度快，相机扫描速率高，相应的ccd像素曝光时间非常短，因此为了能够产生良好信噪比的图像信号，需考虑增大光源的亮度，增大亮度会带来光源的功耗大幅度上升，为了解决光源模组的散热问题，保证照明系统的长期稳定性，可考虑采用带散热方式的led线阵照明模组，并使该照明模组总体功率达到0.3kw。
79.在设计图像处理系统时，可根据图像信号传输、处理以及后续的机器学习、参数设置及数据存储、人机交互等多方面进行选择。举例来说，可采用fpga板卡+pc处理架构模式，板卡与pc之间可采用pcie接口。fpga板载系统主要实现cameralink信号解调、图像信号预处理(包括高斯滤波、平场校正等)，pc端主要实现图像信号的机器学习、参数设置与储存、人机交互等功能。
80.在前述实施例的步骤s21中，通过机器视觉获取多个批次的烘前烟丝和烘后烟丝的烟丝图像。这里的批次是指烟丝按照批次进行加工，一批次加工结束后一段时间后就进行下一批次的加工。每个批次的烟丝图像可以在相同位置的工业相机进行拍摄获得。随着烟丝的流动，工业相机可以获得实时在线的烟丝图像。
81.图3a和图3b分别是本公开烘丝质量智能检测方法实施例中烘前烟丝和烘后烟丝的烟丝图像在图像处理后的示意图。对于模型训练来说，不同阶段的烟丝图像都能够抽取出有效的特征，因此不仅可以使用烘后烟丝的烟丝图像数据进行训练和验证，也可以使用烘前烟丝的烟丝图像数据进行训练和验证，以获取图像特征与烟丝质量参数之间的对应关系。
82.在一些实施例中，工业相机也具有一定的图像处理功能，例如对于采集到的彩色烟丝图像，可先对其进行二值化处理，并通过双阈值检测和边缘连接算法提取图像边缘轮廓，对提取的边缘轮廓进行矢量化处理和透明化处理。
83.为了在训练深度学习模型时，能够建立起烟丝图像与烘丝工艺参数及烟丝质量参数的关联，可以在获取多个批次的烘前烟丝和烘后烟丝的烟丝图像时，采集对应批次的工艺参数和烟丝质量参数。这些参数被存储下来以便后续形成供训练和验证的数据集。
84.在上述步骤s22中，对所述烟丝图像进行图像处理和特征提取，对所述烟丝图像进
行图像处理和特征提取的步骤可包括：对所述烟丝图像进行预处理；对预处理后的所述烟丝图像包含的图像特征进行特征提取和降维处理。
85.在对所述烟丝图像进行预处理时，可以通过去除所述烟丝图像中的背景区域，并对所述烟丝图像进行图像增强和去噪来减少无效信息，增强图像中有效的特征信息，提高图像的质量，改善图像的效果，以方便后续的特征提取及特征的分解。
86.由于待分析的烟丝图像中除了被检测物体之外，往往还包括了不需要关注的背景区域，而对于某些复杂的被测物体，在进行具体分析之前往往还需要将其根据特性不同分割为不同的区域以便于在后面的分析过程中分别提取不同特征以及分类。
87.因此，为了能够实现对于烘丝质量分布形态的自动分析，本实施例可以对图像进行分割，提取出影响区域，以便于进一步的分析。缺陷分割是后继的特征提取和自动缺陷判别算法的基础，其检测结果的效果将会直接影响到后继算法的设计，对于整体系统性能具有很大的影响。其中可采用的分割算法包括阈值分割、基于几何特征的分割、模板匹配以及基于压缩感知的分割算法等。
88.在图像预处理中，对所述烟丝图像进行降噪的步骤可包括：通过以使用人工生成乘性噪声的方式训练的卷积神经网络模型对所述烟丝图像进行去噪。
89.图像去噪过程可以看作是把含噪图像映射为干净无噪图像的过程，卷积神经网络可以自动地提取图像的特征，具有较强的映射能力，除了提取图像的低级特征外，还可以根据低级特征提取出更加复杂的特征。而且经过训练得到的卷积神经网络模型，可以有效地被用于所有同类数据。卷积神经网络因为其优势，逐渐被用于自然图像去噪。
90.本实施例可采用的sar图像去噪算法sdcnn。在设计模型时，为了降低训练难度，向模型中引入残差思想，将学习含噪原始图像到干净无噪图像的映射，变成学习含噪原始图像到噪声的映射。鉴于真实sar图像的原始无失真图像难以获得，在训练过程中，使用人工合成乘性噪声的方式，人为的生成一些训练数据用于网络的训练，然后使用训练后的sdcnn网络对真实sar图像去噪。与传统sar图像去噪算法和目前比较先进的sar-bm3d算法相比，算法在sar图像去噪问题上获得了优秀的效果，使用训练好的模型对含噪图像进行去噪时，去噪速度也比传统方法更快。
91.除了去除背景并降噪，在图像预处理时还可以计算烟丝分布的平均值并消除烟丝分布不均对平均值的影响。这里的平均值是有效区域像素值平均值，烟丝分布不均指的是料头料尾等非正常过来状态下的烟丝零零碎碎，忽多忽少等非正常生产时段，这部分需要剔除。相应地，对所述烟丝图像进行预处理的步骤还可包括：剔除非正常生产时段下的烟丝图像。
92.在图像的预处理中，提取出了感兴趣区域或者目标物体的轮廓。但这些信息是对于图像目标的原始描述，描述信息的维度过高，其中包含了大量的冗余信息。因此这些信息可进行抽象处理降维，去除掉其中不需要的部分，从而得到一个或者多个有效描述的特征量。这些特征量就被称为目标特征，确定这些特征的过程就叫做特征提取。而通过这些抽象的特征描述，我们就可以快速的完成对于待检测物体的分类。特征提取算法主要包括区域特征提取、灰度特征提取、轮廓特征提取等传统方法，以及基于相位一致性的特征提取算法和基于多尺度角点探测的特征提取算法等。
93.在对预处理后的所述烟丝图像包含的图像特征进行特征提取和降维处理的过程
中，可以使用图像特征，并利用模板、边缘、灰度、空间变化及轮廓提取等方法进行降维与特征提取，从而得到可能有效描述目标关键特征信息的特征量，来建立属性特征库。此外也需要收集对应控制参数筒壁温度、热风温度、排潮负压、热风风速等工艺参数作为优化烘丝工艺的关联性分析。本实施例中采用的特征提取算法可为区域特征提取、灰度特征提取、轮廓特征提取等传统方法，以及基于相位一致性的特征提取算法和基于多尺度角点探测的特征提取算法等中的一种。
94.对图像特征降维处理，并进行特征量分类提取，得到主要特征；将主要特征进行融合并采用归一化方法处理；创建分级模型并将样本分为训练集和验证集，对模型进行训练和分类以构建模型；将经融合的预分类烟丝特征导入分类模型进行判别以输出判定结果。
95.在检测烟丝质量缺陷时，缺陷一般包括两种类型：一种是缺陷及损伤识别，即检测缺陷或损伤存在与否；第二种是在缺陷及损伤识别的基础上对缺陷进行分类。前者可以看作一个多输入(多个图像特征向量)到单输出的判别过程，而后者则是一个多输入到多输出的判别过程。这种判别过程的建立实质上可以看作是一种模式分类器的设计。
96.当前常见的分类器按照是否具有学习能力分为两类，一类是基于统计特性的分类分类器，例如k近邻法、决策树分类法、支持向量机分类法等；另一类则主要是基于神经网络理论的分类器，如基于反向传播算法(bp)的分类器，以及基于径向基函数神经网络的分类器等。再有就是近年来盛行的能够结合多个分类器优点的集成方法(ensemble methods)。
97.参考图4到图6，图4示出了从烟丝图像提取出的两种图像特征的例子，图5则示出了烟丝图像降维后的例子，图6则示出了通过提取烟丝特征确定的烟丝卷曲的几种不同形态的例子。
98.在一些实施例中，对预处理后的所述烟丝图像包含的图像特征进行特征提取和降维处理的步骤可包括：对预处理后的所述烟丝图像进行尺寸归一化；将归一化的所述烟丝图像输入预训练好的vgg16模型，以便从所述烟丝图像中选取候选区域，并提取候选区域的图像像素特征；对提取的图像像素特征进行融合，并去掉冗余特征，以获得有效描述的特征量作为关键特征信息。
99.在选取出的候选区域后，提取所需要的图像像素特征。本实施例可使用预训练好的vgg16模型作为特征提取网络。图像在进入特征提取网络前，首先对图像进行归一化尺度操作，将图片归一化为预设尺寸(例如600*600)。然后，使用预训练好的vgg16模型作为faster rcnn模型的特征提取网络，将其在imagenet数据集上训练得到的模型参数作为特征提取网络的初始参数。再使用不同噪声水平的数据集对模型进行验证，在对网络进行端到端的训练时，学习率设置为0.001，batch_size设置为128。对每个数据集的实验重复20次，并将20次实验得到的结果取平均值作为最终的实验结果。
100.使用vgg16模型的优势在于，可以直接使用这些在较大规模数据集上训练好的权值等参数，来初始化特征提取网络的参数，提取出更有效的特征图。当任意尺寸的图像经过特征提取网络之前，首先对原始大小为p*q图像进行了尺寸调整，使之变为feat_stride＝q尺寸的图像，如果原始图像小于该尺寸，可以通过边缘补零的方法将图像尺寸变成需要的尺寸。经过尺寸调整后的图像经过特征提取网络得到大小为(m/q)*(n/q)的特征图。特征提取网络可以自行训练，也可以使用在imagenet上预训练好的vgg16模型。
101.在步骤s23中，将所述图像属性特征库中的图像属性特征与对应批次的工艺参数
和烟丝质量参数进行关联，形成供训练和验证的数据集。烟丝质量参数(例如烟丝整丝率、碎丝率及填充值等)可参考烟丝结构行业标准确定，以实现烟丝质量稳定性的可靠依据。
102.在一些实施例中，烟丝结构行业标准主要由机械网筛尺寸判定，采用不同网格尺寸筛选后的烟丝图像特征评价烟丝的结构参数。根据相机拍摄分辨率及烟丝行业标准，对应机械网筛定义烟丝图像像素数小于设定的碎丝阈值判定为碎丝或整丝。机械网筛对烟丝筛选前后的图像分析对比结果，可使用基于图像灰度信息完成自适应阈值图像分割算法。考虑到整丝的部分可能在下面一层，此处是将烟丝表面结构映射到碎丝率、整丝率及填充值等质量指标。烟丝结构不同，分割效果也会不同，筛后烟丝图像分割白色区域结构及大小更相似，图像分割区域大小更相似。
103.优选的，对应机械网筛尺寸分别统计了烘丝图像像素数小于20、像素数大于20小于200及像素数大于200的区域数目。筛选前后分割后图像白色区域像素数大于20小于200为正常范围烟丝所占比例明显高出筛选之前的，与图像显示结果一致。
[0104][0105][0106]
由于烟丝卷曲程度对形状特征分析结果有一定影响，大角度卷曲和小角度卷曲占烟丝卷曲形态的绝大部分，因为评价指标为烟丝图像面积的大小，烟丝卷曲在大角度和小角度卷曲时，卷曲对统计参数结果影响不明显。另两种形态对参数分析结果影响较为明显，但因为所占比重少，其对参数整体的分析结果影响也不大。
[0107][0108]
不同质量参数的烟丝图像对应着不同的烟丝图像特征，根据图像特征与烟丝质量参数的对应关系，利用图像分类识别算法实现不同质量烟丝分类的目标。
[0109]
在步骤s24中，通过所述数据集对所述深度学习模型进行训练和验证。图像分类与语义分割是在算法中使用的两种深度学习方法，图像中烘后烟丝特征不明显，在较少样本的情况下使用深度学习图像分类模型不容易达到预期的检测标准，而语义分割则表现出色。语义分割由于需要对每个像素进行分类，相对速度较低，但也可以满足现场节拍要求。随着样本的丰富，图像分类在烘后烟丝检测方面的表现也会有较好的提升。
[0110]
深度学习图像分类模型分为训练和检测两个阶段。在训练阶段，首先对原图图片切片，对原始图像切片为64*64(根据分类网络调整)，然后对每个小片图片进行打标分类(正常、烘后烟丝)之后输入模型进行训练，输出分类检测模型。在检测阶段，对实时图像切
片，基于训练模型对实时图像切片后小片进行分类判断。
[0111]
深度学习语义分割模型分为训练和检测两个阶段。在训练阶段，由于烘后烟丝表现形式小且分散，人工打标难度大且准确率低，所以可先对原图使用传统算法处理得出标签图。在检测阶段，基于训练模型对实时图像每个像素进行分类判断。语义分割训练阶段打标方式有两种：一是人工打标；二是使用传统算法得出初始标签图，再通过人工修正得到最终清洗后的打标数据。
[0112]
语义分割结合了图像分类、目标检测和图像分割，通过一定的方法将图像分割成具有一定语义含义的区域块，并识别出每个区域块的语义类别，实现从底层到高层的语义推理过程，最终得到一幅具有逐像素语义标注的分割图像。
[0113]
可选的语义分割算法包括：基于全卷积的对称语义分割模型、基于全卷积的扩张卷积语义分割模型、基于全卷积的残差网络语义分割模型和基于全卷积的gan语义分割模型等。烘后烟丝特征比较分散且面积较小，选用语义分割深度学习模型检测主要使用基于全卷积的对称语义分割模型，逐个像素识别烘后烟丝特征，满足烘后烟丝特征的像素准确打标训练，实时检测时逐像素识别检出烘后烟丝区域。
[0114]
图7是根据本公开烘丝质量智能检测系统的一些实施例的结构示意图。参考图7，本公开实施例提供了一种烘丝质量智能检测系统，包括：存储器10和处理器20。处理器20耦接至所述存储器10，被配置为基于存储在所述存储器10中的指令，执行前述实施例的切丝机控制方法。
[0115]
在一些实施例中，烘丝质量智能检测系统还可以包括与处理器信号连接的用于采集烟丝图像的工业相机和图像信号解调及预处理等功能的fpga板卡等。
[0116]
这里所描述的处理器可以包括通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，该处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如dsp与微处理器的组合、多个微处理器、与dsp核心协作的一个或多个微处理器、或任何其他此类配置。
[0117]
结合本文中公开的实施例描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中体现。软件模块可驻留在ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移动盘、cd-rom、或本领域中所知的任何其他形式的存储介质中。
[0118]
至此，已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
[0119]
虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。