一种基于无监督深度估计的初烤烟褶皱度测量方法与流程

本发明涉及烟叶物理指标测量，具体涉及一种基于无监督深度估计的初烤烟褶皱度测量方法。

背景技术：

1、初烤烟褶皱是由于温度、水分的变化，导致细胞组织发生收缩而引起的烟叶外观变化，而烟叶在生长过程中不同部位的细胞组织理化性质存在差异，不同部位在烘烤后的会出现不同程度的褶皱。烤烟国家标准gb 2635-1992中提到，烟叶的等级主要是部位、级别、颜色三者共同决定的。其中，烟叶部位由于外观特征存在差异，可以通过脉相、叶形、叶面皱缩程度、颜色等特征进行判断，在机器视觉领域可以对应的提取纹理、边缘、皱缩深度、rgb等特征。由此可知，褶皱是烟叶部位判断的重要因素之一，对于烟叶分级有重要作用。

2、目前，初烤烟褶皱的测量方法主要靠烟叶分级专家视觉判断后进行部位判断，由于不同专家在进行评判过程会存在感官之间的差异，导致分级过程存在差异。而目前所存在的智能化测量方法，主要是通过获取测量烟叶皱缩前和皱缩后的面积，用二者之间的变化率进行定量表征，或者通过研究烟叶褶皱相关的特征和要素来间接表示烟叶褶皱。前一种方法由于需要测量烟叶初烤前后的面积，而烟叶初烤过程是在不同地区进行的，导致测量过程复杂、效率低、成本高；后一种方法受到自身携带的叶脉、叶片纹理影响，测量结果不准确。

3、综上所述，现有技术的初烤烟褶皱测量方法，虽然能达到测量的目的，但是其测量效果还不够准确，测量方法还有待改进。

技术实现思路

1、本发明提供的一种基于无监督深度估计的初烤烟褶皱度测量方法，首先将初烤烟在烘烤后发生的叶面皱缩形态定义为“初烤烟褶皱度”，并将初烤烟褶皱度的评定参数设定为表面像素算术平均偏差ra、表面像素最大差值rz，然后通过改进无监督深度估计网络模型对制作的烟叶样本提取初烤烟褶皱度深度图，再用roberts算子从深度图中提取褶皱纹理信息，获取表面像素算术平均偏差ra、表面像素最大差值rz，并利用表面像素算术平均偏差ra、表面像素最大差值rz进行聚类，对烟叶进行部位判断。

2、为了达到上述技术目的，本发明是通过以下技术方案实现的：

3、一种基于无监督深度估计的初烤烟褶皱度测量方法，包括以下步骤：

4、s1：将烟叶进行初烤时发生的叶面皱缩形态称为“初烤烟褶皱度”，并将初烤烟褶皱度的评定参数设定为表面像素算术平均偏差ra、表面像素最大差值rz；

5、s2：制作根据初烤烟褶皱度进行部位区分得到的烟叶样本；

6、s3：获取烟叶样本的正面局部图像，构建无监督深度估计的训练数据集和测试数据集；

7、s4：构建改进无监督深度估计网络模型，用该模型对烟叶局部图像处理，获取初烤烟褶皱度深度图；

8、s5：用roberts算子提取深度图中的初烤烟褶皱纹理，获取初烤烟褶皱纹理图的表面像素算术平均偏差ra、表面像素最大差值rz；

9、s6：用birch算法对表面像素算术平均偏差ra、表面像素最大差值rz进行聚类，将初烤烟褶皱度对应烟叶部位分为上、中、下(b、c、x)。

10、优选的，所述的“初烤烟褶皱度”为初烤后的烟叶叶面上具有间距的峰谷所构成的几何体形状特征；所述的表面像素算术平均偏差ra表示深度图中各点的像素值与测量基点之间差距绝对值的算术平均值，能够反映出深度图中褶皱深浅变化的整体情况，表面像素算术平均偏差ra越大则表示褶皱形成的峰谷波动程度越大，反之则波动小；所述的表面像素最大值rz表示深度图中褶皱上最高或最低的峰谷像素值，能反映一张烟叶图像里的最大褶皱；所述烟叶样本由云南省烟叶分级专家根据初烤烟褶皱度进行部位区分的云南各个地区烟叶样本组成，包括上、中、下(b、c、x)三个部位；所述烟叶正面局部图像由工业相机拍摄获得，局部图像仅作为单次拍摄获取结果，实际应用中可多次获取烟叶局部图像来表示整片烟叶；所述改进无监督深度估计网络模型，引入了卷积调制模块和归一化融合模块，并在解码器和编码器之间设计了跳跃连接；所述褶皱度深度图，根据深度图中物体与相机的距离从近到远呈现亮黄到深蓝的原理，褶皱度深度图根据烟叶褶皱由浅到深的深度图像变化为深蓝到亮黄；

11、优选的，所述烟叶样本均由云南省烟草质量监督检测站专家根据初烤烟褶皱度这一要素进行部位判断，并在自制的烟叶图像采集平台中，通过型号为ao-hd206的工业相机，在自然光条件下进行样本图像采集，包括b、c、x三个不同部位的正面烟叶局部图像共8598张，其中包括训练集8250张、测试集348张；

12、优选的，所述改进无监督深度估计网络模型以u型网络编码解码的分割网络作为参考，网络将实际场景下视频流输入卷积层中生成高级编码信息，再利用多尺度融合上采样解码还原到视频流图像分辨率。利用视频流图像计算出重投影矩阵、重新采样并计算更高输入分辨率下的误差，解码器基于swin transformer主干网络并融合卷积调制模块和多层感知机(multi-layerperception,mlp)，在解码阶段借助归一化注意力(normalization-basedattention module,nam)实现特征通道自适应选择并在解码器与编码器之间通过跳跃连接实现上下文信息的补充，nam在上采样中通过匹配特征补丁将下采样过程中丢失的特征以跳跃连接的方式传递，弥补解码特征的细节信息丢失，使解码效率和效果得到改进，尽可能使重建的高分辨率图像更加准确；

13、优选的，所述编码器基于swintransformer卷积神经网络构建，在每个阶段中采用卷积调制层来代替swintransformer基础注意力编码层，卷积调制层的本质依旧是自注意力层，使其记忆效率更高，更有利于网络在弱纹理的场景下进行深度特征提取。同时，设计基于分组卷积跨位置交融多层感知机(multi-layerperception,mlp)。将输入特征看作由多个同样大小的patch组成，通过重新分组变换实现每个patch跨位置信息交流操作，以此来平衡特征边缘信息丢失；

14、其中，编码器借鉴conv2former中的思想，将由特征查询值q、特征关键值k构成的动态权重a当作动态权重进行输入，采用卷积层直接从输入层x中提取权重a，同时将a和v的向量乘法变为hadamard矩阵乘积。如图1中卷积调制模块所示，注意力权重a通过深度可分离卷积和gelu函数提取并激活。与卷积层中的特征权重一样，权重在每次迭代后更新，由于静态权重不会随着输入值发生大范围动态变化，更有利于神经网络的收敛。因此，卷积调制层原理如下：

15、a＝dconvk×k(w1x),v＝conv1×1(w2x)

16、x′＝a⊙v

17、式中，⊙为hadamard积，w1与w2是两个a和v的权重矩阵，conv1×1表示1×1卷积，dconvk×k表示卷积核为k的深度可分离卷积，x′∈rc×h×w卷积调制模块是输出特征。卷积调制操作中dconvk×k使特征空间位置(h,w)与k×k平方区域内的所有像素相关联，通过卷积调制的方式将动态权重a的计算复杂度从指数级增加变为线性叠加，当采用较大的卷积核k，静态注意力权重的关注区域并略弱于动态权重，从而使网络在弱纹理的背景下提取特征效果更佳。

18、由于卷积调制模块注意力关注区域收缩导致特征边缘区域信息丢失，编码器还设计了基于分组卷积跨位置交融多层感知机(multi-layerperception,mlp)，借鉴mlp-mixer的部分思路，将输入特征看作由多个同样大小的patch组成，通过重新分组变换实现每个patch跨位置信息交流操作，以此来平衡特征边缘信息丢失。如图1中mlp模块所示，对mlp输入特征x∈rc×h×w按照p×p大小的patch进行分组，得到组数为s的特征x∈rc×s，然后通过分组卷积进行降维以降低线性层的计算复杂度，此时每个patch绝对位置并未发生改变，但是在线性层将按照patch的纵向计算，最后将线性层处理后的特征进行还原并与原特征做跳跃连接。具体流程为：

19、

20、式中，s表示特征分组组数，p是patch的像素尺寸；liner和gconvk×k分别是线性层和分组卷积；

21、优选的，所述解码器嵌入归一化融合层，将前一层特征与浅层特征进行一种高效的归一化注意力(nam)融合，通过分配注意力权重的方式将浅层特征叠加到解码特征中，从而实现细节信息的解码补充；

22、其中，解码器如图2所示，x1表示通过上采样层的深层特征输入，x2表示通过跳跃连接的浅层特征输入，y表示归一化融合的输出特征。归一化融合包括两条支路，其中x1特征经由卷积调制模块将特征信息进行压缩以便于后续融合操作，x2通过归一化注意力将浅层特征按照通道权重比例进行输入，使得浅层特征中的重要信息得到加强。归一化注意力的实现如下：

23、

24、其中bin∈rn×b×1×h×w表示n个批量大小为b的单通道特征矩阵，这里由x2∈rb×c×h×w变换得到；μb和σb表示bin的单个小批量均值和标准差，ε为防止崩溃的极小值，γi为单个通道的特征值；根据上式即可得到平衡后的特征矩阵bout和通道权重系数wi。与原始的nam不同的是，由于不再考虑浅层特征内部的状态，这里去掉仿射变换参数。因此归一化融合过程为：

25、y＝dconv1×1[cm(x1),sigmiod(wγbn(x2))]

26、式中cm和sigmiod分别为卷积调制模块和激活函数；wγ是x2所有权重wi构成的向量。

27、本发明的有益效果是：

28、本发明提供的一种基于无监督深度估计的初烤烟褶皱度测量方法，可以根据初烤烟叶面褶皱在外观形态上呈现的凹凸不平，在深度图上的每一点像素显示为不同的深度信息，由此判断出褶皱程度，相比于人工测量排除了感官之间的差异误差，相比于普通的图像纹理获取方法，深度估计从三维角度立体地表达出烟叶的褶皱程度。同时，无监督深度估计仅需要将图像序列或立体图像的几何约束作为监督进行训练就能实现深度估计，不需要昂贵的带标签数据，成本低、应用范围广、易于操作。本发明建立了一种可描述的初烤烟褶皱度测量方法，并利用褶皱度这一要素，完成了对烟叶部位的区分。

29、采取本发明提供的初烤烟褶皱度测量方法，对348张烟叶样本数据集进行测试分级，其中包括上部烟(b)118张、中部烟(c)116张、下部烟(x)114张，该数据集有云南省烟叶分级专家根据褶皱度要素进行部位判断。通过初烤烟褶皱度进行烟叶部位分类的效果非常可观，其中上部烟(b)的分类精度达到86.44％，中部烟(c)的分类精度达到93.1％，下部烟(x)的分类精度达到89.94％，综合精度达到89.83％。该实验结果表明，采用本发明的无监督深度估计方法获取初烤烟褶皱度，对通过初烤烟褶皱度判断烟叶部位很有效果，对初烤烟褶皱度判断，提供了更客观的方法。