一种通过增强光学显微镜对动物纤维进行分类的方法与流程

本发明涉及纤维分类的技术领域，尤其涉及一种通过增强光学显微镜对动物纤维进行分类的方法。

背景技术：

目前的天然纤维分类工作流程受到iso标准和扩展的中国标准的严格监管。为了区分一种天然纤维与另一种天然纤维的来源(例如来自羊毛的绒或来自牦牛的绒)，其步骤的顺序通常由人类专家进行图像采集、测量纤维直径、并识别鳞片的全部排列来进行。这是一项耗时的任务，需要专家的专业知识和奉献精神。特别是对于纤维混合物，需要以更高的精度进行识别。

一些高质量的纤维仅通过光学显微镜难以区分，因此需要使用扫描电子显微镜(sem)，并咨询相应的专家以得出确定的答案，这需要更长的时间

实际上，目前已出现采用视觉进行天然纤维分类的方法，但是利用高分辨率的扫描电子显微图像对天然纤维进行分类的方法亟待开发。

技术实现要素：

有鉴于此，本发明的目的在于提供一种通过增强光学显微镜对动物纤维进行分类的方法。

为了实现上述目的，本发明采取的技术方案为：

一种通过增强光学显微镜对动物纤维进行分类的方法，其中，包括：

步骤s1：提供待测纤维的若干焦点堆栈图像，并从若干所述焦点堆栈图像中选择出若干清晰图像，若干所述清晰图像中位置相同的像素为对应像素；

步骤s2：选取每一所述清晰图像中的对应像素，计算每一所述对应像素中的最大值和最小值的加权和，并融合输出加权图像；

步骤s3：对所述加权图像进行二值化，得到二值图像；

步骤s4；识别所述二值图像中的所述待测纤维；

步骤s5：为所述二值图像中的每一所述待测纤维建立掩膜；

步骤s6：针对每一所述待测纤维，对所述掩膜执行腐蚀算法，直至保留1像素宽的骨架；

步骤s7：从若干所述骨架中提取不具有短枝的骨架；

步骤s8：收集不具有所述短枝的所述骨架的坐标并排序；

步骤s9：建立一坐标集，将不具有短枝的所述骨架分别映射至所述坐标集以使所述骨架由曲线转变为直线，并根据所述待测纤维的像素点与所述骨架之间的坐标关系，将所述待测纤维的像素点重新定位到所述骨架上，形成拉直的纤维图像，并执行步骤s10.1至步骤s10.2和/或步骤s11.1；

步骤s10.1：对所述纤维图像进行预处理步骤，得到若干具有相同高度和相同宽度的纤维片段；

步骤s10.2：将若干所述纤维片段输入卷积神经网络，所述卷积神经网络对所述纤维片段进行分类并输出；

步骤s11.1：将若干所述纤维图像输入半启发式算法模块，所述半启发式算法模块对所述纤维图像进行分类并输出；

其中，所述卷积神经网络包括若干用于检测视觉特性的卷积块、以及若干用于分类的密集块，所述卷积神经网络通过纤维图像训练集和纤维图像验证集进行训练；

其中，所述半启发式算法模块预设有纤维的特征向量标准数据集，所述半启发式算法模块检测所述待测纤维的特征向量并与所述特征向量标准数据集相比对，从而进行分类并输出。

上述的通过增强光学显微镜对动物纤维进行分类的方法，其中，在所述步骤s10.1中，所述预处理步骤包括：

步骤s10.11：将所述纤维图像的高度扩展至第一指定像素；

步骤s10.12：将所述纤维图像切割成若干宽度为第二指定像素的部分，从而得到若干高度为第一指定像素、宽度为第二指定像素的所述纤维片段。

上述的通过增强光学显微镜对动物纤维进行分类的方法，其中，所述特征向量用于描述纤维的物理特性或视觉特性，所述特征向量包括：用于描述纤维的空间尺寸的第一度量组、用于描述纤维的边界形貌的第二度量组、用于描述纤维的鳞片形态的第三度量组和用于描述纤维的颜色的第四度量组。

上述的通过增强光学显微镜对动物纤维进行分类的方法，其中，所述卷积神经网络和所述半启发式算法模块分别预设有若干类型标签，所述卷积神经网络和所述半启发式算法模块分别输出所述待测纤维被分类为其中一所述类型标签的概率。

上述的通过增强光学显微镜对动物纤维进行分类的方法，其中，所述卷积神经网络和所述半启发式算法模块均将具有最高概率的所述类型标签作为结果标签。

上述的通过增强光学显微镜对动物纤维进行分类的方法，其中，还包括：

步骤s12，判断所述卷积神经网络输出的所述结果标签和所述半启发式算法模块输出的所述结果标签是否相同，若相同则执行步骤s13，若不相同则执行步骤s14；

步骤s13：将所述待测纤维分类为所述结果标签；

步骤s14：将所述待测纤维分类为未识别结果。

上述的通过增强光学显微镜对动物纤维进行分类的方法，其中，计算若干所述焦点堆栈图像的二阶导数的总方差，并根据所述焦点堆栈图像的二阶导数的总方差中的最小值选择出所述清晰图像。

上述的通过增强光学显微镜对动物纤维进行分类的方法，其中，采用otsu算法对所述加权图像进行二值化。

上述的通过增强光学显微镜对动物纤维进行分类的方法，其中，在所述步骤s4中，通过判断边界是否满足面积的标准、纵横比的标准和/或边界至骨架的距离的标准以识别所述待测纤维。

上述的通过增强光学显微镜对动物纤维进行分类的方法，其中，在所述步骤s5中，反转所述二值图像并对反转的所述二值图像进行膨胀算法，以对提取的每一所述待测纤维建立所述掩膜。

上述的通过增强光学显微镜对动物纤维进行分类的方法，其中，在所述步骤s7中，通过设定所述腐蚀算法的腐蚀距离的阈值去除所述短枝，以提取不具有所述短枝的所述骨架；

或，通过仅选取长枝，以提取不具有所述短枝的骨架。

上述的通过增强光学显微镜对动物纤维进行分类的方法，其中，在所述步骤s8中，根据所述骨架的图像的连通性收集所述骨架的坐标并排序。

上述的通过增强光学显微镜对动物纤维进行分类的方法，其中，在所述步骤s9中，所述坐标集内的坐标为所述待测纤维的像素点和所述骨架之间的最小距离矢量。

上述的通过增强光学显微镜对动物纤维进行分类的方法，其中，为所述卷积神经网络输出的概率设置第一最小阈值，若所述卷积神经网络输出的所述概率小于所述第一最小阈值，则所述卷积神经网络将所述结果标签标记为未识别。

上述的通过增强光学显微镜对动物纤维进行分类的方法，其中，为所述半启发式算法模块的概率设置第二最小阈值，若所述半启发式算法模块输出的所述概率小于所述第二最小阈值，则所述半启发式算法模块将所述结果标签标记为未识别。

本发明由于采用了上述技术，使之与现有技术相比具有的积极效果是：

(1)本发明将光学显微镜的高分辨率图片与分析图像处理、深度学习相结合，以便自动或半自动地检测和分类羊毛纤维的混合物，通过自动工作或半自动工作提高羊毛混合物分类的速度，时间效率和准确性。

附图说明

图1是本发明的通过增强光学显微镜对动物纤维进行分类的方法的第一实施例的流程图。

图2是本发明的通过增强光学显微镜对动物纤维进行分类的方法的第二实施例的流程图。

图3是本发明的通过增强光学显微镜对动物纤维进行分类的方法的第三实施例的流程图。

图4是本发明的通过增强光学显微镜对动物纤维进行分类的方法的第三实施例的流程图。

图5是本发明的通过增强光学显微镜对动物纤维进行分类的方法的第四实施例的流程图。

图6是本发明的通过增强光学显微镜对动物纤维进行分类的方法的步骤a1的示意图。

图7是本发明的通过增强光学显微镜对动物纤维进行分类的方法的步骤a1的示意图。

图8是本发明的通过增强光学显微镜对动物纤维进行分类的方法的步骤a2的示意图。

图9是本发明的通过增强光学显微镜对动物纤维进行分类的方法的步骤a2的示意图。

图10是本发明的通过增强光学显微镜对动物纤维进行分类的方法的步骤a3的示意图。

图11是本发明的通过增强光学显微镜对动物纤维进行分类的方法的步骤a4至步骤a7的示意图。

图12是本发明的通过增强光学显微镜对动物纤维进行分类的方法的步骤a8至步骤a9的示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。

第一实施例：

图1是本发明的通过增强光学显微镜对动物纤维进行分类的方法的第一实施例的流程图，图6是本发明的通过增强光学显微镜对动物纤维进行分类的方法的步骤a1的示意图，图7是本发明的通过增强光学显微镜对动物纤维进行分类的方法的步骤a1的示意图，图8是本发明的通过增强光学显微镜对动物纤维进行分类的方法的步骤a2的示意图，图9是本发明的通过增强光学显微镜对动物纤维进行分类的方法的步骤a2的示意图，图10是本发明的通过增强光学显微镜对动物纤维进行分类的方法的步骤a3的示意图，图11是本发明的通过增强光学显微镜对动物纤维进行分类的方法的步骤a4至步骤a7的示意图，图12是本发明的通过增强光学显微镜对动物纤维进行分类的方法的步骤a8至步骤a9的示意图，请参见图1、图6至图12所示，示出了第一种较佳实施例的通过增强光学显微镜对动物纤维进行分类的方法，包括：

步骤a1：提供待测纤维的若干焦点堆栈图像，并从若干焦点堆栈图像中选择出清晰图像，若干清晰图像中位置相同的像素为对应像素；

步骤a2：选取每一组清晰图像中的对应像素，计算每一组对应像素中的最大值和最小值的加权和，并融合输出加权图像；

步骤a3：对加权图像进行二值化，得到二值图像；

步骤a4；识别二值图像中的待测纤维；

步骤a5：为二值图像中的每一待测纤维建立掩膜；

步骤a6：针对每一待测纤维，对掩膜执行腐蚀算法，直至保留1像素宽的骨架；

步骤a7：从若干骨架中提取不具有短枝的骨架；

步骤a8：收集不具有短枝的骨架的坐标并排序；

步骤a9：建立一坐标集，将不具有短枝的所述骨架分别映射至所述坐标集以使所述骨架由曲线转变为直线，并根据所述待测纤维的像素点与所述骨架之间的坐标关系，将所述待测纤维的像素点重新定位到所述骨架上，形成拉直的纤维图像；

步骤a10.1：对纤维图像进行预处理步骤，得到若干具有相同高度和相同宽度的纤维片段；

步骤a10.2：将若干纤维片段输入卷积神经网络，卷积神经网络对纤维片段进行分类并输出结果标签；

其中，卷积神经网络包括若干用于检测视觉特性的卷积块、以及若干用于分类的密集块，卷积神经网络通过纤维图像训练集和纤维图像验证集进行训练。

第二实施例：

图2是本发明的通过增强光学显微镜对动物纤维进行分类的方法的第二实施例的流程图，请参见图2所示，示出了第二种较佳实施例的通过增强光学显微镜对动物纤维进行分类的方法，包括：

步骤b1：提供待测纤维的若干焦点堆栈图像，并从若干焦点堆栈图像中选择出清晰图像，若干清晰图像中位置相同的像素为对应像素；

步骤b2：选取每一组清晰图像中的对应像素，计算每一组对应像素中的最大值和最小值的加权和，并融合输出加权图像；

步骤b3：对加权图像进行二值化，得到二值图像；

步骤b4；识别二值图像中的待测纤维；

步骤b5：为二值图像中的每一待测纤维建立掩膜；

步骤b6：针对每一待测纤维，对掩膜执行腐蚀算法，直至保留1像素宽的骨架；

步骤b7：从若干骨架中提取不具有短枝的骨架；

步骤b8：收集不具有短枝的骨架的坐标并排序；

步骤b9：建立一坐标集，将不具有短枝的所述骨架分别映射至所述坐标集以使所述骨架由曲线转变为直线，并根据所述待测纤维的像素点与所述骨架之间的坐标关系，将所述待测纤维的像素点重新定位到所述骨架上，形成拉直的纤维图像；

步骤b11.1：将若干纤维图像输入半启发式算法模块，半启发式算法模块对纤维图像进行分类并输出结果标签；

其中，半启发式算法模块预设有纤维的特征向量标准数据集，半启发式算法模块检测待测纤维的特征向量并与特征向量标准数据集相比对。

第三实施例：

图3是本发明的通过增强光学显微镜对动物纤维进行分类的方法的第三实施例的流程图，图4是本发明的通过增强光学显微镜对动物纤维进行分类的方法的第三实施例的流程图，请参见图3、图4所示，示出了第三种较佳实施例的通过增强光学显微镜对动物纤维进行分类的方法，包括：

步骤c1：提供待测纤维的若干焦点堆栈图像，并从若干焦点堆栈图像中选择出清晰图像，若干清晰图像中位置相同的像素为对应像素；

步骤c2：选取每一组清晰图像中的对应像素，计算每一组对应像素中的最大值和最小值的加权和，并融合输出加权图像；

步骤c3：对加权图像进行二值化，得到二值图像；

步骤c4；识别二值图像中的待测纤维；

步骤c5：为二值图像中的每一待测纤维建立掩膜；

步骤c6：针对每一待测纤维，对掩膜执行腐蚀算法，直至保留1像素宽的骨架；

步骤c7：从若干骨架中提取不具有短枝的骨架；

步骤c8：收集不具有短枝的骨架的坐标并排序；

步骤c9：建立一坐标集，将不具有短枝的所述骨架分别映射至所述坐标集以使所述骨架由曲线转变为直线，并根据所述待测纤维的像素点与所述骨架之间的坐标关系，将所述待测纤维的像素点重新定位到所述骨架上，形成拉直的纤维图像，执行步骤c10.1至步骤c10.2和步骤c11.1；

步骤c10.1：对纤维图像进行预处理步骤，得到若干具有相同高度和相同宽度的纤维片段；

步骤c10.2：将若干纤维片段输入卷积神经网络，卷积神经网络对纤维片段进行分类并输出标签；

步骤c11.1：将若干纤维图像输入半启发式算法模块，半启发式算法模块对纤维图像进行分类并输出结果标签；

步骤c12，判断卷积神经网络输出的结果标签和半启发式算法模块输出的结果标签是否相同，若相同则执行步骤c13，若不相同则执行步骤c14；

步骤c13：将待测纤维分类为结果标签；

步骤c14：将待测纤维分类为未识别结果。

其中，卷积神经网络包括若干用于检测视觉特性的卷积块、以及若干用于分类的密集块，卷积神经网络通过纤维图像训练集和纤维图像验证集进行训练；

其中，半启发式算法模块预设有纤维的特征向量标准数据集，半启发式算法模块检测待测纤维的特征向量并与特征向量标准数据集相比对。

进一步，作为一种较佳的实施例，特征向量用于描述纤维的物理特性或视觉特性，特征向量包括：用于描述纤维的空间尺寸的第一度量组、用于描述纤维的边界形貌的第二度量组、用于描述纤维的鳞片形态的第三度量组和用于描述纤维的颜色的第四度量组。

更进一步，作为一种较佳的实施例，卷积神经网络和半启发式算法模块分别预设有若干类型标签，卷积神经网络和半启发式算法模块分别输出待测纤维被分类为其中一类型标签的概率。

再进一步，作为一种较佳的实施例，卷积神经网络和半启发式算法模块均将具有最高概率的类型标签作为结果标签。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围。

本发明在上述基础上还具有如下实施方式：

本发明的进一步实施例中，第一度量组描述了纤维的在大尺寸上的形状和结构，第二度量组进一步地描述了纤维的边界和内部的微观结构，第三度量组更进一步地描述了纤维的内部的鳞片的微观结构，第四度量组描述了纤维的颜色。

本发明的进一步实施例中，优选地，所述第一度量值可以或至少包括：纤维的中线的长度、沿纤维的弧长测量的纤维直径的最大值、沿纤维的弧长测量的纤维直径的最小值、沿纤维的弧长测量的纤维直径的平均值、纤维直径的绝对标准差、经过平均值归一化的纤维直径的绝对标准差、纤维直径的偏度、纤维直径的峰度以及纤维直径的空间变化。

本发明的进一步实施例中，沿纤维的水平中线使用1d信号，即可直接得到或计算得到第二度量组的若干特征。

本发明的进一步实施例中，优选地，所述第二度量值可以或至少包括：分形、纤维边界的顶部和纤维边界的底部的协方差、纤维边界的每个点处的切线斜率的协方差、纤维高度的最大值和纤维高度的最小值之间的平均距离、纤维的边缘处的鳞片高度的平均正斜率、纤维的边缘处的鳞片高度的平均负斜率。

本发明的进一步实施例中，通过归一化1d信号测量纤维内部的鳞片形态得到第三组度量值的若干特征。

本发明的进一步实施例中，优选地，所述第三度量值可以或至少包括：所获得的归一化1d信号的功率谱密度。

本发明的进一步实施例中，优选地，所述第四度量组可以或至少包括：纤维在cielab系统中的每一通道的强度的最大值、纤维在cielab系统中的每一通道的强度的最大值的一半处的两个值、以及纤维在rgb系统中的每一通道的平均强度。

其中，l通道为明度通道、a通道和b通道为两个色度通道，r通道、g通道和b通道分别为红色通道、绿色通道和蓝色通道。

本发明的进一步实施例中，为卷积神经网络输出的概率设置第一最小阈值，若卷积神经网络输出的概率小于第一最小阈值，则卷积神经网络将结果标签标记为未识别。

本发明的进一步实施例中，为半启发式算法模块的概率设置第二最小阈值，若半启发式算法模块输出的概率小于第二最小阈值，则半启发式算法模块将结果标签标记为未识别。

第四实施例：

图5是本发明的通过增强光学显微镜对动物纤维进行分类的方法的第四实施例的流程图，请参见图5所示，第四种较佳的实施例在第一实施例或第三实施例的基础上，进一步地包括：一种预处理步骤，预处理步骤包括：

步骤d10.11：将纤维图像的高度扩展至第一指定像素；

步骤d10.12：将纤维图像切割成若干宽度为第二指定像素的部分，从而得到若干高度为第一指定像素、宽度为第二指定像素的纤维片段。

进一步，作为一种较佳的实施例，在步骤d10.11中，通过填充空像素将纤维图像的高度扩展至第一指定像素。

具体地，在步骤d10.11中，将纤维图像的高度通过填充0像素扩展至224像素。

具体地，在步骤d10.12中，将纤维图像切割成若干个宽度为384像素的部分，从而得到尺寸为224×384像素的纤维片段。

第五实施例：

第五种较佳的实施例在第一实施例、第二实施例或第三实施例的基础上，进一步地包括：在步骤s4中，通过判断边界是否满足面积的标准、纵横比的标准和/或边界至骨架的距离的标准以识别待测纤维。

此外，作为一种较佳的实施例，在步骤a1/b1/c1中，计算若干焦点堆栈图像的二阶导数的总方差，并根据焦点堆栈图像的二阶导数的总方差中的最小值选择出清晰图像。

进一步，作为一种较佳的实施例，在步骤a1/b1/c1中，每一清晰图像的第i行第j列的像素为对应像素，在步骤a2/b2/c2中，在第i行第j列的所有对应像素中选取最大值和最小值进行加权求和，并融合输出加权图像。

另外，作为一种较佳的实施例，在步骤a2/b2/c2中，采用otsu算法对加权图像进行二值化。

还有，作为一种较佳的实施例，在步骤a4/b4/c4中，通过判断边界是否满足面积的标准、纵横比的标准和/或边界至骨架的距离的标准以识别待测纤维，以区分单个待测纤维与图像的其余部分(包括直线、曲线、线段和重叠的部分)。其中，面积的标准、纵横比的标准、边界至骨架的距离的标准可根据待测纤维的实际情况具体定义，用于找到边界所包围的区域的面积和形状，从而找到待测纤维的边界。

具体地，可以使用不同的方式进行最佳的纤维提取，以总变差和拉普拉斯算子为例，在其中一个较佳的实施例中可以使用纵横比将二值图像中的图形分类为待测纤维，在另一个较佳的实施例中，可以使用边界的半径变化将二值图像中的图形分类为待测纤维，从而取出二值图像的背景中的干扰物(例如噪点)。

进一步，作为一种较佳的实施例，在步骤a5/b5/c5中，反转二值图像并对反转的二值图像进行膨胀算法，以对提取的每一待测纤维建立掩膜。

可选择地，作为一种较佳的实施例，在步骤a7/b7/c7中，通过设定腐蚀算法的腐蚀距离的阈值去除短枝，以提取不具有短枝的骨架；

可选择地，作为一种较佳的实施例，在步骤a7/b7/c7中，通过仅选取长枝，以提取不具有短枝的骨架。

本发明的进一步实施例中，通过定义骨架的形状、长度等以将骨架区分为长枝或短枝。

还有，作为一种较佳的实施例，在步骤a8/b8/c8中，根据骨架的图像的连通性收集骨架的坐标并排序。

另一方面，作为一种较佳的实施例，在步骤a9/b9/c9中，坐标集内的坐标为待测纤维的像素点和骨架之间的最小距离矢量。

以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本发明说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。