一种基于机器视觉的面料表面缺陷检测和标记方法与流程

本发明涉及一种表面缺陷检测和标记方法，该表面缺陷检测和标记方法基于机器视觉，可对运行的面料进行检测。

背景技术：

近年来，在纺织产品生产中，对产品质量的控制得到了越来越多的关注，尤其是对面料质量的检测。布面缺陷是影响面料质量的主要因素，受到面料本身质地以及纺织工艺过程的影响。面料本身质地较差或者不合适的纺织工艺将会导致面料表面产生缺陷，如孔洞、稀密、跳花、结头、断纱、缺纱、异物、脏污等缺陷。由于湿度、温度等客观环境的变化，编织机可能会受到影响从而导致编制出的面料纹理不规则从而产生缺陷，编织过程中的各个环节的细小变化都可能会导致各种各样的缺陷。

随着工业4.0时代的快速向前推进，制造业会迈向一个全新的时代，很多传统行业都面临着如何向智能化与自动化生产制造方向转变的问题，企业需要进行技术革新，以达到自身的长远可持续发展。纺织类面料行业面临着同样的问题，尤其在面料质量检测方面，过去企业采用的是人工检验的方式，靠工人的眼睛去看面料上的缺陷。人工检验的方式弊端很多，主观性大，易疲劳，效率低，速度慢(低于10米/分钟)。另外国内劳动力相对不足、人工成本持续高涨、高级技工严重缺乏等诸多问题的呈现，今后企业所面临的用工难和人工成本高的问题也会越来越突出。

机器视觉技术在本世纪初引入我国，早期只在高端生产制造领域比如印钞、半导体等行业应用，随着技术的不断发展和设备的价格降低，这项技术已经应用到各行各业，极大地促进着传统的以人为主的制造业朝着自动化和智能化的方向发展。机器视觉图像检测技术用于产品的质量检验，具有如下优势：100％全检，永不疲劳，检测标准严格统一，不同产品可以实现差异化检测，高速高效，同时可以建立数字化的质量标准体系等。和人工检验相比的一个劣势是工艺成熟度相对人工检验要低，毕竟是个新技术，需要根据所应用行业的工艺要求进行完善，最终实现无缝地嵌入到现有的生产工艺中去。

然，将机器视觉技术应用于面料的检测上还存在一定的困难，面料是在线运行的，面料在运行时如何确保机器的检测始终稳定，检测结果准确度如何保证，另外对于面料上有周期性的图案时，其缺陷的检测更加困难。

技术实现要素：

本发明所要解决的技术问题是：提供一种基于机器视觉的面料表面缺陷检测和标记方法，该检测和标记方法可对在线运行的面料进行检测并对有缺陷的部位进行标记，从而提高了面料缺陷检测的效率，也提高了缺陷检测的稳定性。

为解决上述技术问题，本发明的技术方案是：一种基于机器视觉的面料表面缺陷检测和标记方法，包括以下步骤：

a、利用建模模块建立当前待检面料的标准模板，该建模模块通过图像采集模块对运行的当前待检面料的无表面缺陷区域段进行逐行拍照形成行图像；图像采集模块将设定行数的行图像合成标准样本图像，建模模块再对标准样本图像进行处理限定检测边界并设定缺陷判定的灰度阈值后保存；

b、利用图像采集模块对运行的当前待检面料进行逐行拍照形成了包含位置信息的行图像，并将与标准模板相同行数的行图像合成为一张张待检图像；

c、利用预处理模块对每张待检图像进行预处理得到最终待检图像，每张最终待检图像的检测边界与标准样本图像的检测边界一致；

d、利用缺陷检测模块将最终待检图像逐张与标准样本图像进行一一对比，根据最终待检图像与标准样本图像之间的灰度差异值来判断该张最终待检图像上是否存在缺陷，其中，当该灰度差异值超过设定检测参数的阈值时，表明该最终待检图像中存在表面缺陷，并将该具有表面缺陷的最终待检图像和位置信息输出给缺陷记录和统计模块储存；当该灰度差异值小于设定检测参数的阈值时，表明该最终待检图像无表面缺陷；

e、根据缺陷检测模块的检测结果，利用贴标控制模块控制贴标机对有表面缺陷的最终待检图像所对应的的面料区域边缘进行贴标。

优选的，当面料为无图案的面料时，步骤a中建模模块只进行左右检测边界限定：即将标准样本图像的左右两侧非面料区域、左右两侧的面料边缘裁剪后完成检测边界的限定；当面料为有周期性变化图案的面料时，步骤a中建模模块先进行上述的左右检测边界限定，再沿输送方向进行前后检测边界限定，该前后检测边界限定的方式为：建模时图像采集模块采集至少两张标准样本图像，将至少两张标准样本图像合成形成一张包含重复图案的合成样本图像，分析合成样本图像中的像素点并裁剪出只包含一个重复图案单元的图像作为模板的标准样本图像。

优选的，步骤b中图像采集模块采用至少一台线扫描相机，该线扫描相机由与面料带动同步旋转的编码器控制曝光，编码器产生周期性的触发信号控制线扫描相机周期性曝光，每次曝光形成一张行图像，编码器同时还对面料的运行长度进行计量，并将合成待检图像的最末一张行图像所对应的面料米数作为待检图像的位置信息。

优选的，所述步骤c中的预处理方式为：

当面料为无图案的面料时，预处理模块对每张待检图像进行预处理的方式为左右检测边界限定，该左右检测边界限定的方式与建模模块时的左右检测边界的限定方式相同；

当面料为有周期性变化图案的面料时，预处理模块对每张待检图像的预处理方式为：先进行左右检测边界限定再进行前后检测边界限定，该左右检测边界限定的方式与建模模块时的左右检测边界的限定方式相同；

前后检测边界限定的方式为：

c1、预处理模块先将第一张待检图像和第二张待检图像合成为第一一张合成待检图像；

c2、选择模板的标准样本图像的一个特征像素作为定位像素点，同时确定该定位像素点相对于标准样本图像起始行的相对位置；

c3、预处理模块分析并对比第一张合成待检图像，确定该定位像素点在第一张合成待检图像中所处的最前位置，并根据定位像素点在标准样本图像中的相对位置向前推移确定第一张合成待检图像所要限定的最前边界，删除第一张合成待检图像中处于最前边界之前的图像区域；

c4、根据设定行数确定第一张合成待检图像所要限定的最后边界，将合成待检图像中处于最前边界和最后边界的图像区域裁剪出得到第一张最终待检图像；第一张合成待检图像裁剪后的剩余图像留下备用；

c5、将下一张待检图像与步骤c4中的剩余图像按照前后顺序拼接得到第二张合成待检图像，剩余图像的前端边界作为下一张最终待检图像的最前边界；

c6、按照步骤c4的方法预处理第二张合成待检图像得到第二张最终待检图像，第二张合成待检图像裁剪后的剩余图像留下备用；

c7、重复步骤c5和步骤c6得到第三张最终待检图像、第四张最终待检图像、……、第n张最终待检图像，直到无下一张最终待检图像输入或者接收到停止检测命令后停止处理。

作为一种优选的方案，当面料为有周期性变化图案的面料时，所述图像预处理步骤中还包括误差调整步骤，该误差调整方式在前后检测边界限定中进行，设定通过预处理模块预处理了一定张数的最终待检图像后，进行误差调整步骤，该误差调整步骤为：

c11、将下一张待检图像与上次裁剪的剩余图像按照前后顺序拼接得到新一张合成待检图像；

c12、按照步骤c3的操作方式再次进行最前边界的限定；

c13、从步骤c4开始再次进行预处理进行前后检测边界的限定。

优选的，该检测和标记方法还包括人工检测步骤，在所述步骤d中，当确定最终待检图像中存在表面缺陷时，利用声光报警模块报警，提示在人工检测区域中进行缺陷人工确定。

优选的，所述步骤d中的缺陷检测模块还包括纹理缺陷检测单元，当面料为有周期性变化图案的面料时，步骤d中还利用纹理缺陷检测单元对面料进行纹理检测。

采用了上述技术方案后，本发明的效果是：该检测和标记方法利用图像采集模块进行逐行拍照再合成的方式形成了标准样本图像和待测图像，逐行拍照可以提高图像的像素，使面料表面的缺陷尽可能的显现；其次该检测和标记方法对待测图像进行检测边界的限定，使待测图像经过预处理后得到最终待测图像，用于与标准样本图像进行对比，这样，尽可能的减少了拍摄过程中产生的误差，减少误报率的产生；最终，该检测和标记方法利用缺陷检测模块对比标准样本图像和最终待测图像的灰度差异值来判断是否存在缺陷，并且每张最终待测图像也集成了位置信息，从而方便贴标控制模块控制贴标机准确贴标。该检测和标记方法可实现运行的面料的在线检测，提高了检测效率，降低了误报率，提高了检测的稳定性。

又由于步骤b中图像采集模块采用至少一台线扫描相机，该线扫描相机由与面料带动同步旋转的编码器控制曝光，编码器产生周期性的触发信号控制线扫描相机周期性曝光，每次曝光形成一张行图像，编码器同时还对面料的运行长度进行计量，并将合成待检图像的最末一张行图像所对应的面料米数作为待检图像的位置信息，利用编码器不但可以控制线扫描相机周期曝光，使拍照的位置更加准确，而且能对面料的运行长度进行计量，从而确定待检图像的位置信息，方便贴标控制模块读取该位置信息。

又由于所述步骤c中的预处理方式根据有图案和无图案的面料进行分别预处理，这样，有周期性变化图案的面料在进行检测时，经过预处理后的最终待检图像与标准样本图像的对比得到的检测的结果更加准确，而且检测更加快速，而本身预处理的速度也提高，这样就提高了分析处理的速度，该检测和标记方法可以适应面料运行速度更高的情况。

当面料为有周期性变化图案的面料时，所述图像预处理步骤中还包括误差调整步骤，该误差调整方式在前后检测边界限定中进行，设定通过预处理模块预处理了一定张数的最终待检图像后，进行误差调整步骤，利用该误差调整步骤可以降低面料运行过程中的前后变形造成的误差，避免误差积累。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是目前现有的精纺面料的生产工艺流程；

图2是建模模块的建模流程图；

图3是对面料进行正常检测时的检测流程图；

图4是预处理模块的处理原理图一；

图5是预处理模块的处理原理的图二；

图6是实现该检测和标记方法的设备工艺图；

图7是实现该检测的图像采集模块的硬件布置图；

附图中：1.码布堆；2.机架；3.放料机头；4.纠偏装置；5.线扫描相机；51.相机本体；52.光学镜头；53.相机外罩；6.正面光源；7.背面光源；8.贴标机；9.收卷机；10.张力传感器；11.人工检测平台；12.吸尘装置；13.展平装置；14.主动牵引辊组；15.电磁加热辊；16.背面灯箱；17.编码器；18.面料；19.检测输送辊；20.检测输送辊。

具体实施方式

下面通过具体实施例对本发明作进一步的详细描述。

如图1至图7所示，一种基于机器视觉的面料表面缺陷检测和标记方法，该检测和标记方法用于精纺类面料18的表面缺陷检测，精纺面料18的工艺流程如图1所示，纱线通过织机织布变成坯布，经过坯布检验之后对其中的缺陷进行修补也就是修布，这时的面料18还是半成品，再经过一系列的后整理工序(包括烧毛、剪毛、洗呢、煮呢、烘干、定形、压烫等)处理之后即为成品，最后进行成品检验后即可包装出货。而面料18表面检测和标记可以用于半成品的坯布检测，也可以用于成品面料18检测。

该检测和标记方法包括以下步骤：

a、利用建模模块建立当前待检面料18的标准模板，该建模模块通过图像采集模块对运行的当前待检面料18的无表面缺陷区域段进行逐行拍照形成行图像；图像采集模块将设定行数的行图像合成标准样本图像，建模模块再对标准样本图像进行处理限定检测边界并设定缺陷判定的灰度阈值后保存；如图2所示，首先，利用建模模块先设定一个面料18类型，对应的模版会保存在该面料18类型的子目录下方，然后采集标准样本图像；然后将标准样本图像进行裁剪，限定检测边界，而后设定缺陷判定的灰度阈值，最终，建模模块通过学习和训练完成标准样本图像的调试调整，最终保存该面料18的模版信息。

b、利用图像采集模块对运行的当前待检面料18进行逐行拍照形成了包含位置信息的行图像，并将与标准模板相同行数的行图像合成为一张张待检图像；

c、利用预处理模块对每张待检图像进行预处理得到最终待检图像，每张最终待检图像的检测边界与标准样本图像的检测边界一致；

d、利用缺陷检测模块将最终待检图像逐张与标准样本图像进行一一对比，根据最终待检图像与标准样本图像之间的灰度差异值来判断该张最终待检图像上是否存在缺陷，其中，当该灰度差异值超过设定检测参数的阈值时，表明该最终待检图像中存在表面缺陷，并将该具有表面缺陷的最终待检图像和位置信息输出给缺陷记录和统计模块储存；当该灰度差异值小于设定检测参数的阈值时，表明该最终待检图像无表面缺陷；所述步骤d中的缺陷检测模块还包括纹理缺陷检测单元，当面料18为有周期性变化图案的面料18时，步骤d中还利用纹理缺陷检测单元对面料18进行纹理检测。纹理检测也是目前疵点、缺陷检测中比较先进的技术，纹理是图像的一种重要特征，它是有效范围内色调变化的空间分布所产生的视觉效果，从统计的角度看，纹理具有恒定或变化很小的局部统计特征，从结构组织的角度看，纹理是由一些小的结构单元以一定的周期重复而形成的。利用纹理检测的原理是，以给定的标准样本图像上的纹理模式为基准，判断最终待测图像的区域中是否含有不规则的成分，这就是缺陷判别的基本任务，整个过程包含了特征向量的提取和判决两步。而cn200510041692-织物纹理检测方法及装置也公开了织物上用纹理检测的一种方法，纹理检测是对上述灰度检测的补充，用于更为复杂的具有周期变化图案的面料18上。

e、根据缺陷检测模块的检测结果，利用贴标控制模块控制贴标机8对有表面缺陷的最终待检图像所对应的的面料18区域边缘进行贴标。

如图3所示，该图3就表示了缺陷检测模块检测一张面料18图像的检测流程，其中可认为发出停止命令使缺陷检测模块停止检测。

步骤b中图像采集模块采用至少一台线扫描相机5，如图7所示，该线扫描相机5由与面料18带动同步旋转的编码器17控制曝光，线扫描相机5包括相机本体51、光学镜头52和相机外罩53，线扫描相机5与面料18之间的夹角为锐角，这样方便面料18的缺陷完全显现；编码器17产生周期性的触发信号控制线扫描相机5周期性曝光，每次曝光形成一张行图像，编码器17同时还对面料18的运行长度进行计量，并将合成待检图像的最末一张行图像所对应的面料18米数作为待检图像的位置信息。编码器17是目前常用部件，可用于计米和触发，编码器17会产生周期性的脉冲波形，这个就是触发信号，利用该出发信号可以出发线扫描相机5周期性曝光，完成行图像的逐行拍摄。

一般而言，在面料18的宽度方向上优选的设置两台线扫描相机5进行拍摄，这样可提高行图像的分辨率，从而使缺陷更加容易显现，方便图像对比和分析。

当面料18为无图案的面料18时，步骤a中建模模块只进行左右检测边界限定：即将标准样本图像的左右两侧非面料18区域、左右两侧的面料18边缘裁剪后完成检测边界的限定；当面料18为有周期性变化图案的面料18时，步骤a中建模模块先进行上述的左右检测边界限定，再沿输送方向进行前后检测边界限定，该前后检测边界限定的方式为：建模时图像采集模块采集至少两张标准样本图像，将至少两张标准样本图像合成形成一张包含重复图案的合成样本图像，分析合成样本图像中的像素点并裁剪出只包含一个重复图案单元的图像作为模板的标准样本图像。

所述步骤c中的预处理方式为：

当面料18为无图案的面料18时，预处理模块对每张待检图像进行预处理的方式为左右检测边界限定，该左右检测边界限定的方式与建模模块时的左右检测边界的限定方式相同；

当面料18为有周期性变化图案的面料18时，预处理模块对每张待检图像的预处理方式为：先进行左右检测边界限定再进行前后检测边界限定，该左右检测边界限定的方式与建模模块时的左右检测边界的限定方式相同；

前后检测边界限定的方式为：

c1、预处理模块先将第一张待检图像和第二张待检图像合成为第一一张合成待检图像；

c2、选择模板的标准样本图像的一个特征像素作为定位像素点，同时确定该定位像素点相对于标准样本图像起始行的相对位置；

c3、预处理模块分析并对比第一张合成待检图像，确定该定位像素点在第一张合成待检图像中所处的最前位置，并根据定位像素点在标准样本图像中的相对位置向前推移确定第一张合成待检图像所要限定的最前边界，删除第一张合成待检图像中处于最前边界之前的图像区域；

c4、根据设定行数确定第一张合成待检图像所要限定的最后边界，将合成待检图像中处于最前边界和最后边界的图像区域裁剪出得到第一张最终待检图像；第一张合成待检图像裁剪后的剩余图像留下备用；

c5、将下一张待检图像与步骤c4中的剩余图像按照前后顺序拼接得到第二张合成待检图像，剩余图像的前端边界作为下一张最终待检图像的最前边界；

c6、按照步骤c4的方法预处理第二张合成待检图像得到第二张最终待检图像，第二张合成待检图像裁剪后的剩余图像留下备用；

c7、重复步骤c5和步骤c6得到第三张最终待检图像、第四张最终待检图像、……、第n张最终待检图像，直到无下一张最终待检图像输入或者接收到停止检测命令后停止处理。

作为一种优选的方案，当面料18为有周期性变化图案的面料18时，所述图像预处理步骤中还包括误差调整步骤，该误差调整方式在前后检测边界限定中进行，设定通过预处理模块预处理了一定张数的最终待检图像后，进行误差调整步骤，该误差调整步骤为：

c11、将下一张待检图像与上次裁剪的剩余图像按照前后顺序拼接得到新一张合成待检图像；

c12、按照步骤c3的操作方式再次进行最前边界的限定；

c13、从步骤c4开始再次进行预处理进行前后检测边界的限定。

该检测和标记方法还包括人工检测步骤，在所述步骤d中，当确定最终待检图像中存在表面缺陷时，利用声光报警模块报警，提示在人工检测区域中进行缺陷人工确定。

以某一面料18为例，设定100张行图像合成为一张标准样本图像，机器启动后，建模模块采集了图像并建立了标准样本图像的模版；然后在正常检测过程中，面料18运行时带动编码器17运行从而产生周期性的触发信号，从而拍摄第1到第100张行图像，合成了第一张合成待测图像；线扫描相机5持续拍摄，将第101张行图像到第200张行图像合成第二张待测图像，然后预处理模块将第一张待测图像和第二张合成待测图像合成并进行预处理，先限定左右宽度方向的检测边界，该左右检测边界限定与建模模块的限定一样；而后先从标准样本图像中选择定位像素点，并且确定该定位像素点在标准图像中的相对位置，图4和图5表示了一种特例，例如，该定位像素点在标准图像的第一行，而该定位像素点在第一张合成待测图像中的第70行和第170行中出现，此时选取最前位置第70行作为最终待测图像的最前边界，此时将第一张合成待测图像的第1行到第69行的图像删除，然后向后选取100行，从而达到第70行到第169行的图像，裁剪该图像就形成了第一张最终待测图像，而第170行到第200行的图像就构成了剩余图像。

然后将第三张待测图像与剩余图像进行合成，形成第二张合成待测图像，第三张待测图像所对应的行图像为第201行到第300行，此时，直接从剩余图像的前端边界作为第二张最终待测图像的起始边界，这样截取处的图像就为第170行到第269行的图像，即为第二张最终待测图像。

重复上述的动作就完成了最终待测图像的前后检测边界的限定。当然，上述举例只是一种极端特例，若定位像素点不在标准样本图像的最前端，那么只需要确定所在相对位置机壳确定前端边界，例如，该定位像素点相对于标准样本图像的最前端的位置还有3行，那么最前端的边界即为第67行，而处理的方式完全一样。

当然，在这中两张待测图像合成的过程中，一旦某一张照片出现了一些误差，那么时间一长误差就会积累导致误差变大，此时就可以进行误差调整步骤。例如一般可以设定处理了100张最终待测图像后进行一次误差调整步骤。由于预处理模块处理了100张最终待测图像，而只定位了定位像素点一次，那么通过误差调整步骤再次进行定位像素点的定位，这样使第101张最终待测图像的前端检测边界再次定位，从而消除了之前预处理产生的误差。而该误差调整步骤可以无需每张最终待测图像都进行前端检测边界的定位，这样预处理的速度可以更快。

再如图6所示，该图标识了实施该检测和标记方法的硬件设备，如图6所示，面料18从码布堆1经过放料机头3的牵引，放料机头3安装在机架2上，而经过吸尘装置12将面料18表面的异物吸走，同时在该处可以配合毛刷完成异物清理，之后再经过展平装置13展平，该展平装置13采用展平螺杆实现，展平螺杆上设置有旋向相反的螺纹段，面料18绕过展平螺杆后会被螺纹段推动面料18展开，展开的面料18经过纠偏装置4进行纠偏，使面料18的边缘始终处在指定位置，该纠偏装置4实际上是通过纠偏电眼实时跟踪面料18一端的边缘位置，系统实时根据纠偏电眼的反馈数据控制纠偏推动器，使得纠偏导辊整体在平面上进行角度旋转，面料18从纠偏导辊经过后就而调整面料18边缘位置，使其处于电眼的设定位置，这样方便后续的检测时进行左右检测边界的限定。而整个面料18的牵引也有主动牵引辊组14牵引，处于放料机头3下游的张力传感器10可以检测张力，而主动牵引辊组14的下游设置了电磁加热辊15，并且配合橡胶压辊完成面料18的烫平，最终面料18经过两个检测输送辊19、20之间，面料18的正面设置有正面光源6，背面设置有背面光源7，为线扫描相机5提供了足够的光线。最终线扫描相机5逐行拍摄面料18形成了一张张行图像，而后面料18经过人工检测平台11，人工检测平台11的正面设置有正面灯箱，背面设置有背面灯箱16，方便人工检测，之后通过贴标机8对有缺陷的面料18边缘进行贴标。由于贴标机8到编码器17的面料18长度一定，那么通过编码器17的位置反馈贴标机8即可准确贴标，例如，当确定面料18在第5米处有缺陷，贴标机8与检测输送辊19、20之间的面料18长度为3米，那么只需要编码器17检测到面料18已经运行3米时贴标机8就动作贴标。该贴标动作是准确的。贴标完成后直接由收卷机9收卷。收卷机9和贴标机8之间也设置了张力传感器10，通过控制收卷机9、主动牵引辊组14以及放料机头3的速度即可控制对应面料18段的张力，使面料18张力合适，不发生变形。

以上所述实施例仅是对本发明的优选实施方式的描述，不作为对本发明范围的限定，在不脱离本发明设计精神的基础上，对本发明技术方案作出的各种变形和改造，均应落入本发明的权利要求书确定的保护范围内。