工件废料检测方法、系统及装置与流程

1.本发明涉及计算机视觉领域，尤其涉及一种钢板分拣后的工件废料检测方法，系统及装置。


背景技术：

2.目前主要是人工判断工件是否包含废料。人工检测的缺点是每天面对种类多，数量多的钢板工件时，人工检测废料的效率较低，漏检，错检的概率较大，而且无法长时间工作。


技术实现要素：

3.有鉴于此，本发明实施例提供一种工件废料检测方法、系统及装置，用于如何解决短时间内、动态地识别工件的种类，并检测工件是否带有废料或者其他缺陷的技术问题。
4.本发明实施例的第一方面提供了一种工件废料检测方法，包括，获取工件图像；根据所述工件图像合成点云数据并解析为纹理图像及深度图像；对所述纹理图像进行特征提取，获取待匹配工件图像特征信息；提取训练好的工件套料图模板的特征信息与所述待匹配工件图像特征信息进行匹配，获取匹配结果信息；以及根据匹配结果信息获取工件轮廓及周围区域对应的点云深度信息，并进行统计学方法分析获取工件的缺陷结果信息。
5.本发明实施例的第二方面提供了一种工件废料检测系统，相机拍摄模块，用于获取工件图像；图像解析模块，用于根据所述工件图像合成点云数据并解析为纹理图像及深度图像；特征提取模块，用于对所述纹理图像进行特征提取，获取待匹配工件图像特征信息；特征匹配模块，用于提取训练好的工件套料图模板的特征信息与所述待匹配工件图像特征信息进行匹配，获取匹配结果信息；缺陷检测模块，用于根据匹配结果信息获取工件轮廓及周围区域对应的点云深度信息，并进行统计学方法分析获取工件的缺陷结果信息。
6.本发明实施例的第三方面提供工件废料检测系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述检测方法的步骤。
7.本发明提供的工件废料检测方法、系统及装置相比现有技术，具有以下效果：
8.本发明设计的工件废料检测系统及装置能有效应用于自动分拣线上自动检测工件是否带废料，是否叠料以及是否翘板等缺陷。避免后续工艺流程因为废料工件，导致生产异常的问题，造成人力以及物力的损失。
附图说明
9.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
10.图1是本发明实施例提供应用场景示意图；
11.图2是本发明实施例提供工件废料检测方法流程图；
12.图3是本发明实施例提供输送线平面矫正流程图；
13.图4是本发明实施例提供的工件匹配流程图；
14.图5是本发明实施例提供的工件套料模板训练流程图；
15.图6是本发明实施例提供的工件废料检测系统结构框图；
16.图7是本发明实施例提供的工件套料图模板训练结构框图；
17.图8是本发明实施例提供的工件废料检测装置示意图。
具体实施方式
18.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
19.显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
20.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
21.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
22.为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
23.图1为本发明提供了一个具体的应用场景示意图。具体应用于钢板分拣输送线上
工件实时跟踪以及异常检测。包括输送线2，用于输送工件；设在输送线上部的线扫相机1，用于对所述的工件进行拍照；以及与线扫相机连接的视觉系统及控制系统，其中，视觉系统用于接收线扫相机拍摄的图片并进行后续图像处理，尤其是用于执行本发明提出的工件废料检测方法等；控制系统用于控制输送线运行以及线扫相机工作状态等。
24.本发明针对于输送线上的钢板分拣后的工件废料检测，设计了一套线扫相机废料检测装置；针对于废料检测识别，分别设计了是针对分拣工件模板的动态训练方案，以及针对实时工件的采集和检测方案。
25.参照图2，图2为本发明实施例提供应用于图1的工件废料检测方法流程图，包括以下步骤：
26.s101：获取工件图像。
27.在该步骤中，工件从输送线传来，由外部传感器检测工件到检测工位的信号以及离开检测工位的信号。即在工件经过3d线扫相机前，将信号发送给相机触发相机拍照。在工件离开3d线扫相机后，将信号发送给相机触发相机结束拍照。
28.s102：根据所述工件图像合成点云数据并解析为纹理图像及深度图像。
29.在具体实现s102的过程中，待拍摄程序触发结束后，根据相机采集的每一帧数据合成点云数据，解析为纹理图像和xyz方向上的深度图。由于触发时长是根据工件的长度决定的，且点云的坐标系是以点云数据的长度的中心为坐标系远点，所以不同大小工件的点云数据坐标系不一样，生成的xyz深度图也不一样。最后在纹理图像和深度图像被视觉系统读取存储后，将图像采集完成信号发送给控制系统，由控制系统控制上述线扫相机的工作状态。
30.s103：对所述纹理图像进行特征提取，获取待匹配工件图像特征信息。
31.在具体实现s103的过程中，视觉系统针对纹理图像，采用基于梯度的边缘提取算法，将边缘特征点信息提取。具体操作是利用sobel算子对模板图像进行边缘提取，获取每个像素点的梯度信息。对每个像素点的邻域梯度进行分析，计算该像素点的梯度变化，将梯度差异大于预设阈值的点存储为模板的特征点，并将梯度变化方向值记录为特征点对应的特征值。从而获取待匹配工件图像特征点和特征值信息。
32.在一个具体实施例中，考虑到输送线的输送带和线扫相机在安装时可能存在一定的倾斜，所以需要减少这个倾斜角度带来的影响，采用输送线平面矫正方法予以矫正，包括对点云数据预处理，去除输送线平面外部噪点。便于在进行s103步骤过程中对矫正到输送线平面后的纹理图像进行特征提取，参照图3，具体方法为：
33.s103a：根据点云数据上的点与点之间的深度图像信息计算欧氏距离并基于平面聚类算法将合适的点归为一个平面；
34.s103b：提取点云的各个平面，提取最大平面即为输送线平面；
35.s103c：计算输送线平面的拟合平面方程和输送线平面的法向量；
36.s103d：根据所述法向量以及相机坐标系垂直视场平面法向量，以及平面中心点和相机坐标系原点，得到透视变换矩阵m1；
37.s103e：根据透视变换矩阵m1，获取工件点云数据在相机坐标系垂直视场下的点云数据，根据点云数据获取工件在相机坐标系垂直视场下的纹理图像和深度图像，完成对点云数据的视角矫正。
38.采用上述矫正方法减少了由于安装倾斜角度带来的误差，在进行下一步匹配工作(s104 步骤)中，显著提高匹配结果的准确性。
39.另外，在一个实施例中，提取特征信息还包括对工件套料模板图进行特征提取。
40.在一个实施例中，参照图4，为工件匹配流程图，具体的，s104：提取预先训练好的工件套料图模板的特征信息与所述待匹配工件图像特征信息进行匹配，获取匹配结果信息。
41.在具体实现s104的过程中，包括：
42.s104a：设置匹配滑窗的大小，其中，匹配滑窗的大小根据工件套料图模板图像大小设置，匹配滑窗的大小与工件套料图模板的大小一致，且二者均小于待匹配工件图像(纹理图像)的尺寸。
43.s104b：根据匹配滑窗对待匹配工件图像和工件套料图模板图像依次进行匹配，具体为根据工件套料图模板特征和匹配滑窗区域，对待匹配的工件图像(也就是工件的纹理图像) 从最左上角点开始，依次从上往下，从左往右进行匹配。
44.s104c：每次匹配后，计算所述工件套料图模板和所述待匹配工件图像的相似度，具体为每匹配一次将计算模板的特征点和特征值，跟待匹配图像(待匹配工件图像或者纹理图像)的特征点和特征值二者之间的相似度。
45.s104d：获取相似度最大的工件套料图模板及所述纹理图像的区域，并作为匹配结果信息输出。将获取相似度最大的工件模板以及纹理图像上匹配到的区域作为匹配结果。获取匹配得分最高的工件模板及其在纹理图像中的信息。这样就能得到工件的种类、工件的形状轮廓，以及工件在所述纹理图像和深度图的区域位置。
46.在一个具体实施例中，参照图5，提取训练好的工件套料图模板的特征信息还包括对所述工件套料图模板进行机器学习训练，获得训练后的特征信息，包括：
47.s104e：获取钢板信息，包括获取最近几块已分拣、在分拣和待分拣的钢板套料图编号、工件套料图模板以及钢板厚度；本发明中，钢板切割后形成工件和废料，其中，钢板厚度信息可以用于判断工件是否叠加在一起构成叠料。
48.s104f：判断工件套料图模板信息，是否为新的工件套料图模板或者是否更改，如果是新的工件套料图模板，则删除最旧的工件套料图模板数据，并新增新的工件套料图模板数据，否则不变；
49.s104g：向视觉系统下发工件套料图模板信息；包括如果是新的工件套料图模板，视觉系统接收所述新的工件套料图模板并进行训练；本发明中，控制系统请求视觉系统删除最旧的套料图模板，视觉系统收到请求后，删除最旧的工件套料图模板。如此操作，可以实现动态训练模板，提高匹配准确度。
50.s104h：所述视觉系统基于梯度边缘提取算法对所述工件套料图模板图像进行训练，获取工件套料图模板的特征信息。具体为：
51.利用sobel算子对工件套料图模板图像进行边缘提取，获取每个像素点的梯度信息；
52.对每个像素点的邻域梯度进行分析，计算该像素点的梯度变化，将梯度差异大于预设阈值的点存储为工件套料图模板的特征点，并将梯度变化方向值记录为特征点对应的特征值。
53.至此，获得了工件套料图模板图像的特征点和特征点对应的特征值，训练完成。
54.s105：根据匹配结果信息获取工件轮廓对应的点云深度信息，并进行统计学方法分析获取工件的缺陷结果信息。
55.在具体实现s105过程中，根据匹配得到的工件的形状轮廓及其在所述纹理图像和深度图在工件套料图模板的区域位置和大小，可以将工件轮廓对应的点云深度信息采集出来。考虑匹配轮廓可能存在细微误差，所以利用形态学对工件轮廓进行腐蚀和膨胀等操作，获取工件中间区域，以及工件扩充一圈后的内外部区域的深度信息。然后利用统计学方法分析工件的缺陷。通过分析工件中间区域以及工件扩充大小后的内外部区域的深度特征信息、深度均值变化以及极值变化等统计学特征，同时通过对比模板的厚度大小，可以判断零件是否存在带废料(通过工件中心和工件周围的深度均值等来判断)，是否叠料(通过厚度和深度均值变化等)以及是否翘(通过极植变化等)等缺陷情况。
56.在一个具体实施例中，包括对检测结果进行处理。将检测结果反馈给控制系统，控制系统收到检测结果后进行相应操作。至此一个检测流程结束。
57.本发明中，通过设计训练和匹配并行的识别和检测流程，能够快速地、动态地、准确地识别检测工件种类和缺陷。本发明能有效应用于自动分拣线上自动检测工件是否带废料，是否叠料以及是否翘板等缺陷。避免废料卡死在下道工序中，造成人力以及物力的损失。
58.请参照图6，图6是本发明实施例提供的工件废料检测系统的结构框图。如图6所示，包括相机拍摄模块101、图像解析模块102、特征提取模块103、匹配模块104、缺陷检测模块105。上述模块分别用于执行图2中的s101、s102、s103、s104、s105中的具体方法，详情可参见图2的相关介绍，在此仅作简单描述：
59.相机拍摄模块101，用于获取工件图像；
60.图像解析模块102，用于根据所述工件图像合成点云数据并解析为纹理图像及深度图像；
61.特征提取模块103，用于对所述纹理图像进行特征提取，获取待匹配工件图像特征信息；
62.匹配模块104，用于提取预先训练好的工件套料图模板的特征信息与所述待匹配工件图像特征信息进行匹配，获取匹配结果信息；以及
63.缺陷检测模块105，用于根据匹配结果信息获取工件轮廓及周围区域对应的点云深度信息，并进行统计学方法分析获取工件的缺陷结果信息。
64.本发明中，通过设计训练和匹配并行的识别和检测流程，能够快速地、动态地、准确地识别检测工件种类和缺陷。本发明能有效应用于自动分拣线上自动检测工件是否带废料，是否叠料以及是否翘板等缺陷。避免废料卡死在下道工序中，造成人力以及物力的损失。
65.其中，参照图7，所述的匹配模块104还包括工件套料图模板训练模块，包括：
66.钢板信息单元104a，用于获取钢板信息，包括最近已分拣、在分拣和待分拣的钢板套料图编号、工件套料图模板以及钢板厚度；
67.模板判断单元104b，用于判断工件套料图模板信息，否为新的工件套料图模板或者是否更改，如果是新的工件套料图模板，则删除最旧的工件套料图模板数据，并新增新的
工件套料图模板数据，否则不变；
68.模板下发单元104c，用于向视觉系统下发工件套料图模板信息；以及
69.执行训练单元104d，所述视觉系统基于梯度边缘提取算法对所述工件套料图模板图像进行训练，获取工件套料图模板的特征信息；
70.结果输出单元104e，用于输出模板训练结果。
71.通过工件套料图模板训练模块训练后，获得了工件套料图模板图像的特征点和特征点对应的特征值，模板训练完成。
72.图8是本发明一实施例提供的工件废料例检测装置示意图。如图8所示，该实施例的检测装置14包括：处理器140、存储器141以及存储在所述存储器141中并可在所述处理器140上运行的计算机程序142。所述处理器140执行所述计算机程序142时实现上述方法实施例中的步骤，例如，图2所示的s101至s105。或者，所述处理器140执行所述计算机程序142时实现上述各装置实施例中各模块/单元的功能，例如图7所示模块101至105的功能。
73.示例性的，所述计算机程序142可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器141中，并由所述处理器140执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序142在检测装置14中的执行过程。例如，所述计算机程序142可以被分割成模块101至105虚拟装置中的模块。
74.所述处理器140可以是中央处理单元(central processing unit，cpu)，还可以是其它通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(applicationspecific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga) 或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
75.所述存储器141可以是检测装置14的内部存储单元，例如检测装置14的硬盘或内存。所述存储器141也可以是检测装置14的外部存储设备，例如所述检测装置14上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器141还可以既包括检测装置14的内部存储单元也包括外部存储设备。所述存储器141用于存储所述计算机程序以及检测装置14所需的其它程序和数据。所述存储器141还可以用于暂时地存储已经输出或者将要输出的数据。
76.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
77.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
78.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
79.在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
80.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
81.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
82.所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram， random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
83.以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。