木板分拣系统的制作方法

文档序号:15727021发布日期:2018-10-23 16:21阅读:413来源:国知局

本公开涉及木材自动化处理技术领域,具体涉及一种木板分拣系统。



背景技术:

在木材加工领域,木板分选是一个重要环节。不管是半成品,还是经过成型、上色、烘干等工艺之后的成品,都需要按照不同的木材特征结合质量标准进行分类。在传统的方法中,木板的分选由人工完成。经过训练的工人,通过观察,判断每一块木板的颜色、纹理、缺陷等,结合经验将一块木板归入不同的分类。每一个分类之中的木板拥有更为接近的特性,实现较高的产品外观、质量的一致性。

然而,使用人工的分选的方法需要耗费大量的人力资源,并且由于每一批次的木板材质和上色工艺可能存在不同,每一次的产品分类标准也可能存在变动,因此需要不断的对工人进行培训和训练。同时,随着工作时间的增加,人力的方法也会出现准确率下降,效率变慢的现象。

使用机器进行木材分选的方法正成为当前行业的新兴方向,在木材处理过程中的很多步骤可以通过机器的方法来解决。然而,这些技术多数使用一种固定方式对木材或木板进行特征提取,其分选参数和方法是固定的,必须通过专门的设计和调校才能有效运行,因而标准化和适用性存在一定缺陷。

随着最近机器学习方面的研究进展,使用机器学习进行木板加工自动化的方法变得越来越受到欢迎。现有技术中也出现了使用机器学习的木材分类方法,通过各种成像方式采集预先指定的样本木材的图像,然后使用机器学习的方法训练一个模型,通过该模型来实现自动的分类检测。

然而,发明人在实现本实用新型的过程中发现,现有的机器学习的方法只是部分解决了标准化的问题,并没能解决木材分类中最关键的适应性问题。具体地,当前木板分类的标准通常由生产厂商自定义,也就是说当前的木板分类实质上是非标准化的;现有技术中的机器学习方法采用预先训练方式,只能为特定厂商训练出一个特定模型,显然无法在多个厂商中通用。此外,木材实质上是按批次生产的,每一批次的产品都与该批次的原木材质、喷漆工艺高度相关,不同批次间可能会有巨大差异;但现有技术中的训练模型完全依赖于样本批次,并不能针对不同批次进行动态调校。最后,自然光线的改变会对视觉识别产生较大的影响,现有技术并未考虑环境光线变化下的标准化,不能适应不同环境的检测。

因此,当前缺少自适应的检测方法,现有技术并不能满足快速部署的需求,也不能在多变的运行环境中鲁棒的运行。



技术实现要素:

本公开实施例提供一种木板分拣系统,包括:传送装置、线性图像采集装置、控制装置及分类装置;其中,

待分类木板放置在所述传送装置上,由所述传送装置带动向后传送;

所述线性图像采集装置对准所述传送装置设置,用于采集所述待分类木板的一维线性图像,所述线性图像采集装置的输出端耦接所述控制装置;

所述控制装置的输出端耦接所述分类装置,所述控制装置根据所述线性图像采集装置采集到的一维图像,向所述分类装置输出一个方向信号和时间信号;

所述归类装置设置在所述传送装置末端的上方,在所述时间信号指示的时间点将所述待分类木板按照所述方向信号指示的方向移出所述传送装置。

可选地,所述传送装置为皮带、齿轮和/或链条传动的传送带。

可选地,所述传送装置包括图像采集区域和踢腿区域,所述线性图像采集装置被设置为对准所述图像采集区域,所述分类装置被设置在所述踢腿区域的上方。

可选地,所述分类装置为踢腿机。

可选地,所述线性图像采集装置包括:一个或多个线性摄像机。

可选地,所述图像采用区域中还设置有参照物区,所述参照物区中设置有参照物体;其中,所述参照物区及所述参照物体保持静止。

可选地,所述参照物体具有白色表面。

可选地,所述系统还包括一个或多个LED光源,所述LED光源设置在所述传送装置的上方,对准所述传送装置进行照射。

可选地,所述LED光源邻近所述线性图像采集装置设置或集成在所述线性图像采集装置上。

可选地,所述控制装置还与一个或多个计算机设备连接,通过所述计算机设备在云端完成对待分类木板的一维图像的处理。

本公开实施例提供的技术方案可以包括以下有益效果:

本公开实施例提供的木板分拣系统通过线性图像采集装置采集待分类木板的图像,并对一维图像进行处理后能够准确识别待分类木板,输出木板的分类方向以及踢腿时机,使得分类装置在准确的踢腿时间将待分类木板移向相应的分类区域。本公开提供的木板分拣系统无论在任何环境和任何速度下,都能准确对木板进行分类,并在准确的踢腿时间执行分类操作。而且不需要单独的设备,例如光电传感器来获取木板到达的时间,而是通过分类学习即能确定分类时间。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

结合附图,通过以下非限制性实施方式的详细描述,本公开的其它特征、目的和优点将变得更加明显。在附图中:

图1示出根据本公开一实施方式的木板分拣系统的结构示意图;

图2示出根据本公开一实施方式的木板识别的机器学习方法的流程图;

图3中示出根据本公开一实施方式的卷积神经网络的示意图;

图4示出根据本公开一实施方式的对图像样本进行边界标注的示例;

图5示出根据本公开一实施方式的木板识别方法的流程图。

具体实施方式

在已有技术的机器学习应用场景中,对摄像机的要求是尽可能使用低精度的摄像机用于降低成本。这是由于一些分类算法并不需要很高精度的图像数据就能实现精准分类。然而在木材加工领域,由于木板的纹理,色泽等方面具有非常细微的差异,这使得机器学习方法对摄像机的分辨率有更高的要求。传统的摄像机使用矩形传感器,好处是能够得到便于处理的二维图像数据。然而,这也限制了样本的分辨率。而线性摄像机能够拥有更高的一维分辨率以及可变的采样周期,因此在木材加工领域拥有更好的应用潜力。

图1示出根据本公开一实施方式的木板分拣系统的结构示意图。如图1所示,所述木板分拣系统包括:包括:传送装置101、线性图像采集装置102、控制装置103及分类装置104;其中,

待分类木板放置在所述传送装置101上,由所述传送装置101带动向后传送;

所述线性图像采集装置102对准所述传送装置101设置,用于采集所述待分类木板的一维线性图像,所述线性图像采集装置102的输出端耦接所述控制装置;

所述控制装置103的输出端耦接所述分类装置104,所述控制装置103根据所述线性图像采集装置采集到的一维图像,向所述分类装置104输出一个方向信号和时间信号;

所述分类装置104设置在所述传送装置101末端的上方,在所述时间信号指示的时间点将所述待分类木板按照所述方向信号指示的方向移出所述传送装置101。

可选地,在本公开的一个实施例中,所述传送装置优选为传送带,包括但不限于皮带、齿轮或链条传动的传送带装置。如图1所示,所述传送装置101进一步可分为图像采集区域105和踢腿区域106,其中,线性图像采集装置102对准图像采集区域105设置,在待分类木板进入图像采集区域105后,用于采集所述待分类木板的一维图像;分类装置104设置在所述踢腿区域106,用于根据控制装置103输出的方向信号和时间信号将待分类木板移出到指定位置。

在本公开的实施例中,通过线性图像采集装置采集的一维图像同时进行待分类木板的分类识别和踢腿机控制的识别,一方面可省略至少一个光电传感器,另一方面识别和控制的速度和准确度均高于现有技术,大幅提升了木板分拣的效率并降低了成本。具体地,线性图像采集装置在一定的自然和/或人为光照环境条件下采集的与其处于相对移动状态的待分类木板的一维图像。通常情况下,由于木板在传送装置上传输,木板与线性采集装置相对移动,两者之间具有相对速度。本公开中相对移动速度并不是固定不变的,而可以是可变的,而且最好是变化的。在相对移动速度变化的情况下,能够更好地获得处于不同相对移动速度下的木板样本图像。

可选地,所述线性图像采集装置固定安装在所述传送装置的上方,所述线性图像采集装置对准所述传送装置的图像采集区域采集图像。图像采集过程中,可以通过变换所述线性图像采集装置的采样帧率实现不同速度下的图像采集;可选地,所述木板分拣系统还包括至少一个LED光源107,所述至少一个LED光源107设置在所述传送装置101的上方,对准所述图像采集区域106进行照射;优选地,所述至少一个LED光源107邻近设置在所述线性图像采集装置102周边或集成在所述线性图像采集装置102上。通过调节LED光源107的亮度或光源的照射方向实现不同的光照条件,所述LED光源可以为平板型LED灯,以提供较为均匀的光照,进一步地,光源亮度可以设置为依次增加或递减,以获得产品在不同光线下的样本;也可以采用对光圈大小、光源亮度和照射方向中的一种或多种进行变换来实现不同的光照条件。比如,在一种可选实施例,LED灯的光照情况用于将图像采集的基础亮度提升到一个满意的程度,与此同时,通过变化光圈的大小来获得该基础亮度下上下浮动的光照水平;这样通过两种变换方式的结合,能够得到在一个令人满意的范围内的多个光照条件。此外,在图像采集过程中,还可以动态调整图像采集装置的角度,以采集处于不同角度下的木板样本图像。各种变换方式的结合还可进一步根据时间和/或顺序来进行,亦即可在不同时间按不同的顺序执行不同的变换组合来采集图像。

在本公开的一个实施例中,在图像采集过程中还可以设置参考图像来辅助提升图像识别的准确度。比如,优选在所述传送装置101的图像采集区域106设置有参照物区,所述参照物区中设置有参照物体108;其中,所述参照物区及所述参照物体108保持静止(即不随传送装置一起运动);所述线性图像采集装置在采集时需保障木板样本的图像与参照物体的图像同时被采集。优选地,所述参照物体具有白色的表面,白色参照物体可以用于提供一个白平衡、亮度或其他图像参数的一个标准参考。

在本公开的一个优选实施例中,所述线性图像采集装置可以是一个或多个线性摄像机(比如多个线性摄像头等),通过一个或多个线性摄像机同时采集一个木板样本的图像,并产生一个样本数据。样本数据包含对应的光照、速度、采集角度等标签,相对于一个图像传感器的情形,多个传感器采集的数据变为多个角度图像数据的组合。

进一步地,所述控制装置103还与一个或多个计算机设备连接。在本公开的实施例中,木板分类的检测可以在本地完成,也可以在云端完成。具体地,本地向云端发送采集的图像数据,云端可以提供的信息包括但不限于木板分类的定义、各分类的样本图像、分类识别模型和分类检测结果等。

下面就木板分拣系统对木板的图像采集、图像处理以及目标识别流程进行详述。

图2示出根据本公开一实施方式的木板识别的机器学习方法的流程图。如图2所示,所述木板识别的机器学习方法包括以下步骤S201-S203:

在步骤S201中,获取所述木板在多个不同预定速度下的多组一维图像;其中,每组一维图像包括对应所述木板不同位置处的多个一维图像,且每组一维图像中的所述多个一维图像对应相同的预定速度;

在步骤S202中,将所获取的所述多组一维图像中的每组一维图像分别进行拼接,得到在多个不同预定速度下的多个二维图像;

在步骤S203中,将所述木板的类别、所述多个不同预定速度以及所述多个二维图像作为多组训练数据,分别对木板识别模型进行训练;所述多组训练数据中每组训练数据包括所述木板的类别、所述多个二维图像中的一个二维图像以及对应的预定速度;所述木板识别模型的识别结果包括木板的类别以及移动速度。

在本实施例中,利用木板样本的图像进行机器学习时,所采集的木板图像为高精度的一维图像,且对同一个木板样本采集不同移动速度下的图像,使得训练样本更加丰富,且能适应在各种条件下采集的图像的识别。此处的不同移动速度是指木板与图像采集设备即线性摄像机之间的相对速度。

在本实施例中,一维图像可以通过线性摄像机获取,由于线性摄像机在每个时间点只能采集一个一维图像,该一维图像无法直接用于后续的学习或分类。因此,可以将多个一维数据拼接成一个二维图像,该二维图像可以包含部分或整个木板的图像信息。

在本实施例中,预定速度可以是预先定义的木板与线性摄像机之间的相对速度。采集木板的一维图像时,在木板与线性摄像机之间的相对速度为预定速度时,采集木板的一维图像,按顺序每个时间点采集一个一维图像,同一预定速度下采集到的多个一维图像为一组一维图像。采集完部分或整个木板的多个一维图像后,可以改变木板与线性摄像机之间的相对速度,再次进行采集,最终得到多个不同预定速度下的多组一维图像。通过将同一预定速度下采集到的一组一维图像进行拼接,得到对应于该预定速度的二维图像,最终能够得到不同预定速度对应的多个二维图像。

在本实施例中,在训练木板识别模型时,将木板的类别、预定速度以及该预定速度对应的二维图像做为一组训练数据,同一块木板对应多组训练数据,每组训练数据中的二维图像作为机器学习模型的输入,而相对应的预定速度和木板类别作为输出,对机器学习模型的各个参数进行训练。在经过多块木板对应的多组训练数据的训练后,使得机器学习模型的结果呈收敛状态,最终得到训练好的木板识别模型。

机器学习模型可以包括但不限于卷积神经网络、反馈神经网络、深度学习网络、决策森林、贝叶斯网络、支持向量机中的一种或及几种的组合。

下面以神经网络为例详细介绍模型训练的原理与过程。

神经网络作为自动分类模型、回归模型或决策模型,神经网络可以为卷积神经网络和深度神经网络中的一种或其组合。神经网络可以包括含有多个层,每个层包含多个节点,相邻两层多个节点之间存在可训练权重(即前面提到的机器学习模型的参数)的神经网络。

图3中给出了一个卷积神经网络的示意图,其中包括了多个卷积层和降采样层以及全连接层。卷积层是卷积神经网络的核心模块,通过与一个滤波器(filter)的卷积操作,将前一层的多个节点与下一层的节点相连。一般来说,卷积层的每一个节点只与前一层的部分节点相连。通过训练过程,其中使用初始值的滤波器可以根据训练数据不断改变自身的权重,进而生成最终的滤波器取值。降采样层可以使用最大池化(max-pooling)的方法将一组节点降维成一个节点,其中使用非线性取最大值的方法。在经过多个卷积层和降采样层后,一个全连接层最终用于产生分类的输出,全连接层将前一层的所有节点与后一层的所有节点相连,这与一个传统的神经网络类似。

例如,在训练过程中,可以通过训练算法,如梯度下降(gradient descent)算法使得神经网络中的滤波器权重值改变,进而使得输出与样本数据中的分类差异最小。随着使用的训练数据量的不断增大,不断改变的网络节点值不断改变并提高,神经网络的分类能力也就得到了提升。训练过程可以在本地完成,也可以在云端完成。需要在云端完成训练的情况下,可以将确定的木板的自定义分类和所述二维图像与自定义分类的关系、以及二维图像等上传到云端。云端服务器利用获得的自定义分类、二维图像与自定义分类的关系、以及二维图像对神经网络进行训练,并将训练后的木板识别模型部署到本地。

在本实施例中,木板的类别可以预先确定好。首先确定木板样本,然后对木板样本进行自定义分类,例如将1-3号木板样本分为A级类别,将4-8号木板分为B级类别,将9-10号木板分类C级类别。由于是自定义分类,所以可以根据木板工厂具体情况和实际分类的要求,进行自定义的分类,例如将1、3、5号木板分为A级类别,将其余木板样本分为B级类别。在工厂内,根据工厂的实际情况进行自定义分类。这种自定义分类的方式更加适应于不同木板工厂实际情况以及分类的要求,分类更加灵活、方便。分类的具体实施是由人工凭借经验来完成的,具体设置多少个品类,哪个样本归入哪一类也都是由人工来实施的。人工分类可以基于木板的不同特征,例如颜色,纹理,缺陷等任意木板特征来完成。

在本实施例的一个可选实现方式中,所述步骤S203,即获取所述木板在多个不同预定速度下的多组一维图像的步骤,进一步包括:

在所述木板与线性摄像机具有相对速度,且所述相对速度与所述线性摄像机的采样帧率的组合对应于所述多个不同预定速度的情况下,获取所述木板的多组一维图像。

本实施例中,采样木板在预定速度下的一维图像时,可以采用多种方式。一种方式是,在线性摄像机固定的情况下,木板向线性摄像机移动。例如通过一个传送带来实现木板的移动,并在传送带上方安装线性摄像机来采集图像。木板样本进入整理区域B1,在该整理区域中木板样本完成整理、引导,然后有序进入判定区域B2。在B2区域,流水线上的一个或多个线性摄像机以极快速度抓取处于预定速度下的木板样本的一维图像,传送带每次采用不同的预定速度移动:V1代表预定速度为0,V2、V3....Vn分别代表预定速度从0到与B2区域流水线皮带同步之前的速度,V(n+1)代表B2流水线速度,以便获得不同预定速度下的木板的一维图像。

另一种方式,是在木板样本固定的情况下,线性摄像机向木板样本移动。同理,一个或多个线性摄像机以预定速度扫描木板样本,并以极快的速度抓取所述木板样本的图像:V1代表速度为0,V2、V3....Vn分别代表从0到与B2区域流水线皮带同步之前的速度,V(n+1)代表B2流水线速度,以便获得不同速度下的木板样本的一维图像。这种方式适用于木板样本较大,不便于移动的情况。

其他方式中,由于线性摄像机的帧率可以调节,因此还可以通过调节线性摄像机的帧率来模拟移动速度。例如,木板移动而线性摄像机固定时,在木板样本前半部使用第一帧率采集一维图像,在木板样本后半部使用第二帧率采集一维图像,则可以得到同一木板的两种不同预定速度的图像样本。再例如,木板固定,而线性摄像机移动时,也可以通过调节线性摄像机的帧率来获得多种预定速度下的图像样本。例如线性摄像机以相同的速度V移动多次扫描该木板,但是使用不同的帧率,例如,f0,f2,f3….fn来扫描样本,则所获得的木板图像与不同移动速度下获取的木板图像一样。

当然,在其他可选的实施方式中,还可以是木板样本和线性摄像机均进行移动,移动方向可以是相对的或是同向的,只要二者之间相对运动速度不为零即可(即不相对静止);同时,线性摄像机采用一定的帧率来扫描木板样本,由相对运动速度与采样帧率的组合来形成前述的预定速度。其中,木板样本的移动速度、线性摄像机的移动速度、采样帧率和预定速度均是可变的。举例来说,当木板样本以第一速度v1、线性摄像机以第二速度v2相对运动时,二者的相对运动速度为v1+v2,线性摄像机使用标准帧率扫描得到的一维图像即为预定速度为v1+v2下的一维图像,使用2倍标准帧率扫描得到的一维图像即为预定速度为(v1+v2)/2下的一维图像,使用1/2标准帧率扫描得到的一维图像即为预定速度为2(v1+v2)下的一维图像。亦即,在本公开的实施例中,预定速度可以通过调整木板样本的移动速度、线性摄像机的移动速度和采样帧率中的一个或多个来得到。

在本实施例的一个可选实现方式中,所述步骤S201,即获取所述木板在多个不同预定速度下的多组一维图像的步骤,包括:

在不同光照条件下,获取所述木板在多个不同预定速度下的多组一维图像;

将所述木板的类别、所述多个不同预定速度以及所述多个二维图像作为多组训练数据,分别对木板识别模型进行训练,包括:

将所述木板的类别、所述多个不同预定速度、所述不同光照条件以及所述多个二维图像作为多组训练数据,分别对木板识别模型进行训练;所述多组训练数据中每组训练数据包括所述木板的类别、所述多个二维图像中的一个二维图像及其对应的预定速度和光照条件。

在该可选的实现方式中,图像采集过程中,通过变换线性摄像机的光圈实现不同光照条件下的图像采集;也可以在线性摄像机周围设置光源,通过调节光源的亮度或光源的照射方向实现不同的光照条件。例如,如图3所示,在B2区域生产线上加入一个或多个光源,例如所述光源可以为平板型LED灯:L1、L2.....Ln,LED灯能够提供较为均匀的光照,并且其光源亮度可以通过控制方法依次增加或递减,以获得产品在不同光线下的样本;也可以同时变换光圈大小和光源的亮度或照射方向来实现不同的光照条件。在一种方式下,LED灯的光照情况用于将图像采集的基础亮度提升到一个满意的程度,同时通过变化光圈的大小来获得该基础亮度下上下浮动的光照水平。两者结合,能够得到在一个令人满意的范围内的多个光照条件。由于线性摄像机在单位时间内只采集一维的图像,整个木板通过多次采集最终拼接而成的二维图像。因此,可以通过一个与照明装置同步的方法,在不同的时刻使用不同的光照强度。例如在t1采样时刻,使用s1光照强度;在t2采样时刻,使用s2光照强度;t3采样时刻,使用s3光照强度,以此类推,得到多个一维图像。将奇数时刻的图像组装成第一图像样本,将偶数时刻组装成第二图像样本,在木板样本通过扫描后,得到两个不同光照条件下的两个图像样本。另外一种方法,可以在木板样本通过扫描区域的前半部时段使用s1光照强度,在木板样本通过扫描区域的后半部时段使用s2光照强度,也可以最终得到两个光照强度下的图像样本。这种通过改变光照强度的方法可以与改变光圈的方法配合使用,得到更多光照强度下的图像样本。

在本实施例的一个可选实现方式中,所述步骤S202,即将所获取的所述多组一维图像中的每组一维图像分别进行拼接,得到在多个不同预定速度下的多个二维图像的步骤,进一步包括以下步骤:

将所获取的所述多组一维图像中的每组一维图像分别按照图像获取时间顺序和/或图像次序分成至少两个小组;

将所述至少两个小组的一维图像分别进行拼接,形成在所述不同预定速度下的多个二维图像。

该可选的实现方式,可以通过图像获取的时间顺序将同一组中的多个一维图像分成至少两个小组;例如将同一组中的前半部分一维图像分成一个小组,后半部分一维图像分成一个小组;还可以通过图像次序将同一组中的多个一维图像分成至少两个小组;例如,将同一组中的次序为奇数的一维图像分成一个小组,次序为偶数的分成一个小组。当然,还可以采用其他方式分成将同一组一维图像分成多个小组,具体可根据实际情况设置,在此不再赘述。

例如,按照时间顺序分成前后两部分将获取的一组一维图像分成前后两部分,最后再将前后两部分的一维图像分别拼接得到两个一维图像。而不同预定速度下将能够获得2N个二维图像,N与所述多组一维图像中的组数目相同。如前所述,在采样获取前半部分一维图像和后半部分一维图像时,可以采用不同的光照条件,这样所获得的两个二维图像所对应的预定速度相同,但是光照条件不同。

再例如,还可以按照图像次序将获取的一组一维图像分成两部分,即同一预定速度下获取的一组一维图像中采样次序在奇数位和偶数位的一维图像分别分成两个小组,每个小组包括的一维图像拼接成一个二维图像,同一预定速度下则能获得两个二维图像。而不同速预定速度下,则能获得2N个二维图像。如前所述,在奇数时刻采样获取一维图像和偶数时刻采样获取一维图像时,可以采用不同的光照条件,这样所获得的两个二维图像所对应的预定速度相同,但是光照条件不同。

可选地,所述光照条件包括木板外部光源光线的强弱、外部光源光线的照射方向、获取所述一维图像的图像获取单元的拍摄角度和图像获取单元的光圈大小中的一个或多个;所述预定速度为所述图像获取单元与所述木板之间的相对移动速度。

在本实施例公开的一可选实现方式中,所述方法还包括:

在获取所述木板的多组一维图像的同时还获取白色参考物体的多个一维图像。

该可选的实现方式中,图像采集过程中,可以设置参考图像。例如,在图像采集区域,提供一个白色的参考物体,以保障木板样本的图像与白色参考物体的图像同时被采集。白色参考物体可以用于提供一个白平衡、亮度或其他图像参数的一个参考。

综上,在对机器学习模型之前,所获得的是一组训练数据,每一组训练数据至少包括一个木板类别(即自定义的产品分类)和一个速度,还可以包括一个光照条件和/或一个摄像机角度的标签。例如,以下是一组最终用于后续学习步骤的训练数据:

Sample 1

[类别:A,速度:V2,光照强度:L3,摄像机角度,A5]

Sample 2

[类别:A,速度:V3,光照强度:L3,摄像机角度,A5]

Sample 3

[类别:B,速度:V0,光照强度:L3,摄像机角度,A5]

Sample 4

[类别:A,速度:V2,光照强度:L3,摄像机角度,A5]

其中,由于使用了线性摄像机,一个Sample可以是多个一维图像数据的组合。速度信息可以是由真实相对移动速度以及帧率决定的。同一个木板可以获得多个图像Sample。

在本实施例的一个可选实现方式中,所述步骤S203,即将所述木板的类别、所述多个不同预定速度以及所述多个二维图像作为多组训练数据,分别对木板识别模型进行训练的步骤,进一步包括:

将所述多组一维图像中的每组一维图像分别进行拼接,得到多个二维图像;

对所述多个二维图像分别进行标注,得到所述木板的边界信息。

在该可选的实现方式中,每个图像样本是一个二维图像样本,该图像样本本身包含了一个边界信息,也就是线性摄像机不间断得到的一维图像数据是如何切割并拼接成一个独立的二维图像样本的。一种标注使用图像本身作为边界,也就是不包含任何额外的标注,只使用既包含木板图像也包含无用背景图像的一个独立二维图像作为一个样本。另一种标注使用额外的边界标注,对木板图像的边界进行独立的标注,以使得木板图像与背景图像区分开来。图4给出了一种对图像样本进行边界标注的示例,其中起始边界和结束边界用于确定一个独立的木板图像,侧边界用于确定木板图像与背景图像之间的界限。其中侧边界可以不区分起始与结束。由于线性摄像机只能不间断输出拼接后的图像,因此切割和标注需要人工完成。可以理解的本公开并不局限于图4所示的一种边界标注方法。在本实施例的一个可选实现方式中,所述步骤S203,即将所述木板的类别、所述多个不同预定速度以及所述多个二维图像作为多组训练数据,分别对木板识别模型进行训练的步骤,还包括:

根据所述多个二维图像和所述木板的边界信息对木板边界识别模型进行训练,所述木板边界识别模型的识别结果包括所述木板的边界信息。

该可选的实现方式中,线性摄像机可以对流水线移动或排列的多个木板不间断的采集一维图像,并拼接得到一个连续的二维图像。这种情况下,可以训练一个切割模型即木板边界识别模型,用于将连续的二维图像进行切割,即识别出二维图像中的边界信息,并将于边界信息分割成多个二维图像,得到每个只包含一个木板图像的二维图像样本。该切割模型可以使用一个单独的神经网络,或与木板识别模型共享一个神经网络。为了便于区分与木板识别网络的差异,此处仅就功能性对该网络的功能进行描述,在实际实施中,可能并不单独存在一个独立的实体或输出值。该切割模型可以通过上述进行标注边界的图像数据进行训练,得到一个判决策略,在收到不间断的二维度图像后,能够在t1时刻产生一个起始边界的判决,并在t2时刻产生一个结束边界的判决。进而,通过一个简单的图像处理方法,将t1和t2时刻内的图像数据组成一个仅包含一个独立木板样本的图像。通过连续使用该网络,就能不间断产生多个独立的二维图像样本,并保证每个图像样本仅包含一个完整的木板图像数据。除此之外,该神经网络也可以完成侧边界的识别,将无关背景图像数据剔除。

在本公开实施例的一可选实现方式中,还可以使用多个线性摄像机采集图像数据。多个线性摄像机在不同拍摄角度下同时采集一个木板样本的图像数据,并产生多组训练数据。该多组训练数据包括木板类别、对应的速度以及对应的拍摄角度等标签,当然还可以包括对应的光照等标签。多个线性摄像机还可以使用多种不同的光照条件,例如扫描区域分成不透光的A、B两个区域,分别安装线性摄像机a、b,并使用s1、s2两种光照强度。在木板样品通过扫描区域后,得到不同光照条件下的两个Sample。同理,也可以获得多个拍摄角度、移动速度等参数下的样本。

图5示出根据本公开一实施方式的木板识别方法的流程图。如图5所示,所述木板识别方法包括以下步骤S501-S503:

在步骤S501中,获取所述木板的多个一维图像;

在步骤S502中,将所获取的所述多个一维图像进行拼接,得到待识别的二维图像;

在步骤S503中,根据所述二维图像以及训练好的木板识别模型进行识别,得到所述木板的类别以及移动速度。

在本实施例中,一维图像可以通过线性摄像机获取,由于线性摄像机在每个时间点只能采集一个一维图像,该一维图像无法直接用于后续的识别。因此,可以将多个一维数据拼接成一个二维图像,该二维图像可以包含部分或整个木板的图像信息。

木板识别模型可以是预先训练好的,例如采用图1所示的机器学习方法得到的木板识别模型。由于木板识别模型是经过二维图像、速度以及类别训练过的,因此可以通过待识别木板的图像样本识别出该木板的类别以及移动速度等。木板的移动速度是相对移动速度,即采集图像的线性摄像机与木板之间的相对移动速度。

在本公开实施例的一可选实现方式中,所述步骤S502,即将所获取的所述多个一维图像进行拼接,得到待识别的二维图像的步骤,进一步包括:

在步骤S501中,将所获取的所述多个一维图像按照图像获取时间顺序和/或图像次序分成至少两组一维图像;

在步骤S502中,将所述至少两组一维图像分别进行拼接,形成待识别的至少两个二维图像。

在该可选的实现方式中,木板通过传送带被送入图像采集区域,木板在移动过程中通过线性摄像机的扫描区域,完成图像采集,通过线性摄像机对采集的多个一维图像进行处理,得到二维图像,并将采集的二维图像输入到经过训练的木板识别模型中。或者,木板固定在某个区域,而通过移动线性摄像机扫描整个木板,采集多个一维图像,并得到二维图像。

在某种情况下,图像采集的过程中还可以使用一个外部光源,例如LED灯光源。该光源能够提供一种均匀的光照,以提升图像的基础亮度。同时可以通过使用一个与外部光源同步的线性摄像机,在不同时刻变换不同的光照条件,并得到多个光照条件下的图像样本。

那么为了得到更加准确的识别结果,还可以将获取的一组一维图像分成两部分,即按照时间顺序分成前后两部分,最后再将前后两部分的一维图像分别拼接得到两个一维图像。如前所述,在采样获取前半部分一维图像和后半部分一维图像时,可以采用不同的光照条件,这样所获得的两个二维图像所对应的预定速度相同,但是光照条件不同。

同样,还可以将同一预定速度下获取的一组一维图像分成两部分,即获取的一组一维图像中采样次序在奇数位和偶数位的一维图像分别分成两个组,每个组包括的一维图像拼接成一个二维图像,同一预定速度下则能获得两个二维图像。如前所述,在奇数时刻采样获取一维图像和偶数时刻采样获取一维图像时,可以采用不同的光照条件,这样所获得的两个二维图像所对应的预定速度相同,但是光照条件不同。

可选地,所述光照条件包括木板外部光源光线的强弱、外部光源光线的照射方向、获取所述一维图像的图像获取单元的拍摄角度和图像获取单元的光圈大小中的一个或多个;所述预定速度为所述图像获取单元与所述木板之间的相对移动速度。

在本公开实施例的一可选实现方式中,所述步骤S503,根据所述二维图像以及训练好的木板识别模型进行识别,得到所述木板的类别以及移动速度,包括:

将所述至少两个二维图像分别输入至所述木板识别模型中,得到所述木板的类别以及移动速度的两组置信度估值;

从所述两组置信度估值中选取置信度最高的一组作为最终识别结果。

该可选的实现方式中,对待识别的木板采集获得的两个二维图像进行识别时,可以将两个待识别的二维图像分别输入至木板识别模型,并将最终得到的识别结果中置信估值更高的一组作为最终识别结果,这样能够增加识别准确率。

经过训练的木板识别模型对输入的待识别二维图像进行分析,确定木板的移动速度和类别。如果在训练过程中,每种类别的训练样本如果包含了不同光照条件下的训练样本,则训练好的木板识别模型可以在任意光照条件下实施可靠的速度和类别识别。此处,所述任意光照条件可以是在一个基础的亮度条件下,例如通过LED外部光源照射的情况下,围绕基础亮度上下浮动的一个光照条件。如果在前期的样本采集不包含多种光照条件,而只包含类别标识,则可能由于光照条件的改变而造成识别的错误。这是由于缺少多光照条件下的样本数据,卷积神经网络无法矫正光照对图像样本带来的影响。而识别过程中不可避免的使用了图像的色彩特征,该特征会随着光照的改变而改变,因此使得不同光照会改变最终的分类结果。当使用同一木板样本的多个光照条件下的图像样本时,将得到多组置信度估值,可以优选其中包含置信度值最高的结果作为最终结果。

此外,图像采集的过程中还可以使用一个参考图像,例如白色参照图像。该图像与木板图像同时被采集到一个图像数据中,参考图像可以作为白平衡和亮度或其他图像参数的一个基准。

此时,上述的白色参照物可以对图像进行一个白平衡和亮度的矫正。由于白色参照物可以被视为已知的一种图像,因此光照对木板图像的改变可以由光照对白色参照物的改变推演得到。由于木板在传送带上的速度并不总是等于传送带的速度,所以每一个新的木板都可能以一个任意的速度进入图像采集区域,由于训练样本包含了不同速度下的样本,因此木板识别模型也可以分辨木板的运动速度。在一实施例中,可以根据木板的移动速度确定预定的踢腿时间,并在预定的踢腿时间根据确定的木板类别执行踢腿操作,也就是分类操作,将木板踢入到相应的分类中。

一个示例的神经网络输出如下:

Sample 1:

[类别:{A:95%,B:3%,C:2%},速度:{V0:99%,V1:1%},摄像机角度:{A1:100%}]

Sample 2:

[类别:{A:1%,B:99%,C:0%},速度:{V0:2%,V1:98%},摄像机角度:{A1:100%}]

当线性摄像机获得同一木板的多个二维图像时,木板识别模型的输出可能入下:

Sample 1a:

[类别:{A:95%,B:3%,C:2%},速度:{V0:99%,V1:1%},摄像机角度:{A1:100%}]

Sample 1b:

[类别:{A:92%,B:3%,C:5%},速度:{V0:99%,V1:98%},摄像机角度:{A1:100%}]

此时可以将Sample 1a用于最终的分类判断。这是由于Sample 1a采集时所处的由于自然光照和外部光源合成的光照条件更适宜,因此使得置信度值更高。

也就是说,木板识别模型的输出是每个分类(如木板类别、速度、拍摄角度等)的置信度最终估计值。根据这些估计值,可以选择置信度最高的分类作为最终的输出。注意,上述实施过程仅使用了神经网络作为一种基本方式,其他类似的机器学习方法,例如支持向量机,KNN,RNN,K-means,决策森林等方法也可以延续相同的方法和流程,得以实现基于其他机器学习方法的方案。。

踢腿执行的操作可以是根据一个时间与速度的映射关系得到,例如:

T=aV+b

其中V是最终得到的速度估计,a,b是预定义的参数。如果传送带发生了改变,例如踢腿机与摄像头的距离发生改变时,只需要改变a,b的取值即可,而不用重新训练整个神经网络。踢腿时间与速度的映射关系也可以通过很多种方式实现,并不局限于所述的方法。

在本公开实施例的一可选实现方式中,所述步骤S703中,即将所述二维图像以及训练好的木板识别模型进行识别,得到所述木板的类别以及移动速度的步骤,包括:

根据所述二维图像以及训练好的边界识别模型,得到所述木板的边界信息;

根据所述二维图像、所述边界信息以及所述木板识别模型,得到所述木板的类别以及移动速度。

在该可选的实现方式中,线性摄像机可能对流水线移动或排列的多个木板不间断的采集一维图像,并拼接得到一个连续的二维图像。这种情况下,可以通过训练好的一个切割模型即木板边界识别模型,用于将连续的二维图像进行切割,即识别出二维图像中的边界信息,并将于边界信息分割成多个二维图像,得到每个只包含一个木板图像的二维图像样本。该切割模型在收到不间断的二维度图像后,能够在t1时刻产生一个起始边界的判决,并在t2时刻产生一个结束边界的判决。进而,通过一个简单的图像处理方法,将t1和t2时刻内的图像数据组成一个仅包含一个独立木板样本的图像。通过连续使用该网络,就能不间断产生多个独立的二维图像样本,并保证每个图像样本仅包含一个完整的木板图像数据。除此之外,该神经网络也可以完成侧边界的识别,将无关背景图像数据剔除。

切割后的包含独立木板的图像数据作为输入,在经过神经网络的每一层时产生输出值,并被用于下一层的输入。在经过所有层级之后,卷积神经网络将在每一个分类上得到一个置信度的估计值。如果线性摄像机获得了多个光照条件下的图像样本,则可以分别将其输入至该卷积神经网络,得到多个置信度估值组。

在实际的识别过程中,由于木板是一种非标准化产品,在一定的情况下训练过的木板识别模型无法获得准确的分类,例如品类A和品类B的最终置信度估计值近似相等,例如51%对49%,则认为该次分类的置信度较低。对于这样的木板,可以通过将其分为一个单独的“无法识别分类”,或通过警报装置通知操作员进行干预。此时,可以通过迭代的方法处理此类木板。首先通过人工的方式对其进行分类,再获得该样本在多速度、多光照、多摄像机角度下的图像样本。这样也就获得了一个新的图像样本,这个图像样本可以添加到之前用于训练神经网络的样本中,再在时机合适的时候重新训练神经网络。通过不断增加样本数据并训练神经网络,能够不断增加对各种异常样本的处理精度,使得低置信度出现的概率逐步下降。如下给出迭代的过程中的数据示例:

Sample 1

Sample 2

….

Sample N

是用于第一次训练神经网络的样本数据,通过迭代的方法,得到如下样本:

Sample 1

Sample 2

Sample N

Sample N+1

Sample N+2

Sample N+3

其中Sample N+1,Sample N+2,Sample N+3都是对应于同一个低置信度的木板,但是对应于不同的速度、光照、摄像机角度等属性。由于所述图像样本可能受到原木板材质的影响,因此不同批次的原木带来的图像样本特征不同。同时,即使同一批次的原木,也可能由于上色或需求的改变而改变自定义的分类以及分类与样本的对应关系。这些快速变动的需求,均可以通过改变图像样本并重新训练神经网络的方法来快速调整分选算法。例如,

SampleSet 1,SampleSet2,SampleSet3…..

是不同的训练数据组,对应于不同的原木材质、不同的分类方法、不同的喷漆工艺等需求。只要使用对应的训练数据,快速训练神经网络并更新分选算法,则在不改变任何硬件结构的前提下,随时对应于新的需求。尤其是在训练过程在云端实时的情况下,训练过程可以大大缩短,使得原本几个月才能完成的参数调整、校准、测试、部署过程在一天之内完成。

本公开提出的上述木板识别方法,无论在任何环境和任何速度下,都能准确地对木板进行分类,并在准确的踢腿时间执行分类操作。而且不需要单独的设备,例如光电传感器来获取木板到达的时间,而是通过分类学习即能确定分类时间。

附图中的流程图和框图,图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

作为另一方面,本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质;也可以是单独存在,未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序,所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的实用新型范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述实用新型构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1