一种基于视频图像识别的智能分类提示方法、装置及系统与流程

本发明涉及图像识别领域，尤其涉及一种基于视频图像识别的智能分类提示方法、装置及系统。

背景技术：

传统的木地板加工生产线，在成品分检环节通常使用人工分检。具体为：木地板加工成品一般分为3个成品等级，对应3个区域进行分检存放，且每个存放区域对应有成品等级标识。通过对分检员的专业成品识别培训，分检员可以通过培训知识和识别经验来判断成品的等级，将木地板成品归类存放到对应的等级存放区域。由于现有的分检方式需要对分检员进行专业的分检知识培训，并且通过人工经验判断，存在容易出错且分拣效率低的问题。同时，分检人员的专业培训周期长，培训、用工成本高，人员流动性大，增加了企业的培训和用工成本，且存在人员流失造成的生产延误不确定性。

技术实现要素：

为了克服现有技术的不足，本发明的目的在于提供一种基于视频图像识别的智能分类提示方法、装置及系统，其能够通过视频图像判断木地板加工成品等级，进而通过指示灯提示普通分检员进行成品的等级分类判断及对应区域存储目的。

本发明的目的采用以下技术方案实现：

一种基于视频图像识别的智能分类提示方法，包括以下步骤；

s1：对测试成品进行特征提取，得到相应的特征向量；

s2：通过将测试成品的特征向量与模板库内的特征向量进行比对识别，识别出测试成品的等级信息和移动位置信息；

s3：根据成品的等级信息和移动位置信息，以控制指示灯显示状态和灯光投射方向。

优选地，所述步骤s1之前还包括以下步骤：

s11：采集测试成品的图像信息；

s12：对测试成品图像进行预处理，具体包括对图像解码处理、图像去噪声处理、图像去干扰处理。

优选地，所述步骤s1具体包括以下子步骤：

s101：对预处理的图像进行图像分割，将其分割为预设数量的方格区域；

s102：计算每个方格中的区域密度，该区域密度＝每个方格内的点数与测试成品总点数之比。

优选地，所述通过将测试成品的特征向量与模板库内的特征向量进行比对识别是通过比较测试成品的特征向量与模板库内的特征向量相似度的大小。

优选地，所述识别出测试成品移动位置信息具体为：通过对测试成品的实时运行图像数据进行计算，得到测试成品的移动位置信息，将测试成品移动位置信息转化为灯光投射方向变化信息。

本发明的另一目的还在于提供一种基于视频图像识别的智能分类装置，包括以下模块：

特征提取模块，用于对测试成品进行特征提取，得到相应的特征向量；

识别模块，用于将测试成品的特征向量与模板库内的特征向量进行比对识别，识别出测试成品的等级信息和移动位置信息；

控制模块，用于接收成品的等级信息和成品移动位置信息，控制指示灯显示状态和灯光投射方向。

优选地，所述特征提取模块之前还包括以下模块：

采集模块，用于采集测试成品的图像信息；

预处理模块，用于对测试成品的图像进行预处理，具体包括对图像解码处理、图像去噪声处理、图像去干扰处理。

优选地，所述特征提取具体包括以下模块：

分割模块，用于对预处理的图像进行图像分割，将其分割为预设数量的方格区域；

计算模块，用于计算每个方格中的区域密度，该区域密度＝每个方格内的点数与测试成品总点数之比。

优选地，所述控制模块之前还包括转化模块，用于将测试成品移动位置信息转化为灯光投射方向变化信息发送给控制模块进行控制。

本发明的另一目的还在于提供一种基于视频图像识别的智能分类系统，包括摄像头、识别装置、固定装置、指示灯控制器、指示灯、传送带，所述固定装置固定安装在墙体下方，所述摄像头固定安装在固定装置下方且与识别装置电连接，所述摄像头采集传送带上的测试成品图像信息发送给识别装置进行识别；所述识别装置与指示灯控制器电连接安装在固定装置上方，所述指示灯固定安装在固定装置下方且与指示灯控制器电连接；所述识别装置用于识别测试成品的等级和计算测试成品的移动位置信息；所述指示灯控制器用于接收识别装置发送的测试成品的等级信息和测试成品的移动位置信息，控制指示灯显示状态和灯光投射方向。

相比现有技术，本发明的有益效果至少如下：通过机器学习建立的木材成品识别库，具有标准化的特点，避免了传统方式中人工判断容易误判的缺点。通过使用本装置，普通工人均可以上岗按提示进行归类操作，不需要再经过专业知识培训，避免了受培训人员工资高、流动大造成的分检环节不可控性，同时有效的降低了企业的人员培训和用工成本。

附图说明

图1是本发明较佳实施例基于视频图像识别的智能分类提示方法的原理流程图；

图2是本发明较佳实施例特征提取的详细流程图；

图3是本发明较佳实施例基于视频图像识别的智能分类提示装置的功能模块示意图；

图4是图3中的特征提取模块的详细示意图；

图5是本发明实施例基于视频图像识别的智能分类提示系统的结构示意图。

附图标记：1、墙体；2、摄像头；3、识别装置；4、固定装置；5、指示灯控制器；6、指示灯；7、传送带；10、采集模块；20、预处理模块；30、特征提取模块；40、识别模块；50、转化模块；60、控制模块。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述：

请参见图1，本发明涉及一种基于视频图像识别的智能分类提示方法，包括以下步骤；

在进行识别分类之前需要首先建立训练识别模板，以进行后续的识别判断；通过对于学习验证进行预处理、特征提取、识别训练，从而建立识别模型。训练：从训练集验证码中提取出标准模板，即标准特征库(模板库)的过程，每个成品等级都有几百个标准模板，通过预处理和特征提取后，将训练集成品等级的特征向量存入文件中，训练时，需要指明各成品等级的正确值。

步骤s11：采集测试成品的图像信息，采集传输带上测试成品的实时视频图像；同时用于实时捕捉测试成品的动态运动位置；

步骤s12：对测试成品的图像信息进行预处理，具体包括对图像解码处理、图像去噪声处理、图像去干扰处理。对实时视频图像解码后，通过去干扰和噪声可以去除高度为1和2像素的干扰点，除这些干扰点便于进行后续的处理更好的进行。

步骤s1：对测试成品进行特征提取，得到相应的特征向量；

步骤s2：通过将测试成品的特征向量与模板库内的特征向量进行比对识别，识别出测试成品的等级信息和移动位置信息；

在本步骤中通过将测试成品的特征向量与模板库内的特征向量进行比对识别中通过比较测试成品的特征向量与模板库内的特征向量相似度的大小。

在本步骤中识别出测试成品移动位置信息具体为：通过对测试成品的实时运行图像数据进行计算，得到测试成品的移动位置信息，将测试成品移动位置信息转化为灯光投射方向变化信息。

在本步骤中测试成品的识别，采用使用softmax回归模型进行识别，softmax模型可以用来给不同的对象分配概率，softmax回归主要分为两步：

第一步，为了得到一张给定图片属于某个特定文字类的证据，我们对图片像素值进行加权求和，如果这个像素具有很强的证据说明这张图片不属于该类，那么相应的权值为负数，相反如果这个像素拥有有利的证据支持这张图片属于这个类，那么权值为正数，此外我们还加入一个额外的偏置量，以排除输入带来的一些无关干扰量，因此，

其中wi,j代表权重，xi代表特征向量，在本发明中也即是区域密度，bi代表第i类的偏置量，j代表给定图片x的像素索引于像素求和，然后用softmax函数将这些证据转换为概率y：y＝softmax(envidence)；其中的wi,j和偏置量bi是通过训练的时候得到的数值，在进行识别的时候，计算机只用识别xi这个量即可得到相应的envidencei，从而得到相应的概率y；

这里的softmax是一个激励(activation)函数，把我们定义的线性函数的输出转换成我们想要的格式，也就是关于文字类的概率分布，因此，第二步，给定一张图片，它对于每一个训练标准模板的吻合度可以被softmax函数转换成一个概率值，softmax函数可以定义为：

softmax(x)＝normalize(exp(x))；

展开等式右边的子式，得到：

在本实施例中受测试的木材成品分为a、b、c，三个等级，对应指示灯的提示颜色为a-红、b-绿、c-蓝。在训练过程中每一个类别的概率向量为数字为1的3维向量。每一类别的3维向量只有一个数字，a等级表示为([1,0,0])，类别b表示成([0,1,0])，类别c表示为([0,0,1])。

根据softmax函数计算得到3维向量，例如([0.8913,0.1012,0.0075]),即对应与等级a的概率为0.8913，等级b为0.1012，等级c的概率为0.0075，通过等级的概率分布，判断成品图片属于哪个等级。例如检测到当前测试成品的概率分布向量为([0.3,0.6,0.1]),其中0.6接近训练过程中的b类别概率，即可以判断出类别b的概率为0.6，类别a为0.3，类别c的概为0.1，当检测到测试成品的概率越大，说明木材成品的质量越好。比对概率其实是比对特征向量的相似度的大小，当测试成品的概率与模板库成品的概率越接近，说明两者的特征向量相似度越大。

步骤s3：根据成品的等级信息和移动位置信息，以控制指示灯显示状态和灯光投射方向。根据步骤s2识别测试出成品的等级信息和灯光投射方向变化信息，控制提示灯投射不同颜色状态的灯光到对应的成品上；操作员根据指示灯的颜色、亮度对测试成品进行分类存储。

图2是本发明步骤s1的详细流程图；

步骤s1具体包括以下子步骤：

步骤s101：对预处理的图像进行图像分割，将其分割为预设数量的方格区域；预设数量的方格区域为500*10的方格区域；

步骤s102：计算每个方格中的区域密度，该区域密度＝每个方格内的点数与测试成品总点数之比；从经过预处理的成品视频图像中，提取处一定维数的特征向量，从而提高成品等级匹配和识别的存储量和运算速度，测试成品有很多特征，选用合适的特征才能达到正确识别的目的，本发明采用测试成品的区域密度的特征，即将测试成品图像分成500*10的5000个方格区域，计算每个方格中的点数与成品像素信息总点数之比，以得到5000维特征向量，该特征反映了测试成品的空间分布情况。

图3是本发明基于视频图像识别的智能分类提示装置的功能模块示意图。

需要强调的是，对本领域的技术人员来说，图3所示功能模块图仅仅是一个较佳实施例的示例图，本领域的技术人员围绕图3所示的基于视频图像识别的智能分检提示装置的功能模块示意图，可轻易进行新的功能模块的补充；各功能模块的名称是自定义名称，仅用于辅助理解本装置的各个程序功能块，不用于限定本发明的技术方案，本发明技术方案的核心是各自定义名称的功能模块所要达成的功能。

如图3所示，本实施例提供一种基于视频图像识别的智能分检提示装置，包括：

特征提取模块30，用于对测试成品进行特征提取，得到相应的特征向量；

识别模块40，用于将测试成品的特征向量与模板库内的特征向量进行比对识别，识别出测试成品的等级信息和移动位置信息；识别模块对成品图像进行数据处理分析，主要得到成品的对应类别信息；通过比较测试成品的特征向量与模板库内的特征向量相似度的大小，相似度越大，说明测试成品的等级与模型库内的成品等级相同；结合成品实时运行图像数据计算得到成品移动位置信息；识别模块用于对每批次生产成品的等级、质量情况，进行分析统计得到对应的成品质质量报告。

控制模块60，用于接收测试成品的等级信息和移动位置信息，控制指示灯显示状态和灯光投射方向。用于接收识别模块40发送的识别结果信息，识别结果包括测试成品对应的颜色、位置指示信息、亮灭时间，根据识别结果控制指示灯进行对应的指向开启和关闭、颜色转化和照射方向变化显示。

如图3所示，特征提取模块30之前还包括以下模块：

采集模块10，用于采集测试成品的图像信息；通过采集模块采集传输带上测试成品的实时视频图像发送给识别模块进行识别处理；同时用于实时捕捉测试成品的动态运动位置获取测试成品运动的实时位置信息；

预处理模块20，用于对测试成品的图像进行预处理，具体包括对图像解码处理、图像去噪声处理、图像去干扰处理。对实时视频图像解码后，通过去干扰和噪声可以去除高度为1和2像素的干扰点，除这些干扰点便于进行后续的处理更好的进行。

如图3所示，控制模块之前还包括转化模块50，用于将成品移动位置信息转化为灯光投射方向变化信息发送给控制模块60进行控制。控制模块60通过转化模块50发送的灯光投射方向变化信息控制指示灯的灯光投射方向，以达到灯光可以持续投放到对应的测试成品上显示。

如图4所示，特征提取模块30具体包括以下模块：

分割模块301，用于对预处理的图像进行图像分割，将其分割为预设数量的方格区域；预设数量的方格区域为500*10的方格区域；

计算模块302，用于计算每个方格中的区域密度，该区域密度＝每个方格内的点数与测试成品总点数之比。从经过预处理的成品视频图像中，提取出一定维数的特征向量，从而提高成品等级匹配和识别的存储量和运算速度，测试成品有很多特征，选用合适的特征才能达到正确识别的目的，本发明采用测试成品的区域密度的特征，即将测试成品图像分成500*10的5000个方格区域，计算每个方格中的点数与成品像素信息总点数之比，以得到5000维特征向量，该特征反映了测试成品的空间分布情况。

图5是本发明实施例基于视频图像识别的智能分类提示系统的结构示意图。该智能分检提示系统包括摄像头2、识别装置3、固定装置4、指示灯控制器5、指示灯6、传送带7，固定装置4固定安装在墙体1下方，摄像头2固定安装在固定装置4下方且与识别装置3电连接，识别装置3与指示灯控制器5电连接安装在固定装置4上方，指示灯6固定安装在固定装置4下方且与指示灯控制器5连接。

在本实施例中，测试成品通过生产线传送带7传输，运动方向如箭头所示为从右向左，例如从图中600m的位置移动到800m的位置，生产线传送带7与地面水平方向平齐。本发明通过固定装置4垂吊安装在生产线的水平正上方的固定墙体上，需保证测试成品通过传送带7运动过程能够进摄像头捕捉区域，以便获取测试成品的清晰完整图像信息。识别装置3和指示灯控制器5通过固定装置4在紧邻摄像头和指示灯的位置安装固定，以便节省空间、便于布线(如使用无线方式连接进行数据传输，指示灯控制器、识别装置可以设置在任意位置)，同时便于日常管理维护。实际生产线同一时间通过的成品数量为多个时，在成品识别处理阶段可只通过一个摄像头2拍摄图像信息，识别装置通过一张图像提取、识别出多个成品和对应等级，并将信号传输给指示灯控制器5，指示灯控制器5可以同步处理多个指示信号，分别对多组指示灯进行显示状态切换控制。指示灯6的投射方向为f位置，根据测试成品的移动位置，投射灯的方向也跟着改变。

工作过程：当待测试成品通过传送带移动进入摄像头2捕捉区域，即d至e区域，在图5的成品历史移动位置600m时，摄像头实时捕捉测试成品图像、位置信息并传输到识别装置3进行识别处理，通过判断得到测试成品的等级数据为a级时，对应将红色灯光与a级匹配。同时测试成品在传送带上实时移动从位置600m往位置800m方向，识别装置3将a等级对应的显示红色灯光、通过摄像头实时获得的测试成品的实时位置，转化为指示信号传输到指示灯控制器5，控制指示灯6投射红色光到测试成品上，同时，摄像头2实时捕捉测试成品的运动位置通过识别装置3转化为灯光实时投射方向数据传输给指示灯控制器5来控制指示灯的灯光投射，指示灯的投射方向f位置，也不断调整变化，保证灯光可以持续投射在移动的测试成品上；当测试成品通过传输带移动移出摄像头拍摄区域，或操作人员将成品归类搬走后，识别装置3通过摄像头获得到上述测试成品已移出(消失)，并判断控制指示灯6关闭，同时传输关闭信息给指示灯控制器5控制指示灯关闭当前提示状态，即灭灯。上述过程中，识别到测试成品等级为b时，则传输b级对应的绿色光源显示信息；识别到测试成品等级为c级时，则传输对应的蓝色光源显示信息。

在本实施例中，指示灯6采用支持dmx512协议的led聚光灯进行指示显示，该类型指示灯具有可以根据指示灯控制器发出的信号切换红、绿、蓝等不同颜色、指定照射方向、光束聚集显示效果好、直线投射距离远，使用寿命长、耗电少，光效高，节能环保等特点。

在其他实施中，指示灯的颜色可以根据成品类别对应的颜色进行更改，指示灯控制器仅通过控制每个颜色的灯的开关来进行等级提示，而不用控制同一灯的灯光颜色变化来对应提示。在指示灯投射方向上，预先根据不同的生产线传输带的运行速度计算投射角度，针对相同速度的传输带生产线按固定角度调试指示灯投射方向达到可以投射到成品上的理想角度后固定安装指示灯，而不用根据摄像头捕捉的图像信息实时获取测试成品运行位置进行灯光投放角度控制。对于单个通过传送带进行传输的测试成品，只控制指示灯的颜色或闪烁频率等灯光特性来进行提示，仅当测试成品运动经过本发明安装所在的特定区域位置(如垂直于本方面下方的区域)时进行状态切换提示，而不投射到具体对应的测试成品上进行操作提示。在指示灯进行投射时，也可以加入发声装置同步发声进行操作声音提示。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。