针对振动筛运行状态的双目视觉在线检测装置及检测方法与流程

本发明涉及基于双目视觉的在线检测技术，具体是一种针对振动筛运行状态的双目视觉在线检测装置及检测方法。

背景技术：

振动筛是一种广泛应用于煤炭、冶金、石油、化工、建筑、水利电力、交通运输等工业部门的振动机械，用于实现脱介、脱水、物料分级等作业工作，设备的运行情况直接关系并影响工业原料的利用率和生产绩效，为提高筛分效率和产量，设备的尺寸和工作强度不断提高，常规的振动筛运行状态检测装置是由永久性安装在结构上的传感器和数据采集单元构成，由于振动筛结构复杂且工作强度高，传感器通用性差，严重制约了传感器的安装定位、测量精度和使用寿命，极大地降低了检测系统的准确性与可靠性。

当前，工业现场普遍存在生产压力大，工期短的情况，导致设备长期高负荷运转，极易出现细小故障。为避免设备停车造成的生产线停产，工作人员往往忽略安全操作规程，在运行的设备上进行短时间违规作业，由于人工巡检的局限性，无法给予及时制止，给工业生产与人员安全带来很大安全隐患。

目前，视频检测系统实时视频流的帧率为25fps，不具备对高频振动设备特征点运动信息的捕捉功能，且缺乏有效的数字图像分析与处理能力，相关的检测与处理受限于观测人员和工况环境等诸多不定因素，由于劳动强度高，观测人员不是一个绝对可靠的观察者，无法实时观测设备运动轨迹的细微变化，漏报和误报现象频发，降低了对检测系统的信任。

技术实现要素：

本发明要解决的技术问题是提供一种针对振动筛运行状态的双目视觉在线检测装置及检测方法，这种装置不受设备结构和工作强度的影响，通过双目视觉观测器对设备各关键部位的特征点进行全方位、多角度的运动轨迹追踪和辨识，完成对设备整体运行状态的检测分析。

本发明解决其技术问题采用的技术方案是：

一种针对振动筛运行状态的双目视觉在线检测装置，包括轨道，观测器和工业计算机；观测器置于轨道上，沿轨道运行；轨道边缘安装有起点磁体、中途观测点磁体和终点磁体；观测器设有中空结构的行走底座，行走底座的前端、侧端和末端分别装有前端干簧管、侧端干簧管和末端干簧管，通过干簧管与轨道上的磁体接触，定位观测器位置；

行走底座内置控制器单元，行走底座上部设置矩形中空工作台，矩形中空工作台上设置有基于双目视觉系统的1号高速工业相机和2号高速工业相机、两台led高亮度的1号补光光源和2号补光光源；

控制器单元控制观测器主动运动与定点观测，并将图像数据传输至工业计算机，工业计算机通过对振动筛特征点运动图像的分析与处理，完成特征点运动轨迹的追踪与辨识，在线检测振动筛运行状态；通过对运动目标的检测，利用双目视觉立体匹配和空间定位原理，检测工作人员的违规操作。

所述针对振动筛运行状态的双目视觉在线检测装置的检测方法，包括振动筛运行状态检测和人员违规操作检测。

振动筛运行状态检测方法：

（一）对双目立体视觉系统的1号高速工业相机和2号高速工业相机进行相机标定，实现双目视觉系统两台相机间的关联；

（二）观测器对振动筛特征点的运动轨迹进行检测，完成实时视频流采集，获取当前帧图像数据；

（三）工业计算机对图像数据进行处理和分析；具体方法是：

利用高斯滤波器和先开后闭的图像形态学处理方法去除原始图像中的噪声和毛刺；

应用多尺度harris角点检测算子，提取振动筛图像的特征点，通过设定阈值，筛选角点邻域内的最强特征点；

采用改进的lucas-kanade光流估计算法，通过由粗至细的分层策略，将振动筛特征点的大幅振动缩减为满足光流约束条件的小运动，逐层迭代求解光流，通过相邻两帧特征点的交换，得到特征点运动轨迹的精确估计，实现对高速移动的特征点进行追踪；

使用ransac算法，去除振动筛在直线运动方向上的干扰点，提高对运动轨迹追踪的精度；

将振动筛特征点的运动轨迹，作为bp神经网络的输入，通过训练好的设备运行状态网络模型，将振动筛运行状态分为四个类型进行输出，其输出类型定义为：a、未运行，b、正常运行，c、疑似故障，d、故障；

人员违规操作检测方法：

（一）对双目立体视觉系统的1号高速工业相机和2号高速工业相机进行相机标定，实现双目视觉系统两台相机间的关联；

（二）观测器对振动筛及工作人员进行检测，完成实时视频流采集，获取当前帧图像数据；

（三）工业计算机对图像数据进行处理和分析；具体方法是：

利用高斯滤波器和先开后闭的图像形态学处理方法去除原始图像中的噪声和毛刺；

由初始的多帧图像数据，应用改进的混合高斯模型算法，经过不间断的自学习过程，完成对静止背景的提取和运动目标的检测，将运动目标定义为前景，通过有选择性地实时更新背景，完成前景的更新；

在前景建模过程中，完成对前景图像的去噪工作，其过程为，生成前景图像，进行二值化处理，设定阈值，将小于阈值的点视为图像噪声并去除；

通过大津算法对运动目标的前景图像进行阈值分割，把分割好的每一个目标，用一个封闭曲线进行拟合与标记；

在运动目标的前景图像中，运用人脸检测算法，实时定位并标记人脸信息，其输出状态分别定义为：

a、没有前景目标出现，则状态为振动筛未运行，无工作人员出现；

b、前景目标为工作人员，则状态为振动筛未运行，工作人员巡视；

c、前景目标为振动筛，则状态为振动筛运行，无工作人员出现；

d、前景目标为振动筛和工作人员，则状态为振动筛运行时出现工作人员；

通过双目视觉系统的立体匹配与空间定位原理，对状态d进行人员违规操作和疑似人员违规操作的判断。

采用上述技术方案的本发明，与现有技术相比，有益效果是：

装置采用主动运动方式，既可以完成对单台设备运行状态的重点检测，又可以实现对同一工作面多台同型设备运行状态的巡检；可以针对振动筛关键部位的特征点进行全方位，多角度的实时运动轨迹的追踪与辨识，在线分析设备的运行状态；通过对运动目标的检测和双目视觉空间定位的原理，完成对工作人员违规操作的检测。基于该装置，采用了多种改进的图像处理算法，提高了对图像分析与处理的精度和速度；应用bp神经网络模型，实现对振动筛运动轨迹的检测与运行状态的分类；采用双目立体视觉成像方案，保证了数据检测与分析的时效性，准确性和完整性。

进一步的，本发明优选方案是：

轨道为双侧槽式结构，呈直线型、曲边l型、曲边u型或曲边矩形，轨道通过内嵌式螺栓固定在建筑主体上；行走底座下部装有行走轮，行走轮外径与轨道的槽高度相当，行走轮嵌入轨道的槽中。

轨道起点和终点分别安装充电座，观测器的工作电源为大容量锂电池，通过充电座上的充电座电极对观测器的工作电源自动充电。

行走轮的传动轴通过齿轮传动机构由双向直流电机驱动，双向直流电机通过h桥驱动电路，在电机正转使能信号，反转使能信号和运行信号作用下自动完成电机动作。

行走底座内置圆柱形中空传动平台、斜齿齿轮盘减速机构、双向步进电机，斜齿齿轮盘减速机构是一个由双向步进电机输出轴上的小齿轮啮合传动的大齿轮盘，所述大齿轮盘上部固定圆柱形中空传动平台，圆柱形中空传动平台上部固定矩形中空工作台，矩形中空工作台通过双向步进电机完成由初始位置沿顺时针和逆时针的双向往返180°旋转定位工作。

1号高速工业相机和2号高速工业相机设有cmos传感器，焦距为9mm，图像采集帧率为116fps，图像像素为808*608，完成图像数据的采集，通过gigabitethernet接口传输图像数据。

轨道起点设有线缆轴机构，线缆轴机构由直流减速电机、传动机构和线缆轴构成，直流减速电机通过控制线与控制单元连接，通过控制器单元的指令，使直流减速电机与双向直流电机同步工作。

观测器设有透明护罩。

附图说明

图1是本发明实施例的装置总体架构示意图；

图2是观测器置于轨道上的示意图；

图3是观测器平面示意图；

图4是工业相机和补光光源在矩形中空工作台上的安装示意图；

图5是观测器立面示意图；

图6是圆柱形中空传动平台与矩形中空工作台连接示意图；

图7是观测器侧立面示意图；

图8是图7中a-a向视图；

图9是双向直流电机工作流程图；

图10是双目视觉系统坐标图；

图11是振动筛运动轨迹追踪流程图；

图12是工作人员违规操作检测流程图；

图中：1-观测器；2-轨道；3-工业计算机；4-补光光源底座；5-高速工业相机底座；6-1号补光光源；7-1号高速工业相机；8-2号高速工业相机；9-2号补光光源；10-矩形中空工作台；11-圆柱形中空传动平台；12-斜齿齿轮盘减速机构；13-双向步进电机；14-观测器前端干簧管；15-观测器侧端干簧管；16-观测器末端干簧管；17-轨道起点磁体；18-轨道中途观测点磁体；19-轨道终点磁体；20-双向直流电机；21-齿轮传动机构；22-传动轴；23-行走轮；24-出线口；25-直流减速电机；26-传动机构；27-线缆轴；28-控制器单元；29-工作电源；30-工作电源电极；31-充电座；32-充电座电极；33-透明护罩；34-内嵌式螺栓。

具体实施方式

下面结合附图及实施例详述本发明，目的仅在于进一步说明本发明的技术特征，而不对本发明权利要求进行限制。

本实施例给出的针对振动筛运行状态的双目视觉在线检测装置，由轨道2、观测器1和工业计算机3三部分构成，观测器1通过其控制器单元28实现主动运动与定点观测，并将图像数据传输至工业计算机3，工业计算机3通过对振动筛特征点运动图像的分析与处理，完成特征点运动轨迹的追踪与辨识，实现对振动筛运行状态的在线检测；通过对运动目标的检测，利用双目视觉立体匹配和空间定位的原理，实现对工作人员违规操作的检测。由于检测对象的振动频率高，为满足设备运行状态分析结果的准确性与时效性，需要以大量图像数据为基础，为保证数据的质量与完整性，装置采用有线数据传输方式。

参见图1至图9，根据现场工况条件和观测角度，选择轨道2的安装方式，可采用悬挂吊装，垂直壁装和水平安装。并依据对振动筛的检测需求，设计轨道2为直线型轨道、曲边矩形轨道、曲边u型轨道或曲边l型轨道；本实施例采用直线型轨道，且采用双侧槽式结构，通过内嵌式螺栓34完成轨道2和建筑主体的连接；在轨道2的内沿安装轨道起点磁体17、轨道终点磁体19和若干个轨道中途观测点磁体18。

轨道2的起点和终点分别安装充电座31，观测器1的工作电源29为大容量锂电池，通过充电座31上的充电座电极32对观测器1的工作电源29的自动充电。装置采用大容量锂电池作为工作电源29，保证了观测器1供电的稳定性，防止供电浮动对观测器1工作性能的影响，且能够减轻线缆轴机构的工作压力。

观测器1置于轨道2上，沿轨道2运行；具体的，观测器1设有中空结构的行走底座，行走底座下部装有行走轮23，行走轮23外径与轨道2的槽高度相当，行走轮23嵌入轨道2的槽中。行走底座的前端、侧端和末端分别装有观测器前端干簧管14、观测器侧端干簧管15和观测器末端干簧管16，其中，观测器前端干簧管14与轨道起点磁体17接触，控制器单元28发出双向直流电机20正转使能信号，观测器侧端干簧管15与轨道中途观测点磁体18接触，控制器单元28发出中途观测信号，观测器末端干簧管16与轨道终点磁体接触19，控制器单元28发出双向直流电机20反转使能信号。

行走底座内置圆柱形中空传动平台11、斜齿齿轮盘减速机构12、双向步进电机13，斜齿齿轮盘减速机构12是一个由双向步进电机13输出轴上的小齿轮啮合传动的大齿轮盘，大齿轮盘上部固定圆柱形中空传动平台11，圆柱形中空传动平台11上部固定矩形中空工作台10，矩形中空工作台10通过双向步进电机13完成由初始位置沿顺时针和逆时针的双向往返180°旋转定位工作。行走底座、传动平台、工作台采用中空结构，可方便工业相机和光源的布线，避免平台转动时，线缆缠绕。

行走底座内置控制器单元28，控制器单元28由电压等级转换模块、行走装置控制模块、中空旋转平台控制模块、线缆轴机构控制模块构成，完成对各机构工作电压的转换、双向直流电机的控制、中空旋转平台的控制、线缆收放的控制和图像数据的传输功能。

矩形中空工作台10上通过高速工业相机底座5、补光光源底座4安装有基于双目视觉系统的1号高速工业相机7、2号高速工业相机8、1号补光光源6、2号补光光源9，两台高速工业相机采用cmos传感器，焦距为9mm，图像采集帧率为116fps，图像像素为808*608，完成图像数据的采集，通过gigabitethernet接口传输图像数据，采用poe方式供电，实现数据与电源由一条双绞线电缆同时传输。1号补光光源6和2号补光光源9采用led高亮度光源，光强均匀有效分布，达到整体高亮效果，有效减少光污染，对振动筛检测部位进行补光。

相机和光源可根据轨道2的安装方式通过各自底座进行水平和垂直方向的调整，光源可根据实际补光需要进行多角度调节。

行走底座为双轴四轮底盘结构，行走轮23的传动轴22通过齿轮传动机构21由双向直流电机20驱动，双向直流电机20通过h桥驱动电路，在电机正转使能信号、反转使能信号和运行信号作用下自动完成电机动作。为保证观测器1运行平稳，行走轮23具有宽体和多纹路的特性，且行走轮23外径与轨道2的槽高度相当。

轨道2起点设有线缆轴机构，线缆轴机构由直流减速电机25、传动机构26和线缆轴27构成，直流减速电机25通过控制线与控制单元28连接，通过控制器单元28的指令，使直流减速电机25与双向直流电机20同步工作。线缆轴机构安装在轨道2起点，能够减轻观测器1自身的重量负荷；直流减速电机25采用外部电源供电，不计入观测器1内部功耗。装置工作前，对电机进行转速标定，达到线缆收放速度与观测器1行走速度一致，线缆收放对观测器1无拉力作用。当电源发出亏电信号，线缆轴机构将持续工作，将观测器1拖回轨道2起点，为工作电源29充电。

观测器1设有透明护罩33。透明护罩33为观测器1内部元件提供了保护功能，避免恶劣工况条件影响观测器1的工作性能。

观测器1主动运动与定点观测的工作原理简述如下：

（1）初始检测电机正转使能信号；

（2）如果初始检测信号属性为是（观测器1工作起始点为轨道2起点），双向直流电机20停止，设置双向直流电机20状态为正向，启动1号定时器，观测器1起点停车，完成对图像数据的采集与工作电源29的充电工作，至定时器计时结束；如果初始检测信号属性为否（观测器1工作起始点为轨道2中途点或终点），双向直流电机20停止，设置双向直流电机20状态为反向，启动1号定时器，观测器1上电初始停车，完成对图像数据的采集，继续第5步操作，将观测器1运行至起点，完成对图像数据的采集与工作电源29的充电工作；

（3）双向直流电机20正转，观测器1前进，实时检测中途观测信号，如果信号属性为否，双向直流电机20正转，继续检测中途观测信号；如果信号属性为是，双向直流电机20停止，启动2号定时器，观测器1中途停车，完成对图像数据的采集，至2号定时器计时结束；

（4）双向直流电机20正转，检测双向直流电机20反转使能信号，如果信号属性为否，继续第3步的动作；如果信号属性为是，双向直流电机20停止，设置双向直流电机20状态为反向，启动1号定时器，观测器1终点停车，完成对图像数据的采集与工作电源29的充电工作，至定时器计时结束，观测器1进行反向运行；

（5）双向直流电机20反转，观测器1后退，实时检测中途观测信号，如果信号属性为否，双向直流电机20反转，继续检测中途观测信号；如果信号属性为是，双向直流电机20停止，启动2号定时器，观测器1中途停车，完成对图像数据的采集，至2号定时器计时结束；

（6）双向直流电机20反转，检测双向直流电机20正转使能信号，如果信号属性为否，继续第5步的动作；如果信号属性为是，双向直流电机20停止，设置双向直流电机20状态为正向，启动1号定时器，观测器1起点停车，完成对图像数据的采集与工作电源29的充电工作，至定时器计时结束，观测器1进行正向运行。

参见图10至图12，本实施例所述的针对振动筛运行状态的双目视觉在线检测装置，其检测项目包括振动筛运行状态检测和人员违规操作检测。

振动筛运行状态检测方法是：

（一）对双目立体视觉系统的1号高速工业相机和2号高速工业相机进行相机标定，实现双目视觉系统两台相机间的关联；具体是：采用张正友提出的张氏标定法，以棋盘格标定板作为平面靶标，通过不同位姿的平面靶标图像的特征点，求取单应矩阵、相机内参数、相机外参数和深度系数，求解相机的非线性畸变参数，通过非线性畸变参数与线性参数的重复计算，提高相机的参数精度，并通过求取基本矩阵，实现双目视觉系统两台相机间的关联；

（二）观测器对振动筛特征点的运动轨迹进行检测，完成实时视频流采集，获取当前帧图像数据；

（三）工业计算机对图像数据进行处理和分析；具体方法是：

利用高斯滤波器和先开后闭的图像形态学处理方法去除原始图像中的噪声和毛刺；

应用多尺度harris角点检测算子，提取振动筛图像的特征点，通过设定阈值，筛选角点邻域内的最强特征点；

采用改进的lucas-kanade光流估计算法，通过由粗至细的分层策略，将振动筛特征点的大幅振动缩减为满足光流约束条件的小运动，逐层迭代求解光流，通过相邻两帧特征点的交换，得到特征点运动轨迹的精确估计，实现对高速移动的特征点进行追踪；

使用ransac算法，去除振动筛在直线运动方向上的干扰点，提高对运动轨迹追踪的精度；

将振动筛特征点的运动轨迹，作为bp神经网络的输入，通过训练好的设备运行状态网络模型，将振动筛运行状态分为四个类型进行输出，其输出类型定义为：a、未运行，b、正常运行，c、疑似故障，d、故障；

人员违规操作检测方法是：

（一）对双目立体视觉系统的1号高速工业相机和2号高速工业相机进行相机标定，实现双目视觉系统两台相机间的关联；具体是：采用张正友提出的张氏标定法，以棋盘格标定板作为平面靶标，通过不同位姿的平面靶标图像的特征点，求取单应矩阵、相机内参数、相机外参数和深度系数，求解相机的非线性畸变参数，通过非线性畸变参数与线性参数的重复计算，提高相机的参数精度，并通过求取基本矩阵，实现双目视觉系统两台相机间的关联；

（二）观测器对振动筛及工作人员进行检测，完成实时视频流采集，获取当前帧图像数据；

（三）工业计算机对图像数据进行处理和分析；具体方法是：

利用高斯滤波器和先开后闭的图像形态学处理方法去除原始图像中的噪声和毛刺；

由初始的多帧图像数据，应用改进的混合高斯模型算法，经过不间断的自学习过程，完成对静止背景的提取和运动目标的检测，将运动目标定义为前景，通过有选择性地实时更新背景，完成前景的更新；

在前景建模过程中，完成对前景图像的去噪工作，其过程为，生成前景图像，进行二值化处理，设定阈值，将小于阈值的点视为图像噪声并去除；

通过大津算法对运动目标的前景图像进行阈值分割，把分割好的每一个目标，用一个封闭曲线进行拟合与标记；

在运动目标的前景图像中，运用人脸检测算法，实时定位并标记人脸信息，其输出状态分别定义为：

a、没有前景目标出现，则状态为振动筛未运行，无工作人员出现；

b、前景目标为工作人员，则状态为振动筛未运行，工作人员巡视；

c、前景目标为振动筛，则状态为振动筛运行，无工作人员出现；

d、前景目标为振动筛和工作人员，则状态为振动筛运行时出现工作人员；

通过双目视觉系统的立体匹配与空间定位原理，对状态d进行人员违规操作和疑似人员违规操作的判断。

上述振动筛运行状态检测和人员违规操作检测方法中，数字图像处理方案说明如下：

本发明以振动筛为检测对象，具有筛体振动一致性和关键部件运动规律性的特点。这里以高频筛为例，振动频率为24次/秒，为精确追踪检测对象特征点的运动特性并还原运动轨迹，需要采集特征点在一个运动周期内的多帧图像数据，综合相机采集帧率和图像像素间的约束关系，作为优选，本发明采用图像采集帧率为116fps，图像像素为808*608的高速工业相机作为数字图像采集单元。

图像预处理作为数字图像分析的前期基础工作，包含图像平滑滤波，图像形态学处理，边缘检测，直线检测，图像分割等方法，用于消除图像噪声，突出图像的主干区域特征，使图像亮度平缓渐变，减小突变梯度，有效改善图像质量。作为优选，本发明应用高斯滤波器和先开后闭的图像形态学处理方法去除原始图像中的噪声和毛刺，通过canny算子完成对原始图像的边缘检测，利用hough变换的良好鲁棒性进行直线检测，通过改进的大津算法进行全局阈值处理，确定最佳阈值，使背景和目标间的类间方差最大，完成图像分割。

角点是数字图像中最直观的局部特征点，信息量丰富，稳定性好，对位置变化敏感，可提高对检测设备目标跟踪的准确性。作为优选，本发明应用多尺度harris角点检测算子进行图像特征点的提取，通过设定合理的阈值，在角点邻域内筛选最强特征点，保证角点的健壮性。

光流法，背景差分法和帧间差分法是常用的运动目标检测方法，作为优选，本发明采用一种改进的lucas-kanade光流估计算法，通过由粗至细的分层策略，将检测对象的大幅振动缩减为满足光流约束条件的小运动，逐层迭代求解光流，得到对振动筛特征点运动轨迹的精确估计，实现对高速移动特征点的追踪。

由于对振动筛特征点进行运动轨迹采样时，釆样轨迹中会含有干扰点，干扰点的存在将给轨迹追踪结果带来误差。作为优选，本发明使用ransac算法，去除直线运动方向上的干扰点，提高对运动轨迹追踪的精度。

常用的背景建模方法有帧差法和高斯背景建模法，由于帧差法会引入噪声并产生大量空洞，对后续确定目标对象造成影响。作为优选，本发明采用改进的混合高斯模型算法进行背景建模，通过模型学习，调整高斯模型的权重和参数，增加或更换高斯分量，实现对运动目标背景与前景的提取。

bp神经网络作为有导师学习模型，学习过程包括信息的正向传输和误差的反向传输，是一种无约束的优化计算过程，采用梯度搜索技术，沿着误差的负梯度方向不断修正网络中的权值和阈值，直到误差达到最小。作为优选，本发明采用bp神经网络对振动筛特征点的运动轨迹特征进行学习，将振动筛特征点的运动轨迹作为网络输入，设备运行状态的类型作为输出，通过离线的对大量历史数据进行网络训练，得到设备运行状态的网络模型，最后保存训练中性能最好的神经元模型，当输入新的特征点运动轨迹时直接调用模型并判断设备运行状态。

以上所述，仅是本发明的较佳实施例而已，并非对本发明做任何形式的限制，任何未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰，均属于本发明技术方案的范围。