一种复杂背景下小目标丢失故障的自动识别方法与流程

本发明涉及一种复杂背景下小目标丢失故障的自动识别方法，属于图像处理技术领域。

背景技术：

利用现代科技手段开展机械设备的状态监测和故障诊断，是提高设备可靠性和安全运行的重要途径之一。由于其社会和经济效益好，发展前景广阔，在电子电器、航天航空、机械制造、国防工业、交通运输等众多领域都得到了广泛的应用。

目前应用较成熟的故障诊断方法主要包括：温度检测技术、声学与振动技术、电气参数检测技术、动态压力检测技术等等。随着人工智能的快速发展，一种基于图像识别技术的智能故障诊断方法逐步受到广泛的研究和关注。这种基于图像识别技术的智能故障诊断方法又称为目标故障识别方法，是利用计算机分析目标图像，从中提取有效的图像特征，用来辨别目标是否存在故障的一门技术，是目前人工智能领域的一个热点研究方向。

通过将具有图像识别功能的软件部署在智能故障诊断设备中，可以使该设备具有自动故障识别的功能。然而在实际应用中，受到光照变化和复杂背景的影响，高效、高精度的小目标丢失故障识别成为模式识别和故障诊断领域的难点之一。

技术实现要素：

本发明的技术解决问题为：克服现有技术的不足，提出一种具有高效、高精度、鲁棒性强的复杂背景下小目标丢失故障自动识别方法。

本发明的技术解决方案是：

一种复杂背景下小目标丢失故障的自动识别方法，步骤如下：

(1)采用滑动窗口的方法以从左到右、从上到下的顺序，扫描输入图像；所述输入图像是指待检测的图像；

(2)采用候选ROI分类器对步骤(1)中滑动窗口获得的各个图像进行分类识别，识别出待检测图像中的候选感兴趣区域；

(3)采用ROI分类器对步骤(2)中识别出的候选感兴趣区域进行分类识别，识别出待检测图像中的感兴趣区域；

(4)采用小目标分类器对步骤(3)中识别出的感兴趣区域进行小目标识别，通过识别结果判断小目标是否丢失，若丢失，则表示发生故障；若未丢失，则表示无故障，从而完成复杂背景下小目标丢失故障的自动识别；

所述识别结果是指识别出小目标或者未识别出小目标。

所述步骤(2)采用候选ROI分类器对滑动窗口获得的各个图像进行分类识别，具体为：

(2.1)对正样本图像和负样本图像提取Haar-like特征作为输入数据；所述正样本图像是指ROI区域图像，负样本图像是指不包含ROI区域的背景图像；

(2.2)使用AdaBoost算法对所述输入数据进行训练，得到候选ROI分类器；

(2.3)使用候选ROI分类器对步骤(1)中滑动窗口获得的各个图像进行分类识别，识别出待检测图像中的候选感兴趣区域。

所述步骤(3)采用ROI分类器对候选感兴趣区域进行分类识别，具体为：

(3.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据；所述正样本图像是指ROI区域图像，负样本图像是指不包含ROI区域的背景图像；

(3.2)使用RBF-SVM算法对所述输入数据进行训练，得到ROI分类器；

(3.3)使用ROI分类器对步骤(2)中识别得到的候选感兴趣区域进行分类识别，识别出待检测图像中的感兴趣区域。

所述步骤(4)采用小目标分类器对感兴趣区域进行小目标识别，具体为：

(4.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据；所述正样本图像是指小目标未丢失的区域图像，负样本图像是指小目标丢失的区域图像；

(4.2)使用Linear-SVM算法对所述输入数据进行训练，得到小目标分类器；

(4.3)使用小目标分类器对步骤(3)中识别出的感兴趣区域进行小目标识别。

所述步骤(3.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据，均通过如下步骤进行：

(5.1)针对待分析的图像I(x,y)，利用公式将图像I(x,y)转换为梯度图像G(x,y)，其中dx＝I(x+1,y)-I(x-1,y)，dy＝I(x,y+1)-I(x,y-1)；

(5.2)采用局部二值模式算法将步骤(5.1)获得的梯度图像G(x,y)转换为梯度编码图像G′(x,y)；

(5.3)从步骤(5.2)所获得的梯度编码图像G′(x,y)上计算共生矩阵，得到梯度编码共生矩阵P；

(5.4)采用主成分分析方法对步骤(5.3)所获得的梯度编码共生矩阵P进行降维处理，得到低维的梯度编码共生矩阵P′；

(5.5)对步骤(5.4)所获得的低维的梯度编码共生矩阵P′进行归一化处理，得到最终的PCA-GCCM特征。

本发明与现有技术相比的优点在于：

(1)本发明提出了基于Haar-like特征和AdaBoost算法的候选ROI分类器，使用简单的Haar-like特征从复杂图像中分割出与感兴趣区域相似度较大的候选感兴趣区域，具有快速排除复杂背景图像的作用，大大减少了识别时间；

(2)本发明提出的PCA-GCCM特征先后利用了梯度信息对光照变化鲁棒的优势、局部二值模式算法能够很好的表征图像的局部结构特征的优势、共生矩阵方法能够很好的反映像素特征值之间的空间相关规律的优势、主成分分析方法能够有效的降低特征维数的优势，因此本发明提出的PCA-GCCM特征对于复杂背景和复杂光照具有很好的鲁棒性。

(3)本发明提出的基于PCA-GCCM特征和RBF-SVM算法的ROI分类器，使用鉴别力强的PCA-GCCM特征来表征ROI，大大提高了识别准确率。

(4)本发明提出的基于级联分类器的识别思路，首先，通过候选ROI分类器依次对滑动窗口获得的各个图像进行检测，识别出待检测图像中的候选感兴趣区域；然后，通过ROI分类器对候选感兴趣区域进行检测，识别出感兴趣区域；最后，通过小目标分类器对感兴趣区域进行小目标识别，通过识别结果判断小目标是否丢失，体现了先整体后局部的故障识别思路，完成小目标丢失故障的全自动识别，有效地提高了故障识别的准确率和实时性。

附图说明

图1是本发明的工作流程图。

图2是本发明一具体实施例的待处理图像。

图3是本发明一具体实施例的待识别小目标。

图4是本发明一具体实施例的感兴趣区域。

图5是本发明一具体实施例的候选ROI分类器训练集正、负样本采集示意图。

图6为本发明一具体实施例的小目标分类器训练集正、负样本采集示意图，其中，图6(a)是正样本采集示意图，图6(b)是负样本采集示意图。

图7是本发明一具体实施例的候选ROI分类器的识别结果图。

图8是本发明一具体实施例的ROI分类器的识别结果图。

图9是本发明一具体实施例的小目标丢失故障的识别结果图，其中，图9(a)为故障图，图9(b)为无故障图；

图10是本发明一具体实施例与现有识别方法的性能对比图。

具体实施方式

本发明提供了一种复杂背景下小目标丢失故障的自动识别方法，它利用级联分类器的思路解决复杂背景下小目标丢失故障的自动识别问题。首先，通过滑动窗口的方法扫描待检测图像；第二步，通过候选ROI分类器依次对滑动窗口获得的各个图像进行检测，识别出待检测图像中的候选感兴趣区域；第三步，通过ROI分类器对候选感兴趣区域进行检测，识别出感兴趣区域；最后，通过小目标分类器对感兴趣区域进行小目标识别，通过识别结果判断小目标是否丢失，若丢失，则表示发生故障，若未丢失，则表示无故障，从而完成复杂背景下小目标丢失故障的自动识别。其中，感兴趣区域为包含待识别小目标的区域。这种级联分类器的思路是一种由粗到细的识别思路，也就是首先从待检测图像中识别出包含小目标的感兴趣区域，然后在感兴趣区域内识别出小目标。

本发明中分类器是离线训练完成的，小目标识别有效提高了小目标丢失故障的识别率，保证了识别的实时性。将这种方法应用于铁路货车折角塞门把手丢失故障识别系统中，故障识别率达到了99.88％，识别速度达到了11帧/秒，识别性能优于现有的识别方法，满足了实际应用的需求。

如图1所示，本发明提供的复杂背景下小目标丢失故障的自动识别方法，步骤如下：

(1)采用滑动窗口的方法以从左到右、从上到下的顺序，扫描输入图像；所述输入图像是指待检测的图像；

(2)采用候选ROI分类器对步骤(1)中滑动窗口获得的各个图像进行分类识别，识别出待检测图像中的候选感兴趣区域；

步骤(2)采用候选ROI分类器对滑动窗口获得的各个图像进行分类识别，具体为：

(2.1)对正样本图像和负样本图像提取Haar-like特征作为输入数据；所述正样本图像是指ROI区域图像，负样本图像是指不包含ROI区域的背景图像；

(2.2)使用AdaBoost算法对所述输入数据进行训练，得到候选ROI分类器；

(2.3)使用候选ROI分类器对步骤(1)中滑动窗口获得的各个图像进行分类识别，识别出待检测图像中的候选感兴趣区域。

需要说明的是，使用候选ROI分类器对滑动窗口获得的各个图像进行识别，只有通过候选ROI分类器的图像才判定为候选感兴趣区域。

(3)采用ROI分类器对步骤(2)中识别出的候选感兴趣区域进行分类识别，识别出待检测图像中的感兴趣区域；

步骤(3)采用ROI分类器对候选感兴趣区域进行分类识别，具体为：

(3.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据；所述正样本图像是指ROI区域图像，负样本图像是指不包含ROI区域的背景图像；

步骤(3.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据，均通过如下步骤进行：

(a)针对待分析的图像I(x,y)，利用公式将图像I(x,y)转换为梯度图像G(x,y)，其中dx＝I(x+1,y)-I(x-1,y)，dy＝I(x,y+1)-I(x,y-1)；

(b)采用局部二值模式算法将步骤(a)获得的梯度图像G(x,y)转换为梯度编码图像G′(x,y)；

(c)从步骤(b)所获得的梯度编码图像G′(x,y)上计算共生矩阵，得到梯度编码共生矩阵P；

(d)采用主成分分析方法对步骤(c)所获得的梯度编码共生矩阵P进行降维处理，得到低维的梯度编码共生矩阵P′；

(e)对步骤(d)所获得的低维的梯度编码共生矩阵P′进行归一化处理，得到最终的PCA-GCCM特征。

(3.2)使用RBF-SVM算法对所述输入数据进行训练，得到ROI分类器；

(3.3)使用ROI分类器对步骤(2)中识别得到的候选感兴趣区域进行分类识别，识别出待检测图像中的感兴趣区域。

(4)采用小目标分类器对步骤(3)中识别出的所述感兴趣区域进行小目标识别，通过识别结果判断小目标是否丢失，若丢失，则表示发生故障；若未丢失，则表示无故障，从而完成复杂背景下小目标丢失故障的自动识别；

识别结果是指识别出小目标或者未识别出小目标。

步骤(4)采用小目标分类器对感兴趣区域进行小目标识别，具体为：

(4.1)对正样本图像和负样本图像提取PCA-GCCM特征作为输入数据；所述正样本图像是指小目标区域图像，负样本图像是指不包含小目标区域的背景图像；

(4.2)使用Linear-SVM算法对所述输入数据进行训练，得到小目标分类器；

(4.3)使用小目标分类器对步骤(3)中识别出的所述感兴趣区域进行小目标识别。

基于级联分类器的思路是指：将训练得到的候选ROI分类器、ROI分类器和小目标分类器进行级联，首先使用候选ROI分类器对滑动窗口获得的各个图像进行识别，只有通过候选ROI分类器的图像才判定为候选感兴趣区域；然后使用ROI分类器对已识别出的候选感兴趣区域进行分类识别，识别出待检测图像中的感兴趣区域；最后采用小目标分类器对步骤(3)中识别出的所述感兴趣区域进行小目标识别，通过识别结果判断小目标是否丢失，若识别出小目标，则表示小目标丢失，得到“故障”的识别结果；若未识别出小目标，则表示小目标未丢失，得到“无故障”的识别结果，从而完成复杂背景下小目标丢失故障的自动识别。

本发明实施例的复杂背景下小目标丢失故障的自动识别方法，需要预先确定含有待识别小目标的感兴趣区域。下面以一个具体的铁路货车折角塞门把手丢失故障识别的例子说明感兴趣区域确定的过程。参见图2，铁路货车上的折角塞门把手为待识别的小目标，而根据铁路货车的机械结构特点，塞门把手是安装在折角塞门上的，因此人工选择折角塞门作为感兴趣区域(如图4所示)。这种方法充分利用了人的先验知识，且非常具有针对性，使目标识别效率高，识别更加准确。

实施例

下面以一个具体的铁路货车折角塞门把手丢失故障识别的例子说明复杂背景下小目标丢失故障的自动识别方法。折角塞门是铁路货车基础制动装置中的一个关键部件，它通过一个塞门把手来操纵列车与制动软管之间空气通路的开关。在列车运行时，除列车头、尾两个折角塞门应处于关闭位外，其余中间的每个折角塞门均应处于开通位，以便列车管实现输送压力空气和控制列车制动、缓解作用的两大任务。当塞门的把手和列车管平行时为开通位，垂直时为关闭位。列车行驶的大忌是折角塞门的关闭，这会造成重大事故。由于折角塞门的重要性，为确保折角塞门安全，常由经验丰富的列检员人工检测折角塞门把手是否处于正确位置。由于货车在行进过程中长期的颠簸震动，常造成折角塞门把手丢失，这给正确判别及更改折角塞门的状态造成困难，是一类多发且较为严重的故障。目前，铁路货车折角塞门把手丢失故障的识别仍由人工进行，这种识别方式费时费力且维护成本高。因此，研究一种快速、准确率高的铁路货车折角塞门把手丢失故障识别方法具有很积极的现实意义。

此处需要说明的是，在本例中，塞门把手为待识别小目标(如图3所示)，预先确定折角塞门为感兴趣区域(如图4所示)，因此，候选ROI分类器为候选折角塞门分类器，ROI分类器为折角塞门分类器，小目标分类器为塞门把手分类器。

本实施例具体包括如下步骤：

1、训练候选折角塞门分类器，利用铁路现场采集的折角塞门部位图像，裁剪出图像中的折角塞门区域以及背景区域，并提取它们的Haar-like特征作为输入数据，采用AdaBoost算法训练生成候选折角塞门分类器。具体步骤如下：

1.1、构建训练集；

本实施例采用铁路现场采集的1500幅1400×1024像素的折角塞门部位图像，对这些图像，人工裁剪出196×128像素的折角塞门作为正样本。负样本从这些图像中不包含折角塞门物体的背景区域随意裁剪，大小同样为196×128像素。最终用于训练候选折角塞门分类器的训练集共有正样本1500个，负样本3500个。正负样本的采集如图5所示。

1.2、对于步骤1.1构建的训练集中的正、负样本，提取它们的Haar-like特征作为输入数据，并采用AdaBoost算法训练生成分类器，具体方法参见论文“P.Viola,and J.J.Michael,Robust real-time face detection,International journal of computer vision.2004,57(2):137-154,2004”；

1.3、将步骤1.2中训练得到的分类器作为候选折角塞门分类器。

2、训练折角塞门分类器，利用步骤1.1构造的训练集中的正、负样本，提取它们的PCA-GCCM特征作为输入数据。采用RBF-SVM算法训练生成折角塞门分类器。具体步骤如下：

2.1、利用步骤1.1构造的训练集作为折角塞门分类器的训练集。

2.2、对于步骤2.1构建的训练集中的正、负样本，提取它们的PCA-GCCM特征，具体为：

2.2.1、通过将折角塞门部位图像I(x,y)，利用公式将图像I(x,y)转换为梯度图像G(x,y)，其中dx＝I(x+1,y)-I(x-1,y)，dy＝I(x,y+1)-I(x,y-1)；

2.2.2、采用局部二值模式算子将梯度图像G(x,y)转换为梯度编码图像G′(x,y)，其中N(x,y)为位于(x,y)处像素的局部空间邻域，通常为一个3×3区域，且比较函数当G(x,y)<G(x′,y′)时为1，当G(x,y)>G(x′,y′)时为0，表示串联操作。

2.2.3、从梯度编码图像G′(x,y)上计算共生矩阵，得到梯度编码共生矩阵P；

2.2.4、对梯度编码共生矩阵P进行主成分分析，得到低维的梯度编码共生矩阵P′，具体方法参见论文“S.Wold,K.Esbensen,P.Geladi,Principal component analysis,Chemometrics and intelligent laboratory systems,2(1987)37-52”；

2.2.5、利用公式对低维的梯度编码共生矩阵P′进行归一化处理，其中ε为一个极小的常数值，得到最终的PCA-GCCM特征。

2.3、将步骤2.2中提取的PCA-GCCM特征作为输入数据，并采用RBF-SVM算法训练生成分类器；

2.4、将步骤2.3中训练得到的分类器作为折角塞门分类器。

3、训练塞门把手分类器，利用铁路现场采集的折角塞门部位图像，裁剪出图像中的塞门把手区域以及塞门把手丢失区域，并提取它们的PCA-GCCM特征作为输入数据。采用Linear-SVM算法训练生成塞门把手分类器。具体步骤如下：

3.1、构建训练集；

选取步骤1.1构造的训练集中的1000幅192×128像素的折角塞门图像，对这些图像，人工裁剪出98×128像素的塞门把手图像作为正样本，98×128像素的塞门把手丢失图像作为负样本。最终用于训练塞门把手分类器的训练集共有正样本500个，负样本500个。正负样本的采集如图6(a)和图6(b)所示。

3.2、对于步骤3.1构建的训练集中的正、负样本，提取它们的PCA-GCCM特征。

3.3、将步骤3.2中提取的PCA-GCCM特征作为输入数据，并采用Linear-SVM算法训练生成分类器；

3.4、将步骤3.3中训练得到的分类器作为塞门把手分类器。

4、针对待分析的折角塞门部位图像，采用基于级联分类器的识别思路，完成折角塞门把手丢失故障的全自动识别，具体步骤如下：

4.1、以4个像素为间隔对待分析的折角塞门部位图像进行移位采样，采样窗口为196×128像素，并提取每个采用窗口区域的Haar-like特征，送入候选折角塞门分类器进行识别，得到一系列候选折角塞门图像。本发明采用积分图技术加速计算Haar-like特征，具体方法参见论文“P.Viola,and J.J.Michael,Robust real-time face detection,International journal of computer vision.2004,57(2):137-154,2004”；

4.2、针对步骤4.1得到的候选折角塞门图像，提取每个候选折角塞门图像的PCA-GCCM特征，送入折角塞门分类器进行识别，得到唯一的折角塞门图像。

4.3、针对步骤4.2得到的折角塞门图像，提取其左半部分大小为98×128像素的区域，送入塞门把手分类器识别出塞门把手是否丢失，如果判断塞门把手丢失，则得到“故障”的识别结果，如果判断塞门把手未丢失，则得到“无故障”的识别结果，最终完成塞门把手丢失故障的全自动识别。其中，候选ROI分类器、ROI分类器和小目标分类器，是通过离线训练完成的；然后将训练好的分类器用于小目标在线识别。本实施例中，采用DALSA HM1400高速CCD摄像机在铁路现场采集4000幅1400x1024像素的折角塞门部位图像。本实施例的故障识别率达到了99.88％，识别速度达到了11帧/秒。

图7是候选折角塞门分类器的识别结果图，图中白色矩形框为识别出的候选折角塞门。可以看出，大部分背景区域通过候选折角塞门分类器被排除，只有少量的候选折角塞门区域被保留。通过计算量小的Haar-like特征虽然无法唯一确定折角塞门，但是它具有快速排除复杂背景图像的作用，大大提高了识别速度。

图8是折角塞门分类器的识别结果图，图中白色粗线矩形框为识别出的折角塞门。可以看出，折角塞门认证分类器能够准确地识别出折角塞门。

图9是折角塞门把手分类器的识别结果图，图中灰色粗线矩形框为把手所在区域，使用折角塞门把手分类器对该区域进行识别，识别结果在每幅图像的左上角显示，如图9(a)和9(b)所示。如果折角塞门把手没有丢失，则识别结果为“无故障”；如果折角塞门把手丢失，则识别结果为“故障”。可以看出，折角塞门把手分类器能够准确的识别出折角塞门把手是否丢失。

分别采用本发明的复杂背景下小目标丢失故障的自动识别方法与现有的基于梯度编码直方图特征的识别方法(具体方法参加论文“Zhou,F.Q.,Zou,R.,Qiu,Y.F.,Gao,H.:‘Automated visual inspection of angle cocks during train operation’,Proceedings of the Institution of Mechanical Engineers,Part F:Journal of Rail and Rapid Transit.,2014,228,(7),pp.794-806”)，对含3497张无故障图像和503张故障图像，统计两种识别方法的识别率和识别速度。图10中曲线1为本识别方法的识别率曲线，曲线2为现有的基于梯度编码直方图特征的识别方法的识别率曲线，曲线越靠近左上角识别率越好。从图10可以看出，本识别方法比现有的基于梯度编码直方图特征的识别方法具有更优的识别率。

表1

另外，从表1可以看出，本发明识别方法比现有的基于梯度编码直方图特征的识别方法快2倍左右。综合以上结果，本发明提出的方法在不仅具有更好的识别率，而且在识别速度上明显优于现有方法。