一种用于风机图像故障标识的候选框调整方法与流程

1.本发明涉及图像识别技术领域，具体涉及一种用于风机图像故障标识的候选框调整方法。


背景技术：

2.随着无人机及其相关技术的快速发展，无人机被广泛地应用于各种事故和故障的巡检中。使用无人机搭配摄像机、红外热像仪或激光雷达等设备对风机的各个部位拍摄图像，然后由图像识别算法对无人机拍摄的图像进行故障识别和标记，是当前无人机领域的研究重点，可以有效地提高风机的巡检效率和减少巡检人员的工作量。然而，传统图像识别算法特征提取能力较弱导致故障识别精度较低，基于深度学习的图像识别算法精度高速度快但却需要大量的训练样本。
3.本发明提出一种用于风机图像故障标识的候选框调整方法，旨在风机图像中的故障训练样本远远不足的情况下，设计一个启发式算法调整传统图像识别算法中的候选框，使其能够更好地选中目标即风机故障，从而提高传统图像识别算法的精度，为基于深度学习的图像识别算法积累训练样本。


技术实现要素：

4.本发明针对现有的传统图像识别算法中候选框精度不足的问题，提出一种用于风机图像故障标识的候选框调整方法，通过设计启发式算法，对候选框的左上角和右下角坐标进行调整，并采用可见光图像和红外热图像的故障候选框互补的方式，使候选框能够更好地选中风机故障，从而提高故障识别的精度。
5.本发明公开了一种用于风机图像故障标识的候选框调整方法，所述风机图像包括可见光图像和红外热图像，包括以下步骤：
6.s1、候选框坐标变换：基于传统图像识别算法得到候选框集合b，设计坐标变换矩阵和变换公式ci＝bi*a
4*4
，将其变换为集合c；其中，b＝{bi}，bi＝(xi,yi,wi,hi)，(xi,yi)为候选框bi中心点的直角坐标，(wi,hi)为bi候选框的长和宽；c＝{ci}，ci＝(c
i1
,c
i2
,c
i3
,c
i4
)，(c
i1
,c
i2
)为候选框ci左上角的直角坐标，(c
i3
,c
i4
)为候选框ci右下角的直角坐标；
7.s2、调整参数a
ki
计算：基于传统图像识别算法中的nms，设计候选框的调整参数a
ki
(gk,ci)＝relu(sk+s
i-1-giou(gk,ci))*((c
i1-g
k1
),(c
i2-g
k2
),(c
i3-c
k3
),(c
i4-g
k4
))，a
ki
为四维向量，s为候选框的置信分数，候选框gk＝(g
k1
,g
k2
,g
k3
,g
k4
)，(g
k1
,g
k2
)为候选框gk左上角的直角坐标，(g
k3
,g
k4
)为候选框gk右下角的直角坐标；
8.s3、候选框gk调整：候选框调整公式为调整：候选框调整公式为为两个四维向量的点乘，α为经验调节系数，a
4*4
为交叉矩阵；
9.s4、可见光图像和红外热图像候选框互补：对比两种图像的故障候选框，在可见光图像中，在没有被可见光图像候选框覆盖而被红外热图像候选框覆盖的地方添加候选框；在红外热图像中，在没有被红外热图像候选框覆盖而被可见光图像候选框覆盖的地方添加候选框。
10.可选的，所述的方法在步骤s1中所述的传统图像识别算法的步骤包括预处理、生成候选框、特征提取和分类器分类；所述的预处理包括去模糊、图像增强和去噪处理，生成候选框的方法包括选择性搜素、滑动窗口法和边缘方框法，特征提取的方法包括sifi特征提取法、hog特征提取法、haar-like特征提取法和rift特征提取法，分类器分类的方法包括svm分类方法。
11.进一步的，所述的方法在步骤s2所述的a
ki
的计算过程为：将集合c中置信分数最高的候选框cj放入集合g中并标记为gk，删去集合c中的cj且计算候选框gk与集合c中剩余候选框ci的giou(gk,ci)，若giou(gk,ci)≥0.5，则删去集合c中的ci且计算调整参数a
ki
(gk,ci)，重复此步骤直至集合其中，giou的计算公式为relu的计算公式为
12.进一步的，所述的方法在步骤s3中所述的经验调节系数α与生成候选框时采取的尺寸和目标的形状有关，一般情况下可令α＝(1,1,1,1)；所述交叉矩阵
13.可选的，所述的一种用于风机图像故障标识的候选框调整方法，其中，所述故障标识类型包括塔筒的锈迹、掉漆、破损、变形，机舱的连接螺栓脱落、溢油、雷击点，主机体的零件脱落、掉漆、溢油，叶片的掉漆、破损、砂眼、裂纹、雷击点。
14.有益效果：本发明提供一种用于风机图像故障标识的候选框调整方法，使用传统图像识别算法在进行候选框极大值抑制时使用到的数据，设计启发式算法对候选框进行调整，可以在几乎不对原有的算法计算速度造成影响的情况下，提高算法识别的精度。
附图说明
15.图1是本发明的步骤流程图。
16.图2是本发明使用后的第一种前后风机图像候选框的变化。
17.图3是本发明使用后的第二种前后风机图像候选框的变化
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都属于本发明保护的范围。
19.结合图1、图2和图3，本发明实施例提供了一种用于风机图像故障标识的候选框调整方法，其包括以下步骤：
20.步骤一：候选框坐标变换：基于传统图像识别算法得到候选框集合b，设计坐标变换矩阵和变换公式ci＝bi*a
4*4
，将其变换为集合c；其中，b＝{bi}，bi＝(xi,yi,wi,hi)，(xi,yi)为候选框bi中心点的直角坐标，(wi,hi)为bi候选框的长和宽；c＝{ci}，ci＝(c
i1
,c
i2
,c
i3
,c
i4
)，(c
i1
,c
i2
)为候选框ci左上角的直角坐标，(c
i3
,c
i4
)为候选框ci右下角的直角坐标；
21.步骤二：在集合c中选取置信分数最高的候选框cj，将其放到集合g中并标记为gk，在集合c中删去cj且计算gk与集合c中所有候选框的giou(gk,ci)；
22.步骤三：若giou(gk,ci)≥0.5，则在集合c中删去ci，且计算候选框的调整参数a
ki
(gk,ci)＝relu(sk+s
i-1-giou(gk,ci))*((c
i1-g
k1
),(c
i2-g
k2
),(c
i3-c
k3
),(c
i4-g
k4
))，a
ki
为四维向量；
23.步骤四：重复步骤二和三直至集合
24.步骤五：候选框gk调整：其中，为两个四维向量的点乘，α为经验调节系数，a
4*4
为交叉矩阵；
25.步骤六：可见光图像和红外热图像的候选框互补：对比两种图像的故障候选框，在可见光图像中，在没有被可见光图像候选框覆盖而被红外热图像候选框覆盖的地方添加候选框；在红外热图像中，在没有被红外热图像候选框覆盖而被可见光图像候选框覆盖的地方添加候选框。
26.在步骤一中，在传统图像识别算法的特征提取步骤中会对每个候选框进行打分，置信分数过低的候选框会被直接淘汰，所以风机图像经过传统图像识别算法的预处理、生成候选框、特征提取和分类器分类的步骤后，保留剩下的候选框就可以得到候选框集合b＝{bi}。
27.在步骤二中，giou的计算可以参考图二左边的图，giou等于图中阴影部分的面积与图中最外边虚线框(即两个实线框的外接矩形)的面积之比；
28.在步骤三中，通过a
ki
中的relu函数来判断当前的候选框是否有启发作用，若有，调整参数a
ki
的大小则由两个候选框的坐标、形状尺寸和置信分数共同决定。
29.在步骤五中，候选框的调整情况如图二所示：左边的两个实线框是原有的候选框，通过调整后，候选框变为右边的实线框，正中的实线框是目标框。经过调整后，候选框与目标框更接近了。
30.在步骤六中，候选框的互补情况如图三所示：左边是原有的图像，第一个图像是红外热图像，虚线框是其候选框，第二个图像是可见光图像，实线框是其候选框。经过互补后，在红外热图像上补充了一个实线框，在可见光图像上补充了一个虚线框。
31.以上对本发明所提供的一种用于风机图像故障标识的候选框调整方法进行了详细介绍，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，根据本发明的思想，在实际实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。