基于感温变色胶贴的温度预警图像识别方法、系统、设备及存储介质与流程

1.本发明涉及一种预警图像识别方法、系统及装置。属于温度监测和识别技术领域。


背景技术：

2.许多行业和领域都需要对温度进行探测、监控和预警。现有的温度识别、预警方法主要依赖于热成像传感器等设备，使得现有的温度识别、预警方法主要存在以下缺点：
3.基于热成像的温度预警识别装置受限于热成像相机的温度识别精度有限、识别距离有限，而且由于民用热成像相机成像分辨率有限，所以进一步降低了温度识别精度和识别距离。
4.同时现有的人眼肉眼排查存在效率低、成本高的问题，也无法准确感知线路高温点位置，容易造成故障点漏检，而且无法及时进行检测及预警。


技术实现要素：

5.本发明是为了解决现有的温度识别方法存在识别精度有限、识别距离有限的问题。
6.一种基于感温变色胶贴的温度预警图像识别方法，包括以下步骤：
7.s101、在需要温度预警监测的部位设置感温变色装置，所述的感温变色装置包括智能感温片；
8.s102、获取感温变色装置对应区域的图像或图像序列，记为原图；
9.s103、将原图从rgb颜色空间转换为hsv颜色空间：
10.s104、针对转换为hsv颜色空间后的图像，提取掩码mask；
11.s105、对掩码mask进行形态学处理生成颜色信息对应的掩码mask；
12.s106、针对s105步骤生成的掩码mask，提取连通域，记为连通域mask；
13.s107、对连通域mask进行轮廓识别：
14.s108、对每个识别得到的轮廓bbox进行筛选，如果bbox面积小于面积阈值，则剔除对应的bbox，否则将bbox对应的区域在原图中识别出来；
15.s109、基于s108识别的结果进行温度预警。
16.进一步地，s104所述的提取掩码mask的过程是基于颜色阈值提取特定颜色的掩码 mask，具体包括以下步骤：
17.(1)当只需要提取一种特定颜色时，针对于hsv图像中的某个像素点，其h、s、v 三个值均满足对应颜色的颜色阈值时将对应的区域记为某颜色区域，否则为非某颜色区域；生成一张与原图尺寸大小相同的图像作为特定颜色的掩码mask，
18.(2)当存在多种颜色区间需要区分时，针对每种颜色生成一张特定颜色空间的二值掩码图，n种需要预警识别的颜色则生成n张二值掩码图；根据符合特定颜色的区域和不符合特定颜色的区域得到掩码mask。
19.进一步地，当只需要提取一种特定颜色时，生成一张与原图尺寸大小相同的图像作为特定颜色的掩码mask过程中，将上颜色区域的部分置为255，非某颜色区域的部分置为0，即特定颜色的掩码mask；
20.当存在多种颜色区间需要区分时，将符合特定颜色阈值对应的像素值置为255，不符合特定颜色的区域的像素值置为0，即特定颜色的掩码mask。
21.进一步地，基于颜色阈值提取特定颜色的掩码mask过程中所述的颜色阈值的确定过程包括以下步骤：
22.基于实际场景中采集一批真实场景图像作为评测集，从rgb颜色空间转换为hsv颜色空间；然后选出需要分割的特定颜色部分；统计所有需要分割出的特定颜色区域对应像素的h、s、v的统计值；
23.如果特定颜色为rgb颜色的红色，针对红色的颜色范围对应的hsv颜色空间中的h、 s、v各自的阈值范围，并作为相应的颜色阈值；
24.利用评测集中的图像进行相应的颜色阈值的调整，颜色阈值大小选取的原则为：直到可以识别出特定颜色区域的数量大于特定颜色区域阈值，且误判率低于误判率阈值；
25.如果特定颜色为rgb颜色的其他颜色，相应的颜色阈值的确定过程与特定颜色为rgb 颜色的红色相应颜色阈值的确定过程相同。
26.进一步地，对掩码mask进行形态学处理生成颜色信息mask过程所述的形态学处理包括图像腐蚀、图像膨胀、空洞填充处理；
27.(1)当只需要提取一种特定颜色时，则直接进行形态学处理，然后得到对应尺寸的掩码mask；
28.(2)当只需要提取多种颜色的时，先分别对每张图像分别进行形态学处理，然后将多种颜色掩码二值图进行组合一张掩码mask。
29.进一步地，提取连通域的过程包括以下步骤：
30.利用两遍扫描法找到并标记出所有连通区域：第一遍扫描时赋予每个像素位置一个 label，扫描过程中同一个连通区域内的像素集合中会被赋予一个label或多个不同label，将属于同一个连通区域但具有不同值的label记为具有相等关系的equal_labels；第二遍扫描将具有相等关系的equal_labels所标记的像素归为一个连通区域并赋予一个相同的 label。
31.进一步地，s108所述剔除面积过小的特定颜色区域阈值对应的连通域mask的过程包括以下步骤：
32.根据s107获得的连通域mask的轮廓contours，从contour列表中，寻找每一个contour 的外接矩形框，获取多个目标分割区域的位置的bbox矩形框；
33.计算每个contour对应bbox的面积，如果面积小于面积阈值threshold_area，则将bbox 对应的区域像素值设为0；
34.面积大于等于threshold_area的bbox，在原图对应区域画出，并标识为预警区域；
35.通过设定的颜色信息的方式将前景mask对应区域在原图中高亮填充显示，所述的前景 mask即面积不小于threshold_area的bbox，也就是需要在原图中识别出来的区域。
36.一种基于感温变色胶贴的温度预警图像识别系统，所述系统用于执行一种基于感温变色胶贴的温度预警图像识别方法。
37.一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现一种基于感温变色胶贴的温度预警图像识别方法。
38.一种基于感温变色胶贴的温度预警图像识别的设备，所述设备包括处理器和存储器，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现一种基于感温变色胶贴的温度预警图像识别方法。
39.有益效果：
40.与目前存在的依赖于红外摄像头等设备温度预警图像识别方法不同，本方案采用可见光相机配合感温变色胶贴即可实现温度预警功能，不仅精度更高、识别距离更远，而且可以进一步结合拍摄设备状态，记录预警时刻的gps坐标位置、相机姿态角度(roll\pitch\yaw 等或姿态四元数)、相机视场角及拍摄参数等信息，并通过网络或存储卡传输预警信息至管理调度中心，供管理人员确认及调度相关人员进行维护。
附图说明
41.图1为一种基于感温变色胶贴的温度预警图像识别方法的流程示意图；
42.图2为3*3的模板腐蚀示意图；
43.图3为3*3的模板膨胀示意图。
具体实施方式
44.具体实施方式一：结合图1说明本实施方式，
45.本实施方式所述的一种基于感温变色胶贴的温度预警图像识别方法，包括以下步骤：
46.s101.安装或粘贴智能感温片：
47.在需要温度预警监测的部位，粘贴感温变色胶贴，可以根据粘贴处温度状态，使感光片外部面发生可逆或不可逆的颜色变化；
48.可逆情况例如，当附着处温度超过80度，则表面由原色彩(白色或淡黄色)变为红色或其它鲜明颜色，当附着处温度低于80度，表面由红色或其它鲜明颜色变为黑色；不可逆情况例如，附着处温度超过80度，则表面由原色彩(白色或淡黄色)变为红色或其它鲜明颜色，附着处温度低于80度，仍保持红色。
49.智能感温片，可以采用如下产品：
50.1、北京亚东星机电技术研究所生产的智能感温片。这种主要适用于室内，用于室外时需要外加透明胶带。http://www.ydxlabel.com/yanshi0.htm
51.2、美国3m公司生产的智能感温贴片。这种是适用于任何环境，也是本发明的优选产品。
52.https://www.3m.com.cn/3m/zh_cn/company
‑
cn/all
‑
3m
‑
products/～/3m
‑
％e6％99％ba％e8％83 ％bd％e6％84％9f％e6％b8％a9％e8％b4％b4％e7％89％87ti
‑
208r
‑
18
‑
％e6％af％ab％e7 ％b1％b3
‑
x
‑3‑
％e7％b1％b3
‑
％e9％bb％84％e8％89％b2
‑
100
‑
％e5％8d％b7
‑
％e7％ae％b1/ ？n＝5002385+3288755129&preselect＝3293786499&rt＝rud
53.需要测量的部位，包含但不限于架空线(包括轨道交通接触网)线夹、金属接线端
子、母排连接点、变压器出线等导体连接点及变压器表面等电力、石化和新能源领域等可能产生高温的仪器部位。
54.s102.获取进行温度预警识别的图像或图像序列：
55.使用相机设备采集需要检测的图像，装置及设备可以是手持终端云台相机设备、固定式枪机或球机摄像机、地面移动机器人平台、飞行无人机平台等挂载有可移动云台相机的设备及存储器。获取相机镜头采集的需要进行温度预警识别的场景的可见光图像或图像序列视频。
56.s103.将rgb颜色空间转换为hsv颜色空间：
57.rgb模型不能用一个组合或者一个区间准确的描述红色，因为用三原色调配出类红色有很多种选择。hsv模型可以用一个区间描述特定的颜色，h代表色度，s代表色饱和度， v代表明度。将s102步骤获取的图片从rgb颜色空间转换为hsv颜色空间，便于后续基于颜色信息分割提取感兴趣区域。
58.hsv颜色空间模型可以充分利用图像的颜色的显著特点。在hsv颜色空间下进行颜色识别可以很好地降低调试难度，提升识别精度。rgb空间下的三通道是互相独立互不关联的，而hsv空间下的三通道值之间具备必定的关系或者说是主次区别，更容易分级调试肯定阈值和修正因环境光影响产生的阈值偏移问题，同时hsv空间更符合人的视觉习惯。
59.h(hue)色相：[0，360]
[0060]
s(saturation)饱和度，即色彩纯净度，0饱和度为白色
[0061]
v(value/brightness)：明度0明度为纯黑色
[0062]
在opencv中，颜色范围：
[0063]
h＝[0，179]
[0064]
s＝[0，255]
[0065]
v＝[0，255]
[0066]
转换颜色空间可用opencv的cvtcolor函数实现。调试
[0067]
hsv_img＝cv2.cvtcolor(img，cv2.color_bgr2hsv)。
[0068]
s104.确定特定颜色阈值提取特定颜色掩码mask：
[0069]
在颜色空间转换完成后，下一步需要明确特定颜色的阈值范围。使用可见光摄像头，于实际场景中采集一批真实场景图像作为评测集，人工标注选出需要分割的特定颜色部分。统计所有需要分割出的特定颜色区域对应像素的h、s、v的统计值，供选择阈值参考，例如表1所示；
[0070]
表1
[0071][0072]
图片转为hsv颜色空间进行颜色提取，因为受限于摄像头距离、光线等环境因素，
阈值选取需根据上述统计值及消融实验对比实测结果最终确认。阈值大小选取的原则为：直到程序可以识别出绝大部分特定颜色区域且不会出现大量误判为止。
[0073]
(1)当只需要提取一种特定颜色时，以红色颜色为例，在hsv颜色空间中，红色的颜色范围为：
[0074]
h：0
‑
10，156
‑
180
[0075]
s：43
‑
255
[0076]
v：46
‑
255
[0077]
当转换后得到的hsv图像中的某个像素点，其h、s、v三个值均满足上述范围，则为红色，否则为非红色。生成一张与原图尺寸大小相同的图像作为特定颜色(如红色)的掩码 mask，则将上述红色满足红色的部分置为255，非红色置为0；
[0078]
(2)当图像中存在多种颜色区间需要区分时，如有多个颜色段(如红色、绿色、黑色) 需要进行识别，则针对每种颜色生成一张特定颜色空间的二值掩码图；n种需要预警识别的颜色则生成n张二值掩码图；符合特定颜色设定的阈值则将对应像素值置为255，否则为非对应颜色区域0；
[0079]
在其他实施例中，确定特定颜色阈值提取特定颜色掩码mask的过程也可以通过深度学习算法得到，如先通过人工神经网络深度学习算法先检测感温变色胶贴，然后对定位到感温变色胶贴子图像进行语义分割，颜色信息的提取。
[0080]
s105.进行形态学处理生成颜色信息mask：
[0081]
对上述得到特定颜色的掩码mask(单种颜色)或组合的掩码masks(多种颜色)进行特定形态学处理，对掩码mask先后进行图像腐蚀、图像膨胀、空洞填充操作处理，进而降低背景干扰、噪声扰动或环境偏差等因素影响，减少特定颜色分类的错误率。
[0082]
腐蚀操作：是将物体的边缘加以腐蚀。以一个宽m、高n矩形为模板，对掩码mask 中每一个像素x做如下处理：像素x对应于模板的中心，根据模版的大小，遍历所有被模板覆盖的其他像素，修改像素x的值为所有像素中最小的值。这样操作的结果是会将图像外围的突出点加以腐蚀。
[0083]
腐蚀操作如图2所示，图2为3*3的模板腐蚀示意图；
[0084]
膨胀操作与腐蚀操作相反，将图像轮廓加以膨胀。方法与腐蚀类似，以一个矩形模板，对进行腐蚀操作后的mask的每个像素做遍历处理。区别在于修改像素的值不是所有像素中最小的值，而是最大的值。将图像外围突出点连接并向外延伸。
[0085]
膨胀操作如图3所示，图3为3*3的模板膨胀示意图；
[0086]
空洞填充：针对于膨胀之后的mask进行空洞填；
[0087]
(1)当只需要提取一种特定颜色时，则直接进行形态学处理，然后得到对应尺寸的掩码mask，其特征满足为特定颜色要求处取值为1，不满足特定颜色范围则为0；
[0088]
(2)当只需要提取多种颜色的时，先分别对每张图像分别进行上述形态学处理；然后将多种颜色掩码二值图进行组合一张mask，其中不同颜色如红色、绿色、黄色、黑色值分设为1、2、3、4
……
，每个数值代表一种需要标志的颜色(这里是一张同原始图像相同尺寸的mask，mask中每个元素值代表此处原始图像中对应的颜色分类)。
[0089]
s106.提取连通域：
[0090]
针对s105步骤的掩码mask图像，提取连通域。连通区域通常指图像中具有相同像
素值且位置相邻的前景像素点组成的图像区域。连通区域分析是指将图像中的各个连通区域找出并标记记为连通域mask。
[0091]
寻找图像中的连通域有多种方法，包含但不限于，如two
‑
pass算法、种子填充法等。
[0092]
利用两遍扫描法(通过扫描两遍图像)将图像中存在的所有连通区域找出并标记：第一遍扫描时赋予每个像素位置一个label，扫描过程中同一个连通区域内的像素集合中可能会被赋予一个或多个不同label，因此需要将这些属于同一个连通区域但具有不同值的label 合并，也就是记录它们之间的相等关系；第二遍扫描就是将具有相等关系的equal_labels 所标记的像素归为一个连通区域并赋予一个相同的label(通常这个label是equal_labels 中的最小值)。
[0093]
在一些实施例中，利用two
‑
pass算法寻找图像中的连通域的过程包括以下步骤：
[0094]
(1)第一次扫描：访问当前像素b(x，y)，如果b(x，y)＝＝1：
[0095]
a、如果b(x，y)的领域中像素值都为0，则赋予b(x，y)一个新的label：
[0096]
label+＝1，b(x，y)＝label；
[0097]
b、如果b(x，y)的领域中有像素值>1的像素neighbors：
[0098]
1)将neighbors中的最小值赋予给b(x，y)：
[0099]
b(x，y)＝min{neighbors}
[0100]
2)记录neighbors中各个值(label)之间的相等关系，即这些值(label)同属同一个连通区域；
[0101]
labelset[i]＝{label_m，
…
，label_n}，labelset[i]中的所有label都属于同一个连通区域；
[0102]
(2)第二次扫描：访问当前像素b(x，y)，如果b(x，y)>1：
[0103]
a、找到与label＝b(x，y)同属相等关系的一个最小label值，赋予给b(x，y)；
[0104]
完成扫描后，图像中具有相同label值的像素就组成了同一个连通区域。
[0105]
在一些实施例中，利用种子填充法寻找图像中的连通域的过程包括以下步骤：
[0106]
(1)扫描图像，直到当前像素点b(x，y)＝＝1：
[0107]
a、将b(x，y)作为种子(像素位置)，并赋予其一个label，然后将该种子相邻的所有前景像素都压入栈中；
[0108]
b、弹出栈顶像素，赋予其相同的label，然后再将与该栈顶像素相邻的所有前景像素都压入栈中；
[0109]
c、重复b步骤，直到栈为空；
[0110]
此时，便找到了图像b中的一个连通区域，该区域内的像素值被标记为label；
[0111]
(2)重复第(1)步，直到扫描结束；
[0112]
扫描结束后，就可以得到图像b中所有的连通区域。
[0113]
s107.对连通域mask进行轮廓识别：
[0114]
通过s106得到了含有特定颜色区域的黑白掩膜图像，初步得到特定颜色区域的位置信息。黑白掩膜图像是单通道灰度图象，且边缘处像素值突变明显，用轮廓识别函数就能够很简单的得到相关位置信息，并存入contour列表。轮廓识别函数为：
[0115]
contours,hierarchy＝cv2.findcontours(image,mode,method[,contours[,
hierarchy[,offset]]])
[0116]
s108.剔除面积过小的特定颜色区域：
[0117]
通过s107获取的mask的轮廓contours，可以获取contour列表中每个元素的边界框 bbox(x,y,w,h)
[0118]
for c in contours：
[0119]
x,y,w,h＝cv2.boundingrect(c)
[0120]
该段代码的意思是：循环迭代，从contour列表中，寻找每一个contour的外接矩形框，获取多个目标分割区域的位置的bbox矩形框。
[0121]
计算每个contour对应bbox的面积，如果面积小于某个阈值threshold_area，则将bbox 对应的区域像素值设为0。即面积过小的特定颜色区域，强制修正为背景。面积不小于 threshold_area的bbox，在原图对应区域画出，并标识为预警区域。
[0122]
cv2.rectangle(img,(x
‑
d,y
‑
d),(x+w+d,y+h+d),(0,0,255),2)
[0123]
通过设定的颜色信息的方式将前景mask对应区域在原图中高亮填充显示，所述的前景 mask即面积不小于threshold_area的bbox，也就是需要在原图中识别出来的区域。
[0124]
s109.基于图像颜色信息识别的温度预警：
[0125]
如果实时拍摄的图像或图像序列中存在s108标注的预警高温颜色区域，则在存储器保存此图像，并进行温度预警，向管理中心预警，并上传包含但不限于预警图像、gps坐标、相机姿态、视场角、拍摄内参、拍摄时间等信息。
[0126]
具体实施方式二：
[0127]
本实施方式为一种基于感温变色胶贴的温度预警图像识别系统，所述系统用于执行权利要求1至7之一所述的一种基于感温变色胶贴的温度预警图像识别方法。
[0128]
本实施方式所述的一种基于感温变色胶贴的温度预警图像识别系统，可以为当接收到触发信号后而执行的以实现一种基于感温变色胶贴的温度预警图像识别方法所对应的程序。
[0129]
具体实施方式三：
[0130]
本实施方式为一种存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现所述的一种基于感温变色胶贴的温度预警图像识别方法。
[0131]
具体实施方式四：
[0132]
本实施方式为一种基于感温变色胶贴的温度预警图像识别的设备，所述设备包括处理器和存储器，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现一种基于感温变色胶贴的温度预警图像识别方法。
[0133]
本实施方式所述的一种基于感温变色胶贴的温度预警图像识别的设备，包括但不限定 pc机、服务器、工作站、移动设备，以及专门开发的单片机等。
[0134]
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。