基于异常区域定位的红外热图像处理方法
【专利摘要】本发明公开了一种基于异常区域定位的红外热图像处理方法，采集加热开始至冷却结束被测件的红外热图像视频流，对每帧图像进行等区域划分，按照帧间隔计算得到每个区域的皮尔森相关系数曲线，对加热结束时刻前后的皮尔森相关系数序列进行粗大误差检验，当判定存在粗大误差时则判定该区域为异常区域；然后异常区域进行真实性判定，得到真实异常区域；计算真实异常区域中每个像素点的红外热响应序列的偏度值，对偏度值大于阈值的像素点进行红外热响应增强，其他所有像素点均进行红外热响应弱化，从而得到异常区域增强的红外热图像视频流。本发明从图像区域信息提取的角度进行分析，实现抑制材料表面热发射率不均匀造成的干扰，增强缺陷特征。
【专利说明】
基于异常区域定位的红外热图像处理方法
技术领域
[0001 ]本发明属于红外热图像处理技术领域，更为具体地讲，涉及一种基于异常区域定 位的红外热图像处理方法。
【背景技术】
[0002] 目前红外热成像无损检测技术已经成为无损检测的一个重要分支。在红外热成像 无损检测技术中，缺陷提取、图像增强方面的研究已经取得了一定的成果，然而在实际应用 中，进行无损检测的测试材料的表面并不平整或者完全清洁干净，其表层通常会有油污、喷 漆涂层或者氧化层，而这些都会严重地造成材料表面热发射率分布不均匀。由于材料表面 热发射率不均产生的虚假温度变化，以及热量在材料内部的快速横向扩散所导致的"模糊" 效应，使得直接提取的帧图像的信噪比普遍较低。并且，材料表面热发射率不均匀会导致热 图像产生虚假的"高低温"现象，从而干扰缺陷的检测结果。于是，部分专家学者开始关注抑 制材料表面热发射率不均匀的研究，并取得了不错的进展。
[0003] 初期的研究中，人们常采用物理方法来改善热发射率不均匀带来的影响。某些研 究人员通过在被测件表面喷涂黑色涂层或蒸馏水膜的方法，抑制了材料表面热发射率不均 的影响，提高了材料表面的热发射率，增强了检测效果。但是该方法增加了检测操作的复杂 度和成本，且易污染被测件表面，不利于现场应用及自动检测。
[0004] 为了提高图像对比度并抑制噪声，减少热发射率不均匀的干扰，人们开始热衷于 通过研究热图像数据处理方法来实现目标。近年来利用傅里叶变换、小波变换或Hilbert变 换等数学手段获取相位信息或进行数据处理的思想，在闪光热成像、锁相热成像和脉冲相 位热成像中广受欢迎。虽然傅里叶变换等各类数学变换手段被应用于多种形式中，但是缺 陷信息将被分割为不同频段分量或不同部分。这使得缺陷的定量信息无法从瞬态热响应中 获取，造成缺陷检测的深入分析存在一定困难。
[0005] 为了实现抑制热发射率不均匀，同时不改变瞬态热响应信号的完整性，专家学者 尝试了许多方法进行抑制热发射率的研究。2003年，基于对数分析，Steven M.Shepard在闪 光热成像检测中采用了热信号重构(TSR)的方法来减少发射率不均匀的影响。除了对数分 析，归一化分析也同样受到人们的关注。Lugin基于热平衡理论将红外热成像温度曲线进行 归一化处理，来比较曲线的定量评估效果。此外，人们努力从其他的角度寻找抑制发射率的 方法，并在该方面进行深入研究。2014年，白利兵基于电涡流脉冲热成像检测，提出了二次 热平衡法抑制表面热发射率的影响。二次热平衡法和归一化法在实现了增强图像对比度的 同时，保留了瞬态红外热响应的特征。但是二次热平衡法依赖人工选择平衡状态，检测结果 与所选择的平衡状态息息相关。而归一化方法虽然不需要人工选择平衡状态，但该方法丢 失原始信号的幅值信息，并且受边缘效应和各类噪声的影响非常严重，此外其处理结果图 强调相反区域，不符合人们视觉习惯。
[0006] 综上可知，虽然瞬态红热响应曲线包含了较多的信息，也广泛应用于抑制热发射 率不均匀的研究中（包括上面的数据处理方法）以及实现缺陷图像强化的研究中，如热响应 重构技术、脉冲相位检测技术、主成分分析检测技术等。但是仍然存在许多缺陷和不足，并 且红外热成像检测瞬态红外热响应中的信息已经被广泛挖掘并研究，该方法进一步拓展的 空间比较小，需要开拓新的分析角度和方法。
【发明内容】
[0007] 本发明的目的在于克服现有技术的不足，提供一种基于异常区域定位的红外热图 像处理方法，从图像区域信息提取的角度进行分析，实现抑制材料表面热发射率不均匀造 成的干扰，增强缺陷特征，便于后续分析与处理。
[0008] 为实现上述发明目的，本发明基于异常区域定位的红外热图像处理方法包括以下 步骤：
[0009] S1:对于被测件进行加热并进行一段时间冷却，采集从加热开始至冷却结束被测 件的红外热图像视频流；
[0010] S2:对红外热图像视频流中的每帧图像进行等区域划分，记行方向上划分得到的 区域数量为Μ，列方向上划分得到的区域数量为N;
[0011] S3:在红外热图像视频流中按照帧间隔δ计算划分得到的每个区域（i，j)在第t帧 图像和第t+δ帧图像的皮尔森相关系数 rt(i , i)，计筧公式为：
[0013] 其中，i = l，2,…，M，j = l，2,…，N，t = l，2,…，Τ_δ，Κ表示每个区域中像素点数量， .<:(k/)、分别表示第t帧图像、第t+δ帧图像的区域(i，j)中第k个像素的红外热响 应，足(f，/)、兄分别表示第t帧图像、第t+δ帧图像的区域（i，j)中K个像素的红外 热响应平均值；
[0014] S4:对于每个区域（i，j)，选择其加热结束时刻前后的一段皮尔森相关系数序列 [t A/(UM_Ai+i(U),…4+Δ/(/,/)]，其中|表示加热结束时刻，A t表示预设的偏移帧数，其 取值范围为At多5,对该皮尔森相关系数序列进行粗大误差检验，当判定存在粗大误差时， 则判定该区域为异常区域；
[0015] S5:根据预设参数对步骤S4得到的异常区域的真实性进行判定，筛选得到真实异 常区域；
[0016] S6:遍历每个像素点(x，y)，如果像素点(x，y)不属于真实异常区域，令Q/(X，y) = AiQt(x，y)，其中Qt(x，y)、Q/ (x，y)分别表示第t帧红外热图像中像素点（x，y)处理前后的红 外热响应，h表示弱化比例，其取值范围为心<1;如果像素点( x，y)属于真实异常区域，则计 算该像素点（X，y)在红外热图像视频流中红外热响应序列的偏度值P (X，y)，如果P (X，y) > τ，令Q/ (x，y)=A2Qt(x，y)，其中λ2表示强化倍数，其取值范围为λ2>1，否则令Q/ (x，y)=A iQtUd);从而得到异常区域增强的红外热图像视频流。
[0017] 本发明基于异常区域定位的红外热图像处理方法，首先采集加热开始至冷却结束 被测件的红外热图像视频流，对红外热图像视频流中的每帧图像进行等区域划分，按照帧 间隔计算得到每个区域的皮尔森相关系数曲线，然后对加热结束时刻前后的皮尔森相关系 数序列进行粗大误差检验，当判定存在粗大误差时，则判定该区域为异常区域;根据预设参 数对异常区域进行真实性判定，筛选得到真实异常区域;计算真实异常区域中每个像素点 红外热图像视频流中红外热响应序列的偏度值，对偏度值大于阈值的像素点进行红外热响 应增强，其他所有像素点均进行红外热响应弱化，从而得到异常区域增强的红外热图像视 频流。
[0018] 本发明从图像区域信息提取的角度进行分析，提取出各个区域在加热线束时刻前 后一段时间内皮尔森相关系数的变化，基于该变化判定异常区域来获取缺陷信息，从而实 现抑制材料表面热发射率不均匀造成的干扰，增强缺陷特征，便于后续分析与处理。
【附图说明】
[0019] 图1是本发明基于异常区域定位的红外热图像处理方法的流程图；
[0020] 图2是本实施例中所采用的实验试件照片；
[0021 ]图3是红外热图像等区域划分的示意图；
[0022]图4是本实施例中5个观测点的位置标注图；
[0023]图5是图4中5个观测点所在区域的皮尔森相关系数曲线；
[0024]图6是图5中加热结束时间前后一段时间的局部放大图；
[0025]图7是本实施例中判断得到的异常区域；
[0026] 图8是本实施例中实验试件中误判异常区域的示例图；
[0027] 图9是图7所示异常区域的偏度值分布图；
[0028] 图10是本实施例中基于偏度值的增强示例图；
[0029]图11是图7所示异常区域增强结果的局部放大图。
【具体实施方式】
[0030] 下面结合附图对本发明的【具体实施方式】进行描述，以便本领域的技术人员更好地 理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许 会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0031] 实施例
[0032] 为了更好地说明本发明的技术方案，先对本发明中所使用的正则化进行简要说 明。
[0033]图1是本发明基于异常区域定位的红外热图像处理方法的流程图。如图1所示，本 发明基于异常区域定位的红外热图像处理方法包括以下步骤：
[0034] S101:采集红外热图像视频流：
[0035] 对于被测件进行加热并进行一段时间冷却，采集从加热开始至冷却结束被测件的 红外热图像视频流。对于红外热图像视频流可以进行一些预处理，例如去噪处理，以消除由 于仪器造成的时间差以及外界的噪声影响。
[0036] 图2是本实施例中所采用的实验试件照片。如图2所示，该实验试件中存在空洞缺 陷，且该实验试件表面存在涂层，因此存在热发射率不同的区域。采用脉冲涡流对实验试件 进行加热，采集其加热以及冷却阶段的红外热图像视频流。试件加热时间为〇. 3s，冷却时间 是3.45s。红外热像仪采用帧频为200Hz，红外热成像视频流每帧为120*640像素。
[0037] S102:红外热图像等区域划分：
[0038]对红外热图像视频流中的每帧图像进行等区域划分，记行方向上划分得到的区域 数量为M，列方向上划分得到的区域数量为N。在进行等区域划分时，需要选择适当的区域大 小，区域长、宽可以通过实验选择或经验设置最合适的区域长宽参数。图3是红外热图像等 区域划分的示意图。如图3(b)所示，当设置的区域长和宽不能被图像行和列像素整除时，在 图像边界处则采取向内延伸法。对于本实施例中实验试件所采用的红外热图像视频流，采 用区域大小为30*25像素进行图像区域分割。
[0039] S103:计算皮尔森相关系数：
[0040]在红外热图像视频流中按照帧间隔δ计算划分得到的每个区域(i，j)在第t帧图像 和第t+δ帧图像的皮尔森相关系数rt(i，j)，计算公式为：
[0042] 其中，i = l，2,…，M，j = l，2,…，N，t = l，2,…，Τ_δ，Κ表示每个区域中像素点数量， 仏_/)、分别表示第t帧图像、第t+δ帧图像的区域(i，j)中第k个像素的红外热响 应???.，兄(/,./)、足分别表示第t帧图像、第t+δ帧图像的区域（i，j)中K个像素的红 外热响应平均值。
[0043]对于每个区域（i，j)，根据其T-δ个皮尔森相关系数，即可绘制皮尔森相关系数曲 线。为了更为准确地展示皮尔森相关系数在被测件开始加热至冷却结束这一段时间的变 化，帧间隔s不宜太大，其取值范围一般为1<δ<3,其具体的值可以根据各类缺陷样本实验 得至|J。本实施例中δ = 2。
[0044] 为了更好地对本发明的技术方案进行说明，在实验试件的红外热图像中选择5个 观测点。图4是本实施例中5个观测点的位置标注图。如图4所示，5个观测点分别为两个缺陷 端点、缺陷一侧的点、加热区高发射率点以及加热区低发射率点。根据图4的红外热图像也 可以看出，由于该实验试件中存在热发射率不同的区域，因此与缺陷具有类似的红外热响 应，存在干扰，因此需要抑制热发射率不均的影响。
[0045] 图5是图4中5个观测点所在区域的皮尔森相关系数曲线。图6是图5中加热结束时 间前后一段时间的局部放大图。如图5和图6所不，第60帧为加热结束时刻，从图6局部放大 图可以发现，在第60帧附近，仅缺陷端点区域的皮尔森相关系数曲线出现了一个明显的"V" 型，而除了缺陷一侧的2号区域，其它区域的实际温度受加热干扰较小，其皮尔森相关系数 曲线则处于比较平稳的状态。由于加热阶段，涡流聚集于缺陷端点区域，致使该区域的温度 不断升高，而加热结束以后，缺陷端点自身温度不再升高，同时还要向周围大量传递热量， 这种瞬间的变化导致该区域相邻时刻的信息发生很大变化，因此该区域的皮尔森系数曲线 此时出现急剧下降趋势；当超过了加热结束时刻，缺陷端点区域一直处于向周围平稳传递 热量的状态，所以与随后时刻的信息差异迅速变小，于是该区域的皮尔森相关系数曲线急 剧增大，随后一直稳定在1附近。而2号区域之所以会出现这种迅速增长随后缓慢下降的趋 势，这是由于在加热阶段，涡流为了通过缺陷，则从缺陷两端绕过，于是缺陷两端的涡流分 布非常密集，于是流经缺陷侧边的涡流非常少。因此，在加热阶段，缺陷侧边的2号区域温度 比较低，一直由周围的高温区域向该处传递大量热量，而加热结束时刻，高温区域的温度停 止上升，所以向2号区域传递的热量突然变少，于是2号区域内部信息变化急剧减小，其加热 结束附近时刻的皮尔森相关系数迅速增大然后平稳缓慢下降。
[0046]根据以上分析可知，缺陷端点区域不同时刻的皮尔森相关系数曲线会在加热结束 时刻附近呈现明显的"V"型特征，而其他区域则没有。因此，可以通过检测区域不同时刻的 皮尔森相关系数在加热结束时刻附近是否存在"V"型特征，来判断该区域是否包含缺陷。如 图6所示，一般情况下，区域的皮尔森相关系数曲线在加热结束前与加热结束后的阶段中都 处于比较平稳的状态，即曲线的发展趋势没有变化。而包含缺陷端点信息的异常区域在加 热结束时刻前后出现"V"型特征，说明皮尔森相关系数曲线上有个别点不在曲线的正常发 展趋势上。因此这些点可看成是异常值，本发明通过粗大误差检验的方法将这些异常区域 提取识别出来。
[0047] S104:粗大误差检验得到异常区域：
[0048] 对于每个区域（i，j)，选择其加热结束时刻前后的一段皮尔森相关系数序列 [/"(/，./);_v」/，八…允,其中f表示加热结束时刻，Δ t表示预设的偏移帧数，其 取值范围为At多5,对该皮尔森相关系数序列进行粗大误差检验，当判定存在粗大误差时， 则判定该区域为异常区域。
[0049] 根据图6可知，皮尔森相关系数的异常点通常出现在加热结束时间附近，而且加热 开始时也会存在较大波动，因此本发明仅对加热结束时刻前后若干帧图像的皮尔森相关系 数序列进行粗大误差检验。粗大误差的检验方法有很多种，本实施例中采用拉伊达准则。拉 伊达准则认为，对于大量的重复测量值，如果其中某一测量值残差的绝对值大于该测量数 据序列的标准偏差的3倍，那么该测量值则是粗大误差。对于本发明中的皮尔森相关系数， 其拉伊达准则的判别表达式为：
[0050] -F(/, /)| > 3σ(/，/)
[0051 ]其中Hz', /)表示区域(i，j)的皮尔森相关系数序列[5_Α/ (/，./), 5_Δ,+1(Ζ', y),…,仏./)] 的平均值，〇(i，j)表示区域(ij)的皮尔森相关系数序列[/^(/,./)，^/+1(/,几一，;^,仏_/)]的 标准差。
[0052]本实施例中加热结束时刻为第60帧，设置At = 10,即选择第50帧至第70帧的皮尔 森相关系数序列。根据拉伊达准则提取出含有异常点的异常区域。图7是本实施例中判断得 到的异常区域。如图7所示，两个方块区域即为异常区域。对比图4和图7可知，图7中两个异 常区域即为包含了缺陷端点的区域。
[0053] S105:异常区域真实性判定：
[0054] 在实际应用中，被测件中的非加热区域(如边缘区域）的材料温度较低，温度不稳 定，容易受到外界噪声的影响，当区域大小或帧间隔的值并非最优时，这些非加热区域经过 步骤S104,易被误判为异常区域，为缺陷的识别带来干扰。图8是本实施例中实验试件中误 判异常区域的示例图。如图8所示，区域大小采用15*15,皮尔森相关系数计算时的帧间隔为 3,其所得到的异常区域中存在非缺陷的异常区域。因此需要对异常区域的真实性进行判 定，筛选得到真实的异常区域，从而排除非加热区域的干扰，正确地识别缺陷区域。
[0055] 对误判区域进行分析可知，这些误判区域通常位于不稳定区域或者边缘区域。这 些不稳定区域和边缘区域在整个加热以及结束过程中温度变化比较小，平均温度比较低， 受噪声影响非常严重。因此，对于误判区域而言，可通过设定加热结束时刻的平均温度或者 皮尔森相关系数曲线在加热结束时刻前后β帧中的平均值为阈值，对已标定的异常区域的 真实性进行判定。
[0056] 当判定参数选择加热结束时刻的平均温度（即红外热响应平均值)时，其真实性判 定的方法为:对步骤S104判定得到的每个异常区域，分别计算其中像素点在加热结束时刻f 的红外热图像帧中的平均温度，当平均温度大于预设平时温度阈值时，则为真实异常区域， 否则为误判异常区域。
[0057] 当判定参数选择皮尔森相关系数平均值时，其真实性判定的方法为:对步骤S104 判定得到的每个异常区域，分别计算其在加热结束时刻?前后神贞图像(即至帧图 像)的皮尔森相关系数平均值，β的大小可以根据实际需要设置。当皮尔森相关系数平均值 大于预设的平均值阈值时，则为真实异常区域，否则为误判异常区域。皮尔森相关系数的平 均值阈值可以根据实际情况来确定，本实施例中设置为0.92。
[0058] S106:异常区域增强：
[0059] 在经过之前的步骤识别得到异常区域后，还需要根据有针对性地对异常区域进行 特征增强和干扰弱化。由于红外热图像中的偏度值分布可以揭示缺陷信息，因此本发明基 于像素点的偏度值进行异常区域增强，其具体方法为:遍历每个像素点（X，y)，如果像素点 (x，y)不属于真实异常区域，则对该像素点在每帧红外热图像中的红外热响应值按照比例 入1进行弱化，即Q/ ，其中Q t(x，y)、Q/ (x，y)分别表示第t帧红外热图像中 像素点(X，y)处理前后的红外热响应，λι表示弱化比例，其取值范围为1: < 1;如果像素点(X， y)属于真实异常区域，则计算该像素点（X，y)在红外热图像视频流中红外热响应序列的偏 度值P(x，y)，如果P(x，y)>i，则对该像素点在每帧红外热图像中的红外热响应值按照倍数 入2进行增强，即Q/ (x，y)=A2Qt(x，y)，其中λ2表示强化倍数，其取值范围λ2>1，如果P(x，y) <τ，则对该像素点在每帧红外热图像中的红外热响应值按照比例心进行弱化，g卩Q/( x，y) = XiQt(x，y)。在实际应用中，为了尽量突出缺陷处的像素点，一般设置λ2彡ΙΟλ:，使缺陷像 素点和正常像素点的红外热响应值具有较大对比度。
[0060] 本实施例中基于图7所示的异常区域结果进行异常区域增强。图9是图7所示异常 区域的偏度值分布图。如图9所示，异常区域中各像素点的偏度值也各不相同。图10是本实 施例中基于偏度值的增强示例图。如图10所示，本实施例中偏度值阈值τ = 1.7,即如果异常 区域中的偏度值大于1.7时，则予以增强，强化倍数λ2 = 5,否则予以弱化，弱化比例λ1 = 〇.5， 而除异常区域以外的其他区域全部进行弱化。图11是图7所示异常区域增强结果的局部放 大图。如图11所示，经过异常区域增强后，缺陷端点被很好的突显出来，而其它干扰区域，如 加热区域、高热发射率区域等的影响都已经被弱化衰减。可见，本发明在抑制发射率不均匀 影响的同时，实现了缺陷的明确标识，从而给予缺陷识别等后续操作带来极大便利。
[0061] 尽管上面对本发明说明性的【具体实施方式】进行了描述，以便于本技术领域的技术 人员理解本发明，但应该清楚，本发明不限于【具体实施方式】的范围，对本技术领域的普通技 术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些 变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
【主权项】
1. 一种基于异常区域定位的红外热图像处理方法，其特征在于，包括以下步骤： si:对于被测件进行加热并进行一段时间冷却，采集从加热开始至冷却结束被测件的 红外热图像视频流； S2:对红外热图像视频流中的每帧图像进行等区域划分，记行方向上划分得到的区域 数量为M，列方向上划分得到的区域数量为N; S3:在红外热图像视频流中按照帧间隔δ计算划分得到的每个区域（i，j)在第t帧图像 和第t+δ帧图像的皮尔森相关系数rt(i，j)，计算公式为：其中，1 = 1，2，~，]/[，」=1，2，~川4=1，2，~，1'-3，1(表示每个区域中像素点数量， <(/，./)、分别表示第t帧图像、第t+δ帧图像的区域（i，j)中第k个像素的红外热 响应士别表示第t帧图像、第t+δ帧图像的区域（i，j)中K个像素的红 外热响应平均值； S4:对于每个区域（i，j)，选择其加热结束时刻前后的一段皮尔森相关系数序列其中f表示加热结束时刻，A t表示预设的偏移帧数，其 取值范围为At多5,对该皮尔森相关系数序列进行粗大误差检验，当判定存在粗大误差时， 则判定该区域为异常区域； S5:根据预设参数对步骤S4得到的异常区域的真实性进行判定，筛选得到真实异常区 域； S6:遍历每个像素点（x，y)，如果像素点（x，y)不属于真实异常区域，令Q7t(^y)=A1Q t (^7)，其中^(^7)、(^(^7)分别表示第?红外热图像中像素点(^7)处理前后的红外热 响应，A 1表示弱化比例，其取值范围为心<1;如果像素点(x，y)属于真实异常区域，则计算该 像素点（X，y)在红外热图像视频流中红外热响应序列的偏度值P (X，y)，如果P (X，y) > τ，令 Q7 t(x，y)=A2Qt(x，y)，其中λ2表示强化倍数，其取值范围为λ2>1，否则令V y);从而得到异常区域增强的红外热图像视频流。2. 根据权利要求1所述的红外热图像处理方法，其特征在于，所述步骤S3中帧间隔δ的 取值范围为1彡3彡3。3. 根据权利要求1所述的红外热图像处理方法，其特征在于，所述步骤S5中真实性判定 的参数为加热结束时刻的平均温度，其真实性判定的方法为:对步骤S4判定得到的每个异 常区域，分别计算其中所有像素点在加热结束时刻f的红外热图像帧中的平均温度，当平均 温度大于预设平时温度阈值时，则为真实异常区域，否则为误判异常区域。4. 根据权利要求1所述的热红外热图像处理方法，其特征在于，所述步骤S5中真实性判 定的参数为皮尔森相关系数平均值，其真实性判定的方法为:对步骤S4判定得到的每个异 常区域，分别计算其在加热结束时刻I前后β帧图像的皮尔森相关系数平均值，当皮尔森相 关系数平均值大于预设的平均值阈值时，则为真实异常区域，否则为误判异常区域。
【文档编号】G01N25/72GK106018479SQ201610316637
【公开日】2016年10月12日
【申请日】2016年5月12日
【发明人】白利兵, 程玉华, 白秋菊, 殷春, 陈雪, 陈凯, 张 杰
【申请人】电子科技大学