一种幽光高温工业内窥镜取像方法及系统

1.本发明主要涉及高温工业内窥镜技术领域，特指一种幽光高温工业内窥镜取像方法及系统。


背景技术：

2.工业炉窑是重要的工业生产设备，被广泛应用于诸如建材、冶金、化工等领域，其运行的好坏、效率的高低对产品以及环境都会带来很大的影响。要保证炉窑稳定高效地运行，对其进行监控是一个必不可少的环节。其中，通过高温工业内窥镜对炉窑内部进行成像是一种重要的炉窑监控手段。然而，由于炉窑内环境复杂、光照条件差，对于传统的成像手段，难以采集到满意的炉内图像，无法获取有效的图像用于指导操作人员，难以应用于炉窑的生产监控。为此，设计一种能在极弱光(照度低于0.0001lux)条件下采集炉窑内图像的工业内窥镜图像采集方法，为生产操作人员提供高质量的炉内运行图像，用于指导生产，根据炉内情况及时做出调整，保障炉窑的稳定运行，提高生产效率。
3.目前工业内窥镜主要可分为无光源类型和有光源类型。
4.无光源型工业内窥镜直接利用炉窑内的光照条件进行成像，没有额外的光源补充。如不进行其他处理，这种类型的工业内窥镜将无法应用于极弱光环境的炉窑内的可靠成像。对于无光源类型的内窥镜成像方法的处理有从成像原理进行处理的，这种处理主要是通过红外成像的方法获得炉窑内的红外图像来反映炉窑内的信息；也有从成像后处理上进行的，这种方式主要是通过算法对图像进行增强处理，来提高低照度环境中的图像质量。
5.有光源型内窥镜采用在前端加装光源的方式，为工作环境补充光源，来提高内窥镜的成像质量。然而，由于炉窑内的环境复杂，单单通过前端的一组led灯进行补光，会出现光线分散、光损严重等问题，无法为炉窑内的成像提供足够的亮度，对于成像的质量提升作用不大。不仅如此，在炉窑内的高温、高腐蚀环境下，led的寿命也会收到很大的影响。因此这类成像设备并不适用于炉窑内的成像。
6.专利公开号cn109031646b的专利是一种同时利用红外光和可见光获取炉窑内部图像信息的工业内窥镜。这项专利通过分光器将取像镜头捕捉到的炉内光线分为红外光和可见光，并分别经过成像管送到对应的成像芯片上来分别获取红外和可见光的数字图像，并传送到上位机。利用这一方法，可以克服炉窑内高温、高粉尘的恶劣环境的影响，获得炉窑内部的图像信息，并且在照度较低的情况下也可以通过红外成像部分获得炉窑内的红外图像信息，用于指导生产人员进行操作。不仅如此，这一方法还可以通过红外图像获取炉窑内的温度信息。所获取到的这些图像信息可以通过上位机获取和利用景深信息来实现三维重构的在线监测功能。但是由于红外图像的轮廓和纹理等细节信息较少，所以该方法在极弱光环境中仅能得到的红外图像提供的信息并不充分，可靠性会有所下降。
7.专利公开号cn105913404a的专利提出了一种基于帧累计的低照度成像方法。这种方法通过对同一场景获取到的多帧图像进行处理，来提高这一场景图像的信噪比和辨识度，增加低照度条件下的图像质量。该方法具体为：先对图像进行预处理，具体包括白平衡
处理、去马赛克、色彩校正和转rgb格式图像；进行完预处理后，会对图像进行surf特征点匹配，来对图像进行配准；之后对得到的多帧图像进行加权累加，并且每幅图像的权值相同，来保证处理得到的图像不会出现过曝；最后将得到的图像进行gamma矫正，得到矫正后的图像，这就是通过这一方法最后获得到的图像。通过这一方法获得的图像在信噪比、亮度方面会有提高，并且能够提高清晰度，但是，如果在照度极低的情况下(如幽光环境，照度低于0.0001lux)，通过这一方法也难以得到亮度足够的图像，并且对多帧图像的叠加可能会使增强图像中出现重影，降低了增强图像的质量。
8.专利公开号cn203838405u的专利提出了一种设有照明补偿的工业内窥镜探头。这一套成像装置在取像摄像头周围有一圈led灯用于为被窥环境增加光照，来提高环境中的反射光强度，增加进入摄像头中的反射光，以此来增强成像亮度，提高成像质量。这套装置的体积不大，采用电池对led灯组进行供电。而这两点也决定了这套装置所能加入的led灯数量不大，因此led灯组为炉窑中提供的光补偿量较为有限。再者，由于炉窑内的高粉尘环境，led灯组提供的光照会被粉尘分散，导致光照难以补偿到感兴趣的部分，作用效果十分有限。且由于采用电池对led灯组进行供电，led灯的续航时间不会很长，这也不适用于进行长期的视频拍摄。且由于炉窑内温度高、环境复杂，对led灯和电池的工作均不利，且有可能带来危险。因此，这一套取像方式也不适用于在高温幽光的炉窑内进行取像。


技术实现要素：

9.本发明提供的幽光高温工业内窥镜取像方法及系统，解决了在极弱光条件下，工业炉窑内图像成像亮度不足、细节模糊、轮廓不清的技术问题。
10.为解决上述技术问题，本发明提出的幽光高温工业内窥镜取像方法包括：
11.获取工业炉窑内的数字图像，并构成原始视频流；
12.对原始视频流进行三维梳状滤波；
13.对三维梳状滤波后的视频流进行高亮视频合成，获得高亮视频流；
14.对高亮视频流中的图像帧进行白平衡处理，从而获得高质量的炉内图像。
15.进一步地，对三维梳状滤波后的视频流进行高亮视频合成，获得高亮视频流包括：
16.采集三维梳状滤波后的视频流中的视频帧，视频帧包括当前视频帧以及与当前视频帧相邻的视频帧；
17.对视频帧进行非线性变换；
18.对非线性变换后的视频帧进行叠加，获得增强图像；
19.对增强图像采用最大后验模型进行优化，获得合成视频帧，从而获得高亮视频流。
20.进一步地，对视频帧进行非线性变换的计算公式为：
[0021][0022]
其中，py和p
x
分别表示变换后的灰度值和变换前的灰度值，n用来控制亮度的整体提高程度，且n＝2。
[0023]
进一步地，对增强图像采用最大后验模型进行优化，获得合成视频帧包括：
[0024]
计算保真度函数，其中保真度函数的计算公式为：
[0025][0026]
其中，ψ(o
t
,yj)为保真度函数，用来衡量t时刻优化图像o
t
和j时刻增强图像yj的相似性，为o
t
和yj的联合分布的方差，b和d分别表示模糊矩阵和下采样矩阵，s表示协方差矩阵，表示t时刻的优化图像o
t
到j时刻的增强图像yj的运动补偿矩阵；
[0027]
计算一致性函数，其中一致性函数的计算公式为：
[0028][0029]
其中，表示t-1时刻的输出优化图像，表示一致性函数，衡量t时刻的优化图像o
t
和t-1时刻的输出优化图像之间的相似性，是o
t
和的联合分布的方差，是t时刻优化图像o
t
到t-1时刻的输出优化图像的运动补偿矩阵；
[0030]
计算正则化函数，其中正则化函数的计算公式为：
[0031][0032]
其中，l(o
t
)为正则化函数，p为移动窗口的大小，α用于约束优化图像的平滑程度，h
l
和vj表示将t时刻优化图像o
t
在水平和垂直方向上分别移动l和j像素的算子；
[0033]
根据保真度函数、一致性函数和正则化函数，获得优化图像o
t
的后验概率，且后验概率的计算公式为：
[0034][0035]
其中，p(o
t
)是优化图像o
t
的后验概率，r为输出优化图像使用的原视频在t时刻前的视频图像帧数，b为输出优化图像使用的原视频在t时刻后的视频图像帧数；
[0036]
根据输出优化图像的后验概率，获得合成视频帧，具体计算公式为：
[0037][0038]
进一步地，对高亮视频流中的图像帧进行白平衡处理，从而获得高质量的炉内图像包括：
[0039]
将高亮视频流中的图像帧从rgb空间分别转换到hsv空间和ycbcr空间，获得h通
道，s通道，v通道，y通道，cb通道和cr通道；
[0040]
将图像帧分为预设数目的区域，并分别计算各个区域的h通道，s通道，cb通道和cr通道的绝对偏差均值；
[0041]
根据h通道，s通道，cb通道和cr通道的绝对偏差均值，获取需要进行白平衡处理的待处理区域；
[0042]
计算待处理区域的h通道，s通道，cb通道和cr通道的均值和偏差；
[0043]
根据待处理区域的h通道，s通道，cb通道和cr通道的均值和偏差，获取候补白点；
[0044]
从候选白点中选取参考白点，并将参考白点与hsv空间和ycbcr空间的亮度信息进行融合。
[0045]
进一步地，根据待处理区域的h通道，s通道，cb通道和cr通道的均值和偏差，获取候补白点的计算公式为：
[0046][0047]
其中，h(i,j)、s(i,j)、cb(i,j)和cr(i,j)分别为h通道，s通道，cb通道和cr通道的i像素点和j像素点，avrh
all
、avrs
all
、avrcb
all
和avrcr
all
分别为h通道，s通道，cb通道和cr通道的均值，devh
all
、devs
all
、devcb
all
和devcr
all
分别为h通道，s通道，cb通道和cr通道的方差。
[0048]
进一步地，从候选白点中选取参考白点，并将参考白点与hsv空间和ycbcr空间的亮度信息进行融合的计算公式为：
[0049][0050]
其中，img代表参考白点与hsv空间和ycbcr空间的亮度信息进行融合后的融合图像，imgr、imgg和imgb分别代表r通道，g通道，b通道对应的通道图像，θ代表多颜色域融合度，v
max
和y
max
分别为明度最大值和亮度的最大值，r
avgw
、g
avgw
、b
avgw
分别为r、g、b通道的像素灰度均值。
[0051]
进一步地，对高亮视频流中的图像帧进行白平衡处理，从而获得高质量的炉内图像之后还包括：
[0052]
将高质量的炉内图像发送至上位机进行显示。
[0053]
本发明提供的幽光高温工业内窥镜取像系统包括：
[0054]
存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明提供的幽光高温工业内窥镜取像方法的步骤。
[0055]
与现有技术相比，本发明的优点在于：
[0056]
本发明提供的幽光高温工业内窥镜取像方法及系统，通过获取工业炉窑内的数字
图像，并构成原始视频流，对原始视频流进行三维梳状滤波，对三维梳状滤波后的视频流进行高亮视频合成，获得高亮视频流以及对高亮视频流中的图像帧进行白平衡处理，从而获得高质量的炉内图像，解决了在极弱光条件下，工业炉窑内图像成像亮度不足、细节模糊、轮廓不清的技术问题，且设计的保真度函数、一致性函数和正则化函数，利用了优化图像与原图像的强相关性，达到了在保证增强图像亮度的同时，消除增强图像中出现的重影的目的，有效地提高了增强图像的图像质量。
附图说明
[0057]
图1为本发明实施例二的三维梳状滤波器原理图；
[0058]
图2为本发明实施例二的高亮视频合成原理图；
[0059]
图3为本发明实施例二的白平衡处理流程图；
[0060]
图4为本发明实施例三的幽光高温工业内窥镜取像方法流程图；
[0061]
图5为本发明实施例三的现场设备连接图；
[0062]
图6为本发明实施例的幽光高温工业内窥镜取像系统的结构框图。
[0063]
附图标记：
[0064]
1、工业炉窑；2、幽光级工业内窥镜；3、视频流处理模块；4、上位机；10、存储器；20、处理器。
具体实施方式
[0065]
为了便于理解本发明，下文将结合说明书附图和较佳的实施例对本发明作更全面、细致地描述，但本发明的保护范围并不限于以下具体的实施例。
[0066]
以下结合附图对本发明的实施例进行详细说明，但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
[0067]
实施例一
[0068]
本发明实施例一提供的幽光高温工业内窥镜取像方法，包括：
[0069]
步骤s101，获取工业炉窑内的数字图像，并构成原始视频流；
[0070]
步骤s102，对原始视频流进行三维梳状滤波；
[0071]
步骤s103，对三维梳状滤波后的视频流进行高亮视频合成，获得高亮视频流；
[0072]
步骤s104，对高亮视频流中的图像帧进行白平衡处理，从而获得高质量的炉内图像。
[0073]
本发明实施例提供的幽光高温工业内窥镜取像方法，通过获取工业炉窑内的数字图像，并构成原始视频流，对原始视频流进行三维梳状滤波，对三维梳状滤波后的视频流进行高亮视频合成，获得高亮视频流以及对高亮视频流中的图像帧进行白平衡处理，从而获得高质量的炉内图像，解决了在极弱光条件下，工业炉窑内图像成像亮度不足、细节模糊、轮廓不清的技术问题，且设计的保真度函数、一致性函数和正则化函数，利用了优化图像与原图像的强相关性，达到了在保证增强图像亮度的同时，消除增强图像中出现的重影的目的，有效地提高了增强图像的图像质量。
[0074]
具体地，本实施例首先通过三维梳状滤波来提高视频流的图像质量，然后设计一种基于多帧合成和最大后验概率模型的高亮视频流合成方法对视频流进行高亮处理，最后
对高亮视频流进行白平衡处理来接近炉内真实的色温，获得高质量的炉内图像，为极弱光环境下(照度低于0.0001lux)的工业窑炉内的图像视频流信息采集提供了一种可行、可靠的成像方法。
[0075]
实施例二
[0076]
本发明实施例提供了一种在幽光环境的炉窑内取像的方法，解决了在极弱光条件下，工业炉窑内图像成像亮度不足、细节模糊、轮廓不清的技术问题。
[0077]
为解决这些技术问题，本发明实施例提出的幽光环境取像方法包括：
[0078]
通过幽光级光学成像内窥镜获得炉窑内的数字图像，并构成视频流。
[0079]
原始的视频流信号中的亮度l和色度c是高度混合的，视频图像存在亮色互窜、色彩重叠、杂波干扰严重等问题；
[0080]
因此将获得的视频流进行梳状滤波，采用梳状滤波对视频流进行运算处理，解决上述问题，同时保留图像细节，得到更清晰的视频图像。由于炉窑内料面变化较为缓慢，视频流中的连续两帧变化不大，可以采用三维梳状滤波来获得更好的效果，本实施例采用的三维梳状滤波器的原理图如图1所示，具体方法如下：
[0081]
(1)将视频帧i
t
的前两帧i
t-1
和i
t-2
分别存入对应的存储器中。
[0082]
(2)根据视频采用彩色制式，图像帧i
t
与i
t-1
和i
t-2
的彩色分量c分别有180
°
和360
°
的相位差，因此只要将它们进行运算，即可得到亮度和色度信息。
[0083]
梳状滤波处理完后的图像需要进行高亮视频合成，本实施例实现高亮视频合成的原理图如图2所示。具体步骤如下：
[0084]
(1)原视频图像帧i
t
明暗相差较大，为了避免叠加处理时的过曝现象，对视频的图像帧进行非线性变换得到i
t
'，将原图像中的较暗的像素灰度值提高，将较亮部分的灰度值进行抑制。可采用如下变换进行：
[0085][0086]
py和p
x
分别表示变换后的灰度值和变换前的灰度值，n可以用来控制亮度的整体提高程度，根据图像的灰度分布来进行选取，在此取n＝2。
[0087]
(2)对变换后的图像进行叠加。选择i
′
t-1
、i
′
t
和i
′
t+1
进行叠加，获得增强图像y
t
。由于选取了三帧进行图像进行亮度增强，所以在增强图像y
t
中可能出现重影的现象，因此还需要对增强图像进行优化。
[0088]
(3)对叠加后的图像y
t
采用最大后验模型进行优化。后验概率由保真度函数ψ(
·
,
·
)、一致性函数φ(
·
,
·
)和正则化函数l(
·
)共同决定。
[0089]
(4)保真度函数ψ(
·
,
·
)衡量优化图像与原图像的相似性，采用马氏距离进行计算，计算式为，
[0090][0091]
其中，ψ(o
t
,yj)为保真度函数，用来衡量t时刻优化图像o
t
和j时刻增强图像yj的相似性，为o
t
和yj的联合分布的方差，b和d分别表示模糊矩阵和下采样矩阵，s表示协方差
矩阵，表示t时刻的优化图像o
t
到j时刻的增强图像yj的运动补偿矩阵。
[0092]
(5)一致性函数φ(
·
,
·
)用于控制合成帧的时间一致性，其计算式为，
[0093][0094]
其中，表示t-1时刻的输出优化图像，表示一致性函数，衡量t时刻的优化图像o
t
和t-1时刻的输出优化图像之间的相似性，是o
t
和的联合分布的方差，是t时刻优化图像o
t
到t-1时刻的输出优化图像的运动补偿矩阵。
[0095]
(6)正则化函数l(
·
)用于抑制图像噪声信息，计算式为，
[0096][0097]
其中，l(o
t
)为正则化函数，p为移动窗口的大小，α用于约束优化图像的平滑程度，h
l
和vj表示将t时刻优化图像o
t
在水平和垂直方向上分别移动l和j像素的算子。(7)合成视频帧的后验概率为：
[0098][0099]
其中，p(o
t
)是优化图像的后验概率，为图像优化提供方向，r为输出优化图像使用的原视频在t时刻前的视频图像帧数，b为输出优化图像使用的原视频在t时刻后的视频图像帧数。本发明实施例设计的保真度函数、一致性函数和正则化函数利用了优化图像与原图像的强相关性，达到了在保证增强图像亮度的同时，消除增强图像中出现的重影的目的，有效地提高了增强图像的图像质量。
[0100]
(8)输出的合成图像帧为：
[0101][0102]
结合上述函数，输出的合成图像帧可表示为：
[0103][0104]
(9)根据公式(7)，采用最小二乘法可以获得合成亮度增强图像对原始视频流进行处理后即可以得到高亮视频流。
[0105]
高亮处理后的视频图像存在色差，为了提高图像质量，采用基于多颜色动态域算
法对图像进行白平衡处理，来获得更贴近炉窑内真实色温的图像，本实施例实现白平衡处理的流程图如图3所示，且白平衡算法的具体步骤如下：
[0106]
(1)将图像从rgb空间分别转换到hsv空间和ycbcr空间，结果记录为h，s，v，y，cb，cr。
[0107]
(2)将图像分为8块区域，来增强算法的鲁棒性，并计算各个区域的h，s，cb，cr的绝对偏差均值devh，devs，devcb，devcr，其计算式为：
[0108][0109]
其中n为每块区域的像素个数。
[0110]
(3)求各个区域的|devh+devs|和|devcb+devcr|，当一个区域的其中一个指标偏小时，表明这个区域颜色分布均匀，不利于白平衡处理，选择忽略这一区域。
[0111]
(4)不考虑上一步中不利于白平衡处理的区域，计算除这些区域外的整幅图像的均值avrh
all
，avrs
all
，avrcb
all
，avrcr
all
和方差devh
all
，devs
all
，devcb
all
，devcr
all
。
[0112]
(5)确定候补白点，候补白点满足以下要求，
[0113][0114]
(6)选取参考白点，参考白点的选取方法为：将候补白点像素的亮度值由高到低排列，分别选取hsv空间和ycbcr空间下亮度值在前10％的白点为参考白点。
[0115]
(7)将参考白点与hsv空间和ycbcr空间的亮度信息进行融合，完成白平衡计算，计算式如下，
[0116]
[0117]
其中，v
max
是图像中所有图像明度的最大值，y
max
是图像中所有图像亮度的最大值，θ是多颜色域融合度，可选取θ＝0.4。
[0118]
视频白平衡处理后，存储到存储器ddr sdram中，同时通过输出处理单元进行解码和送显。
[0119]
通过上述方法，可以实现在极弱光环境中通过内窥镜，来获得炉内图像。再通过三位梳状滤波来提高视频流的图像质量。然后通过多帧叠加的方式对视频流进行高亮处理，对视频流进行优化。再对高亮视频流进行白平衡处理来接近炉内真实的色温，获得高质量的炉内图像。最后将炉内获得的视频流进行存储、送至上位机进行显示。
[0120]
实施例三
[0121]
参照图4，本实施例提出的幽光环境取像方法包括：
[0122]
步骤s101、将设备安装至炉窑内运行，通过内窥镜得到数字图像。
[0123]
具体地，本发明实施例采用的现场设备连接图如图5所示，图5中，1表示工业炉窑，2表示幽光级工业内窥镜，3表示视频流处理模块，4表示上位机。
[0124]
步骤s102、将获得视频流中的连续三帧进行存储，用于进行三维梳状滤波。
[0125]
步骤s103、将存储的图像进行运算，获得无串色、无点状噪声、无挂点、亮色信号带宽更宽的清晰视频信号。
[0126]
步骤s104、对视频的图像帧进行非线性图像映射，提高较暗处灰度值，压低较亮处灰度值，得到i
t
'。此处可以采用公式(1)进行变换。
[0127]
步骤s105、将灰度变换后的图像叠加得到增强图像y
t
。
[0128]
步骤s106、根据公式(7)，通过最小二乘法优化增强图像，并最终获得高亮视频流，
[0129]
步骤s107、对合成后的视频进行白平衡处理，先将图像帧从rgb空间变换到hsv空间和ycbcr空间中表示，得到h，s，v，y，cb，cr。
[0130]
步骤s108、将图像分为8块区域，并利用公式(8)计算各个区域h，s，cb，cr的绝对偏差均值devh，devs，devcb，devcr。计算各个区域的|devh+devs|和|devcb+devcr|指标，当一个区域有一项指标较小时，则将其忽略，不对其进行白平衡处理。计算忽略步骤6中区域后的整幅图像的均值avrh
all
，avrs
all
，avrcb
all
，avrcr
all
和方差devh
all
，devs
all
，devcb
all
，devcr
all
。
[0131]
步骤s109、根据公式(9)计算选取候补白点。
[0132]
步骤s110、将候补白点按像素的亮度值由高到低排序，分别选取hsv空间和ycbcr空间下亮度值在前10％的白点为参考白点。并根据公式(10)将参考白点与hsv空间和ycbcr空间的亮度信息按下列式子进行融合，完成白平衡计算。
[0133]
步骤s111、将白平衡处理后得到的视频流存入ddr sdram中。
[0134]
步骤s112、将白平衡处理后得到的视频流经过输出处理单元处理后，送至上位机显示。
[0135]
参照图6，本发明实施例提出的幽光高温工业内窥镜取像系统，包括：
[0136]
存储器10、处理器20以及存储在存储器10上并可在处理器20上运行的计算机程序，其中，处理器20执行计算机程序时实现本实施例提出的幽光高温工业内窥镜取像方法的步骤。
[0137]
本实施例的幽光高温工业内窥镜取像系统的具体工作过程和工作原理可参照本
实施例中的幽光高温工业内窥镜取像方法的工作过程和工作原理。
[0138]
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。