一种基于双目三维建模的发电焚烧炉监控方法与流程

1.本发明涉及焚烧炉实时监控的技术领域，尤其涉及一种基于双目三维建模的发电焚烧炉监控方法。


背景技术：

2.现有技术中，基于红外光的tof/结构光无法重建高燃的物体(以为它在不断释放红外光会干扰它算法成像，双目是可见光波段)，深度重建成像质量相对于其他传感器稳定；激光雷达成本过高，场景不适用，因此，亟需一种方法来实时高效监控发电焚烧炉的容量，提高其智能化程度。


技术实现要素：

3.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
4.鉴于上述现有存在的问题，提出了本发明。
5.因此，本发明解决的技术问题是：现有技术无法重建高燃的物体或成本过高，场景不适用，生产效率低。
6.为解决上述技术问题，本发明提供如下技术方案：采集发电焚烧炉内可燃物燃烧状态图像并对所述图像进行预处理；利用识别算法识别所述预处理后的图像中的可燃物，并利用三维重建算法重建内部燃烧物体积分布；根据所述重建的内部燃烧物体积分布，输出与所述燃烧炉内燃烧物容量状态相关的数据，实现发电焚烧炉的监控。
7.作为本发明所述的基于双目三维建模的发电焚烧炉监控方法的一种优选方案，其中：所述图像预处理过程包括，在正常光状态下采集预设量图片用于构建训练图像增强数据集；利用自监督学习方法训练得到自适应补光、去噪的图像增强结果；利用基于多曝光图像深度融合的低光照图像增强网络实现低光照图像的自动亮度提升及细节增强。
8.作为本发明所述的基于双目三维建模的发电焚烧炉监控方法的一种优选方案，其中：产生所述多曝光图像的公式为：
9.ii＝min(ki*i
orig
，1) i∈(1，n)
10.其中，ii为曝光增强后的图像，i
orig
为原始的低光照图像，ki为低光照图像与参考图像之间选定的n个曝光率之中的一个值，min运算防止过曝光出现导致的图像过亮；
11.融合特征的产生为：
12.f
max
＝max(f1，f2，l fn)
[0013][0014]ffusion
＝w*concat(f
max
，f
avg
)
[0015]
其中，f
max
为最大滤波特征，f
avg
为平均滤波特征，f
fusion
为融合特征，concat为神经网络中的合并运算；
[0016]
所述神经网络训练的损失函数采用输出光照增强图与标准图间的l1范数损失：
[0017]ihigh
＝exfusion(i
ex1
，i
ex2
，l i
exn
)
[0018]
loss
exfusion
＝||i
high-i
gt
||1[0019]
其中，i
high
为光照增强图像，i
ex1
～i
exn
为n幅曝光值增加的图像，exfusion为整个光照增强网络，loss
exfusion
为多曝光图像融合网络的损失函数，i
gt
为为标准对照图像，l为中间省略变量。
[0020]
作为本发明所述的基于双目三维建模的发电焚烧炉监控方法的一种优选方案，其中：还包括，所述发电焚烧炉内可燃物燃烧状态图像的采集工具为双目相机；定义所述双目相机中的双目相机标定算法为：定义所述双目相机系统内的内参数为：(f
x
，fy，k1，k2，k3，p1，p2，u0，v0)，所述双目相机系统的外参数为：(r，t)；将标定参数输入至所述相机参数配置文件中，并利用双目标定策略完成坐标的转换。
[0021]
作为本发明所述的基于双目三维建模的发电焚烧炉监控方法的一种优选方案，其中：所述双目标定策略包括，构建单目成像模型，所述单目成像模型包括世界坐标系、相机坐标系、图像坐标系、像素坐标系；所述单目成像模型从所述世界坐标系到所述像素坐标系的转换关系为：
[0022][0023]
其中，表示相机内参矩阵，，r＝[r3×3t3×1]表示外参矩阵，表示世界坐标系坐标，表示像素坐标系坐标。
[0024]
作为本发明所述的基于双目三维建模的发电焚烧炉监控方法的一种优选方案，其中：修正所述相机产生的切向和径向畸变，所述修正公式包括，
[0025][0026]
作为本发明所述的基于双目三维建模的发电焚烧炉监控方法的一种优选方案，其中：根据所述像素坐标系和所述世界坐标系的坐标轴映射关系和定义标定棋盘平面位于世
界坐标系中zw＝0，简化所述转换关系包括，
[0027][0028]
其中，需要标定的单应矩阵为：
[0029][0030]
得到坐标关系简化后的公式为：
[0031][0032]
作为本发明所述的基于双目三维建模的发电焚烧炉监控方法的一种优选方案，其中：利用半全局匹配算法对所述双目相机的左右双目图进行立体匹配算法逐像素计算，包括，利用基于互信息量mi的像素点匹配函数进行匹配：
[0033][0034]
其中，q*是p在极线方向上的在不同视差值下待匹配像素点；
[0035]
对于每个像素点的匹配代价增加局部视差平滑项构造匹配能量函数用于减少匹配歧义性，其能量函数形式为：
[0036][0037]
其中，p1和p2是视差跳变惩罚系数，p1《p2，用于约束像素视差局部平滑性；
[0038]
使用一维动态规划算法迭代更新各像素点的在不同视差值下的匹配能量函数；
[0039]
视差细化。
[0040]
作为本发明所述的基于双目三维建模的发电焚烧炉监控方法的一种优选方案，其中：所述视差细化包括，基于胜者为王策略计算像素点代价聚合最小值的对应视差值根据左右视图下对应匹配点的视差一致性原则检测并去除错误匹配点；对视差d值进行局部双线性插值模型计算亚像素视差。
[0041]
作为本发明所述的基于双目三维建模的发电焚烧炉监控方法的一种优选方案，其中：基于所述视差图d、相机标定参数以及双目基线距离b，根据三角测量的几何关系计算图像像素点深度值：
[0042]
z＝bf/d
[0043]
根据所述相机内参恢复像素点(u,v,1)得到对应相机坐标系下的三维坐标(x,y,z)：
[0044][0045]
本发明的有益效果：本发明方法反映实际燃烧炉内的工况，从直观的视觉角度，以辅助工作人员进行合理安排喂料器的运动时间和方式工作，进而提升生产效率。
附图说明
[0046]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
[0047]
图1为本发明一个实施例提供的一种基于双目三维建模的发电焚烧炉监控方法的三维重建算法结构流程示意图；
[0048]
图2为本发明一个实施例提供的一种基于双目三维建模的发电焚烧炉监控方法的双目三维建模的发电焚烧炉监控方法架构图；
[0049]
图3为本发明一个实施例提供的一种基于双目三维建模的发电焚烧炉监控方法的多曝光图像深度融合的低光照图像增强网络结构图。
具体实施方式
[0050]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0051]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0052]
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0053]
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0054]
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0055]
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例
如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0056]
实施例1
[0057]
参照图1～3，为本发明的一个实施例，提供了一种基于双目三维建模的发电焚烧炉监控方法，包括：
[0058]
s1：采集发电焚烧炉内可燃物燃烧状态图像并对图像进行预处理。
[0059]
需要说明的是，发电焚烧炉内可燃物燃烧状态图像的采集工具为双目相机；
[0060]
其中，定义双目相机中的双目相机标定算法为：
[0061]
定义双目相机系统内的内参数为：(f
x
,fy,k1,k2,k3,p1,p2,u0,v0)，双目相机系统的外参数为：(r,t)；
[0062]
将标定参数输入至相机参数配置文件中，并利用双目标定策略完成坐标的转换。
[0063]
其中，双目标定策略包括：
[0064]
构建单目成像模型，单目成像模型包括世界坐标系、相机坐标系、图像坐标系、像素坐标系；
[0065]
单目成像模型从世界坐标系到像素坐标系的转换关系为：
[0066][0067]
其中，表示相机内参矩阵，，r＝[r3×3t3×1]表示外参矩阵，表示世界坐标系坐标，表示像素坐标系坐标。
[0068]
但是，由于加工工艺以及镜头成像原因会产生切向和径向畸变，可通过以下公式修正x’，y’：
[0069][0070]
根据像素坐标系和世界坐标系的坐标轴映射关系和定义标定棋盘平面位于世界坐标系中zw＝0，简化转换关系包括，
[0071][0072]
其中，需要标定的单应矩阵为：
[0073][0074]
得到坐标关系简化后的公式为：
[0075][0076]
进一步的，采用张正友相机标定方法获取内外参数：
[0077]
(1)使用双目相机分别拍摄不同角度和距离的贴在固定平面上的棋盘格标定图片。
[0078]
(2)对于每张拍摄的棋盘图片，检测图片中所有棋盘格的特征点(角点)。
[0079]
(3)已知角点像素坐标和棋盘格空间坐标，使用最大似然估计法进行优化，计算得到相机的内参m和外参r。
[0080]
(4)基于单应矩阵旋转向量长度不变性和旋转向量点积特性推导求解出相机内参数和外参数。
[0081]
更进一步的，利用双目成像设备获取发电焚烧炉实时双目图像，经过智能网关和路由器传输到边缘计算服务器中使用和存储，为了提高立体匹配算法准确度和运行效率，后台运行图像矫正算法对待双目匹配图像分别进行图像矫正处理，首先，进行图像对比度增强和图像去噪；其次，基于标定参数(f
x
,fy,k1,k2,k3,p1,p2,u0,v0)进行去除图像畸变矫正；最后，使用(r,t)和内参矩阵m进行双目立体矫正，矫正后的图像用于快速立体匹配算法计算，同时为了方便追溯历史数据，配置nvr本地存储视频数据信息和矫正图像数据。
[0082]
具体的，图像预处理过程包括：实际现场中，燃烧炉内正常燃烧条件下，除了火焰区域高亮，其他区域的图像亮度低，而且存在大量噪声以及细节信息的丢失，为了更好的恢复炉内图像成像质量，本发明采用基于卷积神经网络的方法来实现图像增强，首先在正常光(人工照射均匀光)状态下采集一定量图片用于构建训练图像增强数据集，利用自监督学习方法训练得到自适应补光、去噪的图像增强结果，利用基于多曝光图像深度融合的低光照图像增强网络实现低光照图像的自动亮度提升及细节增强，其中，多曝光图像深度融合的低光照图像增强网络结构如图3所示。
[0083]
更具体的，基于多曝光图像深度融合的低光照图像增强网络在亮度提升网络中用不同的曝光提升因子k与低光照图像本身相乘，产生不同曝光值的图像，产生多曝光图像的方法见以下公式：
[0084]ii
＝min(ki*i
orig
，1) i∈(1，n)
[0085]
其中，ii为曝光增强后的图像，i
orig
为原始的低光照图像，ki为低光照图像与参考
图像之间选定的n个曝光率之中的一个值，min运算防止过曝光出现导致的图像过亮；
[0086]
由于每种曝光图像曝光质量较高的部分并不同，将各曝光图像理想的部分融合到一起得到最优曝光图像，基于多曝光图像融合的亮度增强可达到上述目的。多曝光图像融合网络本质上编解码网络结构(下采样编码提取特征，上采样解码根据特征复原图像)，不同的是多曝光图像的每一层卷积(编解码结构中所有卷积层)特征图都利用融合模块进行融合，每一幅曝光图在提取特征及利用特征时都考虑到了其它曝光图像的特性，从而提取出本曝光图像最显著的特征，最后将所有曝光图像最显著的特性进行融合既得到最理想的光照增强结果，为了使融合模块可以从黑暗区域准确地恢复图像细节，并且颜色分布更接近真是对照图像，每个融合块分别对输入的多分支特征采用最大滤波(发现更多图像细节)与均值滤波(尽量减少颜色偏移)的结构将各分支特征融合，其中，融合特征的产生见下列公式：
[0087]fmax
＝max(f1，f2，l fn)
[0088][0089]ffusion
＝w*concat(f
max
，f
avg
)
[0090]
其中，f
max
为最大滤波特征，f
avg
为平均滤波特征，f
fusion
为融合特征，concat为神经网络中的合并运算；
[0091]
每个融合块融合后得到的特征与未融合前的特种统一作为下一层卷积的输入，基于多曝光图像融合的低光照增强输出见以下公式：
[0092]ihigh
＝exfusion(i
ex1
，i
ex2
，l i
exn
)
[0093]
网络训练损失函数采用输出光照增强图与标准图间的l1范数损失见以下公式：
[0094]
loss
exfusion
＝||i
high-i
gt
||1[0095]
其中，i
high
为光照增强图像，i
ex1
～i
exn
为n幅曝光值增加的图像，exfusion为整个光照增强网络，loss
exfusion
为多曝光图像融合网络的损失函数，i
gt
为为标准对照图像，l为中间省略变量。
[0096]
s2：利用识别算法识别预处理后的图像中的可燃物，并利用三维重建算法重建内部燃烧物体积分布。
[0097]
需要说明的是，在边缘计算服务器中，使用半全局匹配算法(semiglobal matching)对左右双目图进行立体匹配算法逐像素计算，算法输出视差d结果(左图和右图匹配点的坐标偏差)。
[0098]
其中，利用半全局匹配算法对双目相机的左右双目图进行立体匹配算法逐像素计算，包括：
[0099]
利用基于互信息量mi的像素点匹配函数进行匹配：
[0100][0101]
其中，q*是p在极线方向上的在不同视差值下待匹配像素点；
[0102]
对于每个像素点的匹配代价增加局部视差平滑项构造匹配能量函数用于减少匹配歧义性，其能量函数形式为：
[0103][0104]
其中，p1和p2是视差跳变惩罚系数，p1《p2，用于约束像素视差局部平滑性；
[0105]
使用一维动态规划算法迭代更新各像素点的在不同视差值下的匹配能量函数；
[0106]
视差细化。
[0107]
进一步的，视差细化包括：
[0108]
基于wta(胜者为王)策略计算像素点代价聚合最小值的对应视差值
[0109]
根据左右视图下对应匹配点的视差一致性原则检测并去除错误匹配点；
[0110]
对视差d值进行局部双线性插值模型计算亚像素视差。
[0111]
更进一步的，基于视差图d、相机标定参数f＝(f
x
+fy)/2以及双目基线距离b(外参矩阵t中ty)，根据三角测量的几何关系计算图像像素点深度值：
[0112]
z＝bf/d
[0113]
根据相机内参恢复像素点(u,v,1)得到对应相机坐标系下的三维坐标(x,y,z)：
[0114][0115]
s3：根据重建的内部燃烧物体积分布，输出与燃烧炉内燃烧物容量状态相关的数据，实现发电焚烧炉的监控。
[0116]
本发明提出的双目三维建模的发电焚烧炉监控方法实是基于双目立体视觉成像的三维可视化反映实际燃烧炉内的工况，进而提升生产效率，容量识别技术系统利用双目摄像头定时监控燃烧炉内可燃物燃烧状态，传输内部图像数据到视频智能分析微服务器中进行识别算法识别分析通过三维重建算法重建内部燃烧物体积分布，最终输出三维点云、以及炉内可见光彩色图、深度图像来反映燃烧炉内燃烧物容量状态，从直观的视觉角度,以辅助工作人员进行合理安排喂料器的运动时间和方式工作。
[0117]
实施例2
[0118]
本实施例为本发明另一个实施例，该实施例不同于第一个实施例的是，提供了一种基于双目三维建模的发电焚烧炉监控方法的验证测试，为对本方法中采用的技术效果加以验证说明，本实施例采用传统技术方案与本发明方法进行对比测试，以科学论证的手段对比试验结果，以验证本方法所具有的真实效果。
[0119]
本实施例中将采用传统方法和本方法分别对发电焚烧炉的容量进行实时测量对比，其对比结果如下表所示。
[0120]
表1：深度测距方法对比表。
[0121][0122][0123]
如表1深度测距方法对比可知，燃烧炉实际工作温度较高，结构光和时间飞行深度相机和激光雷达等基于主动光源测距设备在高温情况下无法正常工作，然可见光受高温影响较低以及双目立体视觉做为机器视觉的重要研究分支之一，经过多年研究和发展，已经形成相对完备的理论体系和在各场景以及极端工作环境中适用性得到了广泛验证，所以燃烧炉燃烧物容量识别系统基于可见光的双目立体视觉三维重建技术来恢复炉内燃烧物空间信息，进而达到有效监控容量的识别目的。
[0124]
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。