一种双目火源图像合成方法、装置及可读存储介质

本发明涉及火源定位，特别是涉及一种双目火源图像合成方法、装置及可读存储介质。

背景技术：

1、火源图像指的是可见光相机拍摄的rgb三通道图片。双目火源图像指使用双目相机拍摄的图片对：包含左相机图片和右相机图片，一般要求两相机同时曝光。双目相机则指的是并排摆放在载台3上的相机一1和相机二2，光轴平行、方向相同，如图1所示。

2、训练双目火源定位的深度学习模型需要大量的标签样本组成的训练集，其中，标签样本既要包含双目可见光相机拍摄的图片对，又要包含以左图片为基准到右图片的视差。

3、现有获取双目火源图像的方法一般包括：真实拍摄、3d动画模拟。但深度学习训练数据的多样性要求高，需要模拟各种真实火灾场景并进行点火实验和拍摄。而现实情况却是：实际场地受限，不可能随意点火进行现场采集，因此真实拍摄的数据量有限、多样性差、成本极高。3d动画模拟无论是火源形态还是背景都与现实图片有较大差异，利用软件模拟的数据训练双目立体匹配模型无法保证泛化性。因此，现有的两种方法并不能很好的满足大规模获取双目火源图像的要求。

技术实现思路

1、基于此，有必要针对现有方法不能很好的满足大规模获取双目火源图像的要求的问题，提供了一种双目火源图像合成方法、装置及可读存储介质。

2、本发明采用以下技术方案实现：

3、第一方面，本发明公开了一种双目火源图像合成方法，用于生成双目火源融合图。

4、双目火源图像合成方法包括以下步骤：

5、步骤一，获取双目背景图、以及双目背景图之间的稀疏视差图；

6、步骤二，基于稀疏视差图，选定双目背景图粘贴火源的位置；

7、步骤三，获取双目背景图之间的稠密视差图，结合双目背景图粘贴火源的位置，计算得到火光补偿图；

8、步骤四，获取并处理火源照片，得到与双目背景图尺寸匹配的前景火源缩放图、前景遮罩缩放图；

9、步骤五，将火光补偿图与双目背景图融合，依据前景遮罩缩放图将前景火源缩放图与双目背景图融合，得到最终的双目火源融合图。

10、该种双目火源图像合成方法的实现根据本公开的实施例的方法或过程。

11、本发明基于易得到的双目背景图，融合进前景火源图，无需在实地进行点火实验，即可获得带有火源、且拥有丰富背景的火源双目图片数据及对应的视差图，能够大大降低双目火源立体匹配数据的获取难度和采集成本，解决了现有方法不能很好的满足大规模获取双目火源图像的要求的问题。

12、第二方面，本发明公开了一种双目火源图像合成装置，其使用了如第一方面公开的双目火源图像合成方法。

13、双目火源图像合成装置包括背景获取模块、位置采样模块、火光渲染模块、前景获取模块、图片融合模块。

14、背景获取模块用于获取双目背景图、以及双目背景图之间的稀疏视差图。位置采样模块用于基于稀疏视差图，选定双目背景图粘贴火源的位置。火光渲染模块用于获取双目背景图之间的稠密视差图，结合双目背景图粘贴火源的位置，计算得到火光补偿图。前景获取模块用于获取并处理火源照片，得到与双目背景图尺寸匹配的前景火源缩放图、前景遮罩缩放图。图片融合模块用于将火光补偿图与双目背景图融合，依据前景遮罩缩放图将前景火源缩放图与双目背景图融合，得到最终的双目火源融合图。

15、该种双目火源图像合成装置的实现根据本公开的实施例的方法或过程。

16、第三方面，本发明公开了一种可读存储介质。该种可读存储介质中存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行如第一方面公开的双目火源图像合成方法。

17、与现有技术相比，本发明具备如下有益效果：

18、1，本发明基于易得到的双目背景图，融合进前景火源图，无需在实地进行点火实验，即可获得带有火源、且拥有丰富背景的火源双目图片数据及对应的视差图，能够大大降低双目火源立体匹配数据的获取难度和采集成本。

19、2，本发明还采用了训练好的立体匹配模型获取稠密视差图，进而得到每个像素点的3d坐标，实现基于物理规律的火光渲染，从而进行火光补偿，使融合图更加逼真。

20、3，本发明在进行图片融合时，还根据背景图片、前景火源图的采集相机的内参以及待粘贴火源的3d位置，自适应对前景火源图进行尺寸缩放，避免了前景、背景比例不协调的问题，保证融合图的协调性。

技术特征：

1.一种双目火源图像合成方法，其用于生成双目火源融合图，其特征在于，所述双目火源图像合成方法包括以下步骤：

2.根据权利要求1所述的双目火源图像合成方法，其特征在于，步骤一中，所述双目背景图包括左图、右图；所述双目背景图、所述稀疏视差图采用已有公开的立体匹配数据集、或/和自采的立体匹配数据集；

3.根据权利要求2所述的双目火源图像合成方法，其特征在于，步骤二包括：

4.根据权利要求3所述的双目火源图像合成方法，其特征在于，步骤三中，采用训练好的立体匹配模型对所述双目背景图进行处理，得到稠密视差图；

5.根据权利要求4所述的双目火源图像合成方法，其特征在于，步骤三包括：

6.根据权利要求5所述的双目火源图像合成方法，其特征在于，步骤四中，在实验室环境中不同条件下拍摄得到火源照片。

7.根据权利要求6所述的双目火源图像合成方法，其特征在于，步骤四中，从所述火源照片截取出包含火源的前景火源图；

8.根据权利要求7所述的双目火源图像合成方法，其特征在于，步骤五包括：

9.一种双目火源图像合成装置，其特征在于，其使用了如权利要求1-8中任一项所述的双目火源图像合成方法；

10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，计算机程序指令被一处理器读取并运行时，执行如权利要求1-8中任一项所述的双目火源图像合成方法。

技术总结
本发明涉及火源定位技术领域，特别是涉及一种双目火源图像合成方法、装置及可读存储介质。本发明获取双目背景图及之间的稀疏视差图，并选定双目背景图粘贴火源的位置；基于稠密视差图，结合双目背景图粘贴火源的位置，计算得到火光补偿图；获取并处理火源照片，得到与双目背景图尺寸匹配的前景火源缩放图、前景遮罩缩放图；将火光补偿图与双目背景图融合，依据前景遮罩缩放图将前景火源缩放图与双目背景图融合，得到最终的双目火源融合图。本发明基于易得到的双目背景图，融合进前景火源图，无需在实地进行点火实验，即可获得带有火源、且拥有丰富背景的火源双目图片数据及对应的视差图，能够大大降低双目火源立体匹配数据的获取难度和采集成本。

技术研发人员：王冲,张启兴,王昊,张永明
受保护的技术使用者：中国科学技术大学
技术研发日：
技术公布日：2024/1/13