火灾检测模型的训练样本制作方法、装置、设备及介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种火灾检测模型的训练样本制作方法、装置、设备及介质。


背景技术：

2.森林火灾有突发性、随机性、高危害性和快速扩散性的特点，一旦发生火情，火势会迅速蔓延。因此，能否及时的发现火情，以便采取合理手段扑灭是森林防火的核心。
3.随着技术的发展，深度学习越来越被广泛应用于火灾的检测，在通过深度学习对森林火灾进行检测时，需要通过大量森林火灾早期发生时的图像数据作为训练样本以进行火灾检测模型训练。然而，森林火灾被发现时往往不处于火灾早期，因而使得森林火灾早期发生时的图像数据极少，缺乏足够的训练样本，不足以训练出能够准确检测火灾的检测模型。
4.因此，如何提供一种有效的方案，以便提供大量用于火灾检测模型训练的训练样本，以训练出能够在火灾发生时准确检测出火灾的检测模型，已成为现有技术中一亟待解决的难题。


技术实现要素：

5.第一方面，本技术实施例提供了一种火灾检测模型的训练样本制作方法，包括：
6.获取在不同亮度和不同天气条件下的多张初始背景图像；
7.通过流体仿真软件合成多张初始烟雾图像；
8.遍历所述多张初始背景图像和所述多张初始烟雾图像，随机确定出目标烟雾图像和与所述目标烟雾图像对应的目标背景图像；
9.将所述目标烟雾图像插入对应的所述目标背景图像中，得到用于训练火灾检测模型的训练样本；
10.其中，所述目标烟雾图像为所述多张初始烟雾图像中的一张或多张，所述目标背景图像为所述多张初始背景图像中的一张或多张。
11.在一个可能的设计中，所述将所述目标烟雾图像插入对应的所述目标背景图像中，包括：
12.根据所述目标背景图像所对应的图像亮度和天气条件，调整所述目标烟雾图像的透明度和亮度；
13.将调整透明度和亮度后的所述目标烟雾图像插入对应的所述目标背景图像中。
14.在一个可能的设计中，所述根据所述目标背景图像所对应的图像亮度和天气条件，调整所述目标烟雾图像的透明度和亮度，包括：
15.根据所述目标背景图像所对应的图像亮度和天气条件，确定出对应的亮度调节范围和透明度调节范围；
16.在所述亮度调节范围内随机调整所述目标烟雾图像的亮度；
17.在所述透明度调节范围内随机调整所述目标烟雾图像的透明度。
18.在一个可能的设计中，所述将所述目标烟雾图像插入对应的所述目标背景图像中，包括：
19.根据所述目标背景图像所对应的景深，调节所述目标烟雾图像的尺寸；
20.将调节尺寸后的所述目标烟雾图像插入所述目标背景图像中。
21.在一个可能的设计中，所述将调节尺寸后的所述目标烟雾图像插入所述目标背景图像中，包括：
22.将调节尺寸后的所述目标烟雾图像插入所述目标背景图像中的预设区域。
23.在一个可能的设计中，所述获取在不同亮度和不同天气条件下的多张初始背景图像，包括：
24.获得摄像机在不同亮度和不同天气条件下所拍摄到的不同拍摄角度的视频；
25.从所述视频中提取出所述多张初始背景图像。
26.在一个可能的设计中，所述方法还包括：
27.通过所述训练样本进行火灾检测模型训练。
28.第二方面，本技术实施例提供了一种火灾检测模型的训练样本制作装置，包括：
29.获取模块，用于获取在不同亮度和不同天气条件下的多张初始背景图像；
30.合成模块，用于通过流体仿真软件合成多张初始烟雾图像；
31.确定模块，用于遍历所述多张初始背景图像和所述多张初始烟雾图像，随机确定出目标烟雾图像和与所述目标烟雾图像对应的目标背景图像；
32.插入模块，用于将所述目标烟雾图像插入对应的所述目标背景图像中，得到用于训练火灾检测模型的训练样本；
33.其中，所述目标烟雾图像为所述多张初始烟雾图像中的一张或多张，所述目标背景图像为所述多张初始背景图像中的一张或多张。
34.第三方面，本技术实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信；
35.存储器，用于存放计算机程序；
36.处理器，用于执行存储器上所存放的程序，实现以下流程：
37.获取在不同亮度和不同天气条件下的多张初始背景图像；
38.通过流体仿真软件合成多张初始烟雾图像；
39.遍历所述多张初始背景图像和所述多张初始烟雾图像，随机确定出目标烟雾图像和与所述目标烟雾图像对应的目标背景图像；
40.将所述目标烟雾图像插入对应的所述目标背景图像中，得到用于训练火灾检测模型的训练样本；
41.其中，所述目标烟雾图像为所述多张初始烟雾图像中的一张或多张，所述目标背景图像为所述多张初始背景图像中的一张或多张。
42.第四方面，本技术实施例提供了计算机可读存储介质，所述存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现以下流程：
43.获取在不同亮度和不同天气条件下的多张初始背景图像；
44.通过流体仿真软件合成多张初始烟雾图像；
45.遍历所述多张初始背景图像和所述多张初始烟雾图像，随机确定出目标烟雾图像和与所述目标烟雾图像对应的目标背景图像；
46.将所述目标烟雾图像插入对应的所述目标背景图像中，得到用于训练火灾检测模型的训练样本；
47.其中，所述目标烟雾图像为所述多张初始烟雾图像中的一张或多张，所述目标背景图像为所述多张初始背景图像中的一张或多张。
48.本技术一个或多个实施例采用的上述至少一个技术方案能够达到以下有益效果：
49.由于获取不同亮度和不同天气条件下的多张初始背景图像，并通过流体仿真软件合成多张初始烟雾图像，然后遍历多张初始背景图像和多张初始烟雾图像，随机确定出目标烟雾图像和与目标烟雾图像对应的目标背景图像，并将目标烟雾图像插入对应的目标背景图像中，得到用于训练火灾检测模型的训练样本。如此，可十分方便的制作大量用于火灾检测模型训练的训练样本，以便训练出能够在火灾发生时准确检测出火灾的检测模型，且相对于实地采集图像作为训练样本，能够极大的降低样本的制作成本。
附图说明
50.此处所说明的附图用来提供对本文件的进一步理解，构成本文件的一部分，本文件的示意性实施例及其说明用于解释本文件，并不构成对本文件的不当限定。在附图中：
51.图1为本技术一个实施例提供的火灾检测模型的训练样本制作方法、装置、设备及介质的应用环境示意图。
52.图2为本技术一个实施例提供的火灾检测模型的训练样本制作方法的流程图。
53.图3为本技术一个实施例提供的电子设备的结构示意图。
54.图4为本技术一个实施例提供的火灾检测模型的训练样本制作装置的结构示意图。
具体实施方式
55.为了提供大量用于火灾检测模型训练的训练样本，本技术实施例提供了一种火灾检测模型的训练样本制作方法、装置、设备及介质，该火灾检测模型的训练样本制作方法、装置、设备及介质可十分方便的制作大量用于火灾检测模型训练的训练样本，以便训练出能够在火灾发生时准确检测出火灾的检测模型。
56.首先，为了更直观地理解本技术实施例提供的方案，下面结合图1，对本技术实施例提供的火灾检测模型的训练样本制作方案的系统架构进行说明。
57.如图1所示，是本技术一个或多个实施例提供的火灾检测模型的训练样本制作方法、装置、设备及介质的应用环境示意图。如图1所示，边缘计算设备与摄像机连接，并通过网络与用户终端通信连接，所述摄像机用于采集图像并通过边缘计算设备发送给用户终端，所述边缘计算设备用于控制摄像机旋转已获取不同角度的图像，所述用户终端以是，但不限于个人电脑、智能手机、平板电脑、个人数字助理(personal digital assistant，pda)等。
58.下面将对本技术实施例提供的火灾检测模型的训练样本制作方法进行详细说明。
59.本技术实施例提供的火灾检测模型的训练样本制作方法可应用于用户终端。为便
于描述，除特别说明外，本技术实施例均以用户终端为执行主体进行说明。
60.可以理解，所述执行主体并不构成对本技术实施例的限定。
61.本技术实施例提供了一种火灾检测模型的训练样本制作方法，该方法可制作用于火灾检测模型训练的训练样本，该火灾检测模型可以是用于森林火灾检测的模型。如图2所示，本技术实施例提供的火灾检测模型的训练样本制作方法可以包括如下步骤：
62.步骤s201，获取在不同亮度和不同天气条件下的多张初始背景图像。
63.本技术实施例中，摄像机设置有云台，与摄像机连接的边缘计算设备可控制云台转动，从而使得摄像机能够在不同亮度和不同天气条件下所拍摄到的不同拍摄角度的视频，并将获取到的视频(通过边缘计算设备)发送给用户终端，用户终端从摄像机所发送来的视频中提取出不同亮度和不同天气条件下的多张初始背景图像。
64.其中，亮度可根据初始背景图像中各颜色通道的亮度值确定出，天气条件可通过对初始背景图像进行图像识别以识别出，或根据摄像机所在区域在初始背景图像的时间戳所对应时间段内的天气情况确定，本技术实施例中不做具体限定。
65.可以理解的，在其他的一些实施例中，也可从视频中人工选取不同亮度和不同天气条件下的多张初始背景图像。
66.步骤s202，通过流体仿真软件合成多张初始烟雾图像。
67.在通过流体仿真软件合成多张初始烟雾图像时，所合成的多张初始烟雾图像最好是不同形态的烟雾图像，以便后续训练火灾检测模型时，可以将具有不同形态烟雾的图像作为训练样本，确保训练出的检测模型的检测准确性。
68.其中，所述流体仿真软件可以是，但不限于c4d(cinema 4d)、xflow等仿真软件，本技术实施例中不做具体限定。
69.步骤s203，遍历多张初始背景图像和多张初始烟雾图像，随机确定出目标烟雾图像和与目标烟雾图像对应的目标背景图像。
70.其中，目标烟雾图像为多张初始烟雾图像中的一张或多张，目标背景图像为多张初始背景图像中的一张或多张。
71.具体的，可遍历多张初始背景图像和多张初始烟雾图像，从多张初始背景图像随机选取其中一张或多张作为目标背景图像，并从多张初始烟雾图像中选取与目标背景图像对应的一张或多张作为目标烟雾图像。
72.本技术实施例中，目标背景图像与目标烟雾图像的数量可以相同或不同，若目标背景图像与目标烟雾图像的数量相同且为多张，则多张目标背景图像与多张目标烟雾图像一一对应。目标背景图像与目标烟雾图像的数量也可以不同，此时若目标背景图像的数量大于目标烟雾图像的数量，则其中至少有一张目标烟雾图像对应两张或两张以上的目标背景图像。若目标烟雾图像的数量大于目标背景图像的数量，则其中至少有一张目标背景图像对应两张或两张以上的目标烟雾图像。
73.例如，在一个实施例中，目标烟雾图像为2张，分为a1和a2，而目标背景图像为4张，分别为b1、b2、b3和b4，则与目标烟雾图像a1对应的目标背景图像可以是目标背景图像b1和b2，与目标烟雾图像a2对应的目标背景图像可以是目标背景图像b3和b4。
74.步骤s204，将目标烟雾图像插入对应的目标背景图像中，得到用于训练火灾检测模型的训练样本。
75.发生火灾时，摄像机在不同天气条件下所拍摄到图像中的烟雾的亮度和透明度会存在一定差异(如在晴天和阴天所拍摄到的图像中烟雾的亮度和透明会存在差异)，同时摄像机所拍摄到的不同亮度的图像中烟雾的亮度和透明度也会差异。因此，为了使目标烟雾图像插入对应的目标背景图像中后，所得到的图像更趋近于真实的图像，本技术实施例提供的方案还会根据目标背景图像所对应的图像亮度和天气条件，调整对应的目标烟雾图像的透明度和亮度，然后再将调整透明度和亮度后的目标烟雾图像插入对应的目标背景图像中，将目标烟雾图像插入对应的目标背景图像后所得到的图像，即为用于训练火灾检测模型的训练样本。
76.具体的，可在用户终端预先定义背景图像在不同图像亮度和天气条件下，所对应的烟雾图像的亮度调节范围及透明度调节范围，该亮度调节范围可根据实际发生火灾时所拍摄到的图像中背景所对应的图像亮度和天气，以及所拍摄到的图像中烟雾的亮度和透明度确定出的。
77.在确定出目标烟雾图像和与目标烟雾图像对应的目标背景图像后，可根据目标背景图像所对应的图像亮度和天气条件，确定出对应的亮度调节范围和透明度调节范围，然后在所述亮度调节范围内随机调整目标烟雾图像的亮度，在所述透明度调节范围内随机调整目标烟雾图像的透明度。如此，目标烟雾图像插入对应的目标背景图像中，所得到的图像更趋近于真实的图像，同时图像之间也会存在一定的差异，确保后续所训练出来的检测模型能够在火灾发生时准确检测出火灾。
78.摄像机所拍摄到清晰图像的距离与景深相关，而景物距离摄像机的远近在拍摄到的图像中所呈现的尺寸也不相同，随着景深增加所拍摄到清晰的景物在图像中的尺寸也会逐渐变化。因此，为了使目标烟雾图像更趋近于真实的烟雾，本技术实施例提供的方案还可以根据目标背景图像所对应的景深，调节目标背景图像所对应的目标烟雾图像的尺寸，景深越深目标烟雾图像的尺寸越小。然后将调节尺寸后的目标烟雾图像插入对应的目标背景图像中。
79.进一步的，本技术实施例中，在将调节尺寸后的目标烟雾图像插入对应的目标背景图像之前，还可以预先在目标背景图像中定义目标烟雾图像可插入的预设区域，该预设区域为可能发生火灾的一些区域，在将调节尺寸后的目标烟雾图像插入对应的目标背景图像时，可将调节尺寸后的目标烟雾图像插入对应的目标背景图像中的预设区域。具体的，可在目标背景图像中设置掩膜区域，该掩膜区域为不可能发生火灾的区域(如天空)，掩膜区域外的区域即为可插入目标烟雾图像的预设区域，在将调节尺寸后的目标烟雾图像插入目标背景图像中的预设区域时，可将目标烟雾图像随机插入预设区域中的任意位置。
80.另外，在将目标烟雾图像插入对应的目标背景图像中，得到用于训练火灾检测模型的训练样本后，还可通过训练样本进行火灾检测模型训练。
81.综上所述，本技术实施例提供的火灾检测模型的训练样本制作方法通过获取不同亮度和不同天气条件下的多张初始背景图像，并通过流体仿真软件合成多张初始烟雾图像，然后遍历多张初始背景图像和多张初始烟雾图像，随机确定出目标烟雾图像和与目标烟雾图像对应的目标背景图像，并将目标烟雾图像插入对应的目标背景图像中，得到用于训练火灾检测模型的训练样本。如此，可十分方便的制作大量用于火灾检测模型训练的训练样本，以便训练出能够在火灾发生时准确检测出火灾的检测模型，且相对于实地采集图
circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术一个或多个实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
92.该电子设备还可执行图2的方法，并实现火灾检测模型的训练样本制作装置在图3所示实施例的功能，本技术实施例在此不再赘述。
93.当然，除了软件实现方式之外，本技术的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
94.本技术实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图2所示实施例的方法，并具体用于执行以下操作：
95.获取在不同亮度和不同天气条件下的多张初始背景图像；
96.通过流体仿真软件合成多张初始烟雾图像；
97.遍历所述多张初始背景图像和所述多张初始烟雾图像，随机确定出目标烟雾图像和与所述目标烟雾图像对应的目标背景图像；
98.将所述目标烟雾图像插入对应的所述目标背景图像中，得到用于训练火灾检测模型的训练样本；
99.其中，所述目标烟雾图像为所述多张初始烟雾图像中的一张或多张，所述目标背景图像为所述多张初始背景图像中的一张或多张。
100.图4是本技术的一个实施例提供的火灾检测模型的训练样本制作装置的结构示意图。请参阅图4，在一种软件实施方式中，火灾检测模型的训练样本制作装置包括：
101.获取模块，用于获取在不同亮度和不同天气条件下的多张初始背景图像；
102.合成模块，用于通过流体仿真软件合成多张初始烟雾图像；
103.确定模块，用于遍历所述多张初始背景图像和所述多张初始烟雾图像，随机确定出目标烟雾图像和与所述目标烟雾图像对应的目标背景图像；
104.插入模块，用于将所述目标烟雾图像插入对应的所述目标背景图像中，得到用于训练火灾检测模型的训练样本；
105.其中，所述目标烟雾图像为所述多张初始烟雾图像中的一张或多张，所述目标背景图像为所述多张初始背景图像中的一张或多张。
106.总之，以上所述仅为本文件的较佳实施例而已，并非用于限定本文件的保护范围。凡在本文件的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本文件的保护范围之内。
107.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，
或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
108.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
109.本文件中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。