双引擎视觉识别火焰方法、装置、计算机设备及存储介质与流程

1.本技术涉及火焰识别技术领域，特别是涉及一种双引擎视觉识别火焰方法、装置、计算机设备及存储介质。


背景技术：

2.由于火焰形态多种多样，不同场景火焰具备较大的不一致性，例如抽烟的小火，着火的大火等，形态各一，所以视觉识别准确率不够，当前业界主要是两种识别办法：
3.1、通过jpeg图片进行识别，摄像头定制抓拍图片，后面中心进行识别，这种ai视觉的特点是性能强(单卡t4 150路)，成本低(150/路)，但是准确率低。
4.2、通过连续的视频流进行识别可以提升准确率，但是成本太高，单卡t4智能识别6路，每路识别硬件成本3750元/路，准确率高(90％)，由于太昂贵不可普及推广。
5.为此，需要提供一种既具有视频流识别的高准确率，又具有图片流识别的低成本优点的方案。


技术实现要素：

6.本技术提供一种双引擎视觉识别火焰方法、装置、计算机设备及存储介质，以解决现有的视觉识别技术无法兼备视频流识别的高准确率以及图片流识别的低成本优势的问题。
7.为解决上述技术问题，本技术采用的一个技术方案是：提供一种双引擎视觉识别火焰方法，包括：将待识别图片输入训练好的火焰图片识别模型，得到待识别图片的火焰识别结果；
8.当待识别图片根据训练好的火焰图片识别模型检测出火焰时，获取待识别图片的对应时间的实时视频流进行视频火焰识别校验，以获得火焰校验结果。
9.作为本技术的进一步改进，将待识别图片输入训练好的图片识别模型，得到待识别图片的火焰识别结果之前还包括：
10.获取多个样本火焰图片，并从各样本火焰图片中提取火焰纹理图；
11.将提取的火焰纹理图与预设背景图片进行拼合，获得样本火焰背景图；
12.根据获得的样本火焰背景图构建样本火焰背景图集合；
13.根据样本火焰背景图集合对初始网络模型进行训练，以获得火焰图片识别模型。
14.作为本技术的进一步改进，将待识别图片输入训练好的火焰图片识别模型，得到待识别图片的火焰识别结果之后还包括：
15.当待识别图片根据训练好的火焰图片识别模型检测出没有火焰时，输出待识别图片中没有火焰的结果。
16.作为本技术的进一步改进，当待识别图片根据训练好的火焰图片识别模型检测出火焰时，获取待识别图片的对应时间的实时视频流进行视频火焰识别校验，以获得火焰校验结果具体包括：
17.判断待识别图片是否需要进行视频火焰识别校验；
18.若是，则确认待识别图片的对应时间的实时视频流，并进行视频火焰识别校验，以获得火焰校验结果；
19.若否，则确认待识别图片的火焰识别结果并输出。
20.作为本技术的进一步改进，判断待识别图片是否需要进行视频火焰识别校验还包括：
21.当检测到的火焰目标为虚假火焰时，输出检测到的火焰目标是虚假火焰判别结果信息。
22.作为本技术的进一步改进，若是，则确认待识别图片的对应时间的实时视频流，并进行视频火焰识别校验，以获得火焰校验结果之后还包括：
23.根据火焰校验结果，将待识别图片的对应时间的实时视频流在预定时间范围内删除。
24.作为本技术的进一步改进，若是，则确认待识别图片的对应时间的实时视频流，并进行视频火焰识别校验，以获得火焰校验结果之后还包括：
25.根据火焰校验结果生成火焰告警数据。
26.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种双引擎视觉识别火焰装置，包括：识别模块，用于将待识别图片输入训练好的火焰图片识别模型，得到待识别图片的火焰识别结果；
27.校验模块，用于当待识别图片根据训练好的火焰图片识别模型检测出火焰时，获取待识别图片的对应时间的实时视频流进行视频火焰识别校验，以获得火焰校验结果。
28.为解决上述技术问题，本技术采用的再一个技术方案是：提供一种计算机设备，计算机设备包括处理器、与处理器耦接的存储器，存储器中存储有程序指令，程序指令被处理器执行时，使得处理器执行上述中任一项的双引擎视觉识别火焰方法的步骤。
29.为解决上述技术问题，本技术采用的再一个技术方案是：提供一种存储介质，存储有能够实现上述中任一项的双引擎视觉识别火焰方法的程序指令。
30.本技术的有益效果是：本技术的双引擎视觉识别火焰方法当待识别图片根据训练好的火焰图片识别模型检测出火焰时，获取待识别图片的对应时间的实时视频流进行视频火焰识别校验，以获得火焰校验结果，通过火焰图片识别模型以及视频火焰识别校验双引擎识别技术有效的解决了视频流识别价格太贵，图片流识别准确率低的问题。
附图说明
31.图1是本发明实施例的双引擎视觉识别火焰方法的流程示意图；
32.图2是本发明实施例的双引擎视觉识别火焰装置的功能模块示意图；
33.图3是本发明实施例的计算机设备的结构示意图；
34.图4是本发明实施例的存储介质的结构示意图。
具体实施方式
35.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于
本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
36.本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。本技术实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
37.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
38.图1是本发明实施例的双引擎视觉识别火焰方法的流程示意图。需注意的是，若有实质上相同的结果，本技术的方法并不以图1所示的流程顺序为限。如图1所示其包括：
39.步骤s1、将待识别图片输入训练好的火焰图片识别模型，得到待识别图片的火焰识别结果。
40.需要说明的是，视觉ai是通过深度学习技术分析连续视频中的人、车、物等目标，输入视频流，输出ai结果。火焰识别是通过图片或者视频，识别是否有火焰。图片ai识别是对每一张图片进行ai分析，一般图片是由摄像头进行定时抓拍，例如5秒一张。
41.特别地，火灾对于人类社会的损害是巨大的。每年，森林火灾都会夺走许多消防员的生命，对当地的环境与生态造成严重的影响；同时还有数量更多的火灾发生在工厂、居民区等人类聚集地，直接带来大量的财产损失与人员伤亡。随着计算机视觉的发展，基于计算机视觉的火焰检测技术得到了大量的研究。相对于传统的烟雾报警器而言，火焰图片识别模型的灵敏度要高得多。
42.具体地，获取待识别图片，将待识别图片输入训练好的火焰图片识别模型，以得到待识别图片的火焰识别结果。
43.进一步地，步骤s1、将待识别图片输入训练好的图片识别模型，得到待识别图片的火焰识别结果之前还包括：
44.步骤s01、获取多个样本火焰图片，并从各样本火焰图片中提取火焰纹理图。
45.具体地，多张样本火焰图片可以为用户通过网站下载火焰图片，也可以为用户利用相机或移动终端拍摄的火焰图片等，预设背景图片也可以为用户通过网站下载的火焰场景图片等，本实施例并不加以限制。
46.步骤s02、将提取的火焰纹理图与预设背景图片进行拼合，获得样本火焰背景图。
47.需要说明的是，预设背景图片也可以为用户通过网站下载的火焰场景图片等，本实施例并不加以限制。
48.步骤s03、根据获得的样本火焰背景图构建样本火焰背景图集合。
49.具体地，根据获得的样本火焰背景图构建样本火焰背景图集合，也可以为火焰背景特征可以作为样本区域火焰特征。
50.步骤s04、根据样本火焰背景图集合对初始网络模型进行训练，以获得火焰图片识别模型。
51.具体地，对获取的多个样本火焰图片进行遍历，获得遍历到的当前样本火焰图片，对当前样本火焰图片进行处理，根据样本火焰背景图集合对初始网络模型进行训练，以获得火焰图片识别模型。
52.进一步地，步骤s1、将待识别图片输入训练好的火焰图片识别模型，得到待识别图片的火焰识别结果之后还包括：
53.步骤s11、当待识别图片根据训练好的火焰图片识别模型检测出没有火焰时，输出待识别图片中没有火焰的结果。
54.具体地，当待识别图片根据训练好的火焰图片识别模型检测出没有火焰时，直接输出待识别图片中没有火焰的结果
55.步骤s2、当待识别图片根据训练好的火焰图片识别模型检测出火焰时，获取待识别图片的对应时间的实时视频流进行视频火焰识别校验，以获得火焰校验结果。
56.需要说明的是，视频ai识别是对视频流进行ai分析，视频流是由摄像头进行产生，安防场景一秒25帧，压缩方式为h.264或者h.265。
57.进一步地，步骤s2、当待识别图片根据训练好的火焰图片识别模型检测出火焰时，获取待识别图片的对应时间的实时视频流进行视频火焰识别校验，以获得火焰校验结果具体包括：
58.步骤s21、判断待识别图片是否需要进行视频火焰识别校验；
59.步骤s22、若是，则确认待识别图片的对应时间的实时视频流，并进行视频火焰识别校验，以获得火焰校验结果；
60.步骤s23、若否，则确认待识别图片的火焰识别结果并输出。
61.具体地，当待识别图片根据训练好的火焰图片识别模型检测出火焰时，判断待识别图片是否需要进行视频火焰识别校验，获取待识别图片的对应时间的实时视频流进行视频火焰识别校验，若需要进行视频火焰识别校验，则确认待识别图片的对应时间的实时视频流，并进行视频火焰识别校验，以获得火焰校验结果，若不需要进行视频火焰识别校验，则确认待识别图片的火焰识别结果并输出，具有视频流识别的准确率又大幅上降低了算力资源的消耗的有点。
62.进一步地，步骤s21、判断待识别图片是否需要进行视频火焰识别校验还包括：
63.步骤s211、当检测到的火焰目标为虚假火焰时，输出检测到的火焰目标是虚假火焰判别结果信息。
64.具体地，当待识别图片根据训练好的火焰图片识别模型检测出火焰时，判断待识别图片是否需要进行视频火焰识别校验，当检测到的火焰目标为虚假火焰时，输出检测到的火焰目标是虚假火焰判别结果信息。
65.进一步地，步骤s22、若是，则确认待识别图片的对应时间的实时视频流，并进行视频火焰识别校验，以获得火焰校验结果之后还包括：
66.步骤s221、根据火焰校验结果，将待识别图片的对应时间的实时视频流在预定时间范围内删除。
67.具体地，视频火焰识别校验之后，根据确认待识别图片的对应时间的实时视频流，根据火焰校验结果，将待识别图片的对应时间的实时视频流在预定时间范围内删除。视频服务器系统中，每次在视频的记录时，在第1服务器的记录驱动器中，记录、储存加密的视频数据。因此，记录驱动器的可记录的容量会变低。当此成为问题的情况下，可利用定时器在经过预定时间范围内，将待识别图片的对应时间的实时视频流在预定时间范围内删除。将将待识别图片的对应时间的实时视频流删除的时间，根据用户的使用状况或记录驱动器的容量等各种条件考虑决定。
68.进一步地，步骤s22、若是，则确认待识别图片的对应时间的实时视频流，并进行视频火焰识别校验，以获得火焰校验结果之后还包括：
69.步骤s222、根据火焰校验结果生成火焰告警数据。
70.具体地，判断待识别图片是否需要进行视频火焰识别校验，若需要进行视频火焰识别校验，则确认待识别图片的对应时间的实时视频流，并进行视频火焰识别校验，以获得火焰校验结果，根据火焰校验结果生成火焰告警数据，起到预警的作用。
71.本发明实施例的双引擎视觉识别火焰方法当待识别图片根据训练好的火焰图片识别模型检测出火焰时，获取待识别图片的对应时间的实时视频流进行视频火焰识别校验，以获得火焰校验结果，通过火焰图片识别模型以及视频火焰识别校验双引擎识别技术有效的解决了视频流识别价格太贵，图片流识别准确率低的问题。先对采用图片识别技术进行检测，在检测出存在火焰的情况下，拉取对应时间的实时视频流进行视频火焰识别，相当于用高精度算法进行二次校验，这样既达成了视频流识别的准确率又大幅上降低了算力资源的消耗。
72.图2是本技术实施例的双引擎视觉识别火焰装置的功能模块示意图。如图2所示，该双引擎视觉识别火焰装置2包括识别模块21、校验模块22。
73.识别模块21，用于将待识别图片输入训练好的火焰图片识别模型，得到待识别图片的火焰识别结果；
74.校验模块22，用于当待识别图片根据训练好的火焰图片识别模型检测出火焰时，获取待识别图片的对应时间的实时视频流进行视频火焰识别校验，以获得火焰校验结果。
75.可选地，识别模块21执行将待识别图片输入训练好的图片识别模型，得到待识别图片的火焰识别结果的操作之前还包括：
76.获取多个样本火焰图片，并从各样本火焰图片中提取火焰纹理图；
77.将提取的火焰纹理图与预设背景图片进行拼合，获得样本火焰背景图；
78.根据获得的样本火焰背景图构建样本火焰背景图集合；
79.根据样本火焰背景图集合对初始网络模型进行训练，以获得火焰图片识别模型。
80.可选地，识别模块21执行将待识别图片输入训练好的火焰图片识别模型，得到待识别图片的火焰识别结果的操作之后还包括：
81.当待识别图片根据训练好的火焰图片识别模型检测出没有火焰时，输出待识别图片中没有火焰的结果。
82.可选地，校验模块22执行当待识别图片根据训练好的火焰图片识别模型检测出火
焰时，获取待识别图片的对应时间的实时视频流进行视频火焰识别校验，以获得火焰校验结果的操作具体包括：
83.判断待识别图片是否需要进行视频火焰识别校验；
84.若是，则确认待识别图片的对应时间的实时视频流，并进行视频火焰识别校验，以获得火焰校验结果；
85.若否，则确认待识别图片的火焰识别结果并输出。
86.可选地，判断待识别图片是否需要进行视频火焰识别校验还包括：
87.当检测到的火焰目标为虚假火焰时，输出检测到的火焰目标是虚假火焰判别结果信息。
88.可选地，若是，则确认待识别图片的对应时间的实时视频流，并进行视频火焰识别校验，以获得火焰校验结果之后还包括：
89.根据火焰校验结果，将待识别图片的对应时间的实时视频流在预定时间范围内删除。
90.可选地，若是，则确认待识别图片的对应时间的实时视频流，并进行视频火焰识别校验，以获得火焰校验结果之后还包括：
91.根据火焰校验结果生成火焰告警数据。
92.关于上述实施例双引擎视觉识别火焰装置中各模块实现技术方案的其他细节，可参见上述实施例中的双引擎视觉识别火焰方法中的描述，此处不再赘述。
93.需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可
94.请参阅图3，图3为本技术实施例的计算机设备的结构示意图。如图3所示，该计算机设备30包括处理器31及和处理器31耦接的存储器32。
95.存储器32存储有程序指令，程序指令被处理器31执行时，使得处理器31执行上述实施例中的双引擎视觉识别火焰方法的步骤。
96.其中，处理器31还可以称为cpu(central processing unit，中央处理单元)。处理器31可能是一种集成电路芯片，具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
97.参阅图4，图4为本技术实施例的存储介质的结构示意图。本技术实施例的存储介质存储有能够实现上述所有方法的程序指令41，其中，该程序指令41可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等计算机设备。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名
服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
98.在本技术所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
99.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。