一种火点检测方法、装置、设备及存储介质与流程

本申请涉及监测技术领域，提供一种火点检测方法、装置、设备及存储介质。

背景技术：

在自然界中，任何物体的温度在高于绝对零度时，都会向外辐射红外线，且物体表面温度越高，向外辐射的红外强度就越大，因此，红外强度可用于对高温物体进行检测。目前，在民用领域中，红外强度检测已经可以广泛在无人值守的森林防火预警中进行应用。

由于火焰辐射的红外强度高于环境辐射的红外强度，因此，可以通过热成像相机去获取环境热成像图像，并根据热成像图像中的红外强度，判断是否存在高于环境红外强度的异常点，进而判断是否存在火点，从而根据判断结果来实现火灾的预警报警。

但是，当热成像相机采集的热成像画面中包含其他高温物体时，则容易造成火点误报，例如汽车在工作时，其引擎、尾气管以及刹车片等位置都容易产生高温，从而当热成像画面中包含汽车就容易造成火点误报。

因此，如何减少火点检测误报是一个亟待解决的问题。

技术实现要素：

本申请实施例提供一种火点检测方法、装置、设备及存储介质，用于降低火点检测误报的概率。

一方面，提供一种火点检测方法，所述方法包括：

根据摄像设备对监测区域进行图像采集得到的热成像视频流，确定所述热成像视频流包括的第一热成像图像中是否包含可疑火点；其中，所述第一热成像图像为所述热成像视频流中任一帧热成像图像，所述可疑火点为所述第一热成像图像中灰度值大于设定的灰度阈值的区域；

在确定所述第一热成像图像中包含所述可疑火点时，确定所述可疑火点在所述第一热成像图像中的位置，与在所述第一热成像图像的邻近热成像图像中的位置的差异度是否不大于设定差异度阈值；其中，所述邻近热成像图像为所述热成像视频流中与所述第一热成像图像之间的图像间隔数量不大于设定数量阈值的图像；

在所述差异度不大于设定差异度阈值时，确定所述第一热成像图像中包含候选火点，并从所述热成像视频流中获取包括多个连续采集的热成像图像的热成像图像序列；

通过火点检测模型根据所述热成像图像序列对所述候选火点进行火点检测，获得表征所述候选火点是否为真实火点的检测结果；其中，所述火点检测模型是利用多个热成像图像序列样本训练得到的，每一热成像图像序列样本标注了所述每一热成像图像样本序列中候选火点是否为真实火点的标签。

一方面，提供一种火点检测装置，所述装置包括：

第一确定单元，用于根据摄像设备对监测区域进行图像采集得到的热成像视频流，确定所述热成像视频流包括的第一热成像图像中是否包含可疑火点；其中，所述第一热成像图像为所述热成像视频流中任一帧热成像图像，所述候选火点为真实火点的概率不小于第一设定概率阈值；所述可疑火点为所述第一热成像图像中灰度值大于设定的灰度阈值的区域；

在确定所述第一热成像图像中包含所述可疑火点时，确定所述可疑火点在所述第一热成像图像中的位置，与在所述第一热成像图像的邻近热成像图像中的位置的差异度是否不大于设定差异度阈值；其中，所述邻近热成像图像为所述热成像视频流中与所述第一热成像图像之间的图像间隔数量不大于设定数量阈值的图像；

获取单元，用于在所述差异度不大于设定差异度阈值时，确定所述第一热成像图像中包含候选火点，并从所述热成像视频流中获取包括多个连续采集的热成像图像的热成像图像序列；

检测单元，用于通过火点检测模型根据所述热成像图像序列对所述候选火点进行火点检测，获得表征所述候选火点是否为真实火点的检测结果；其中，所述火点检测模型是利用多个热成像图像序列样本训练得到的，每一热成像图像序列样本标注了所述每一热成像图像样本序列中候选火点是否为真实火点的标签。

可选的，所述装置，还包括：

第二确定单元，用于若确定所述第一热成像图像包含所述可疑火点，确定所述摄像设备是否连接云台；

调整单元，用于若确定所述摄像设备已连接云台，调整所述云台，以使得所述可疑火点位于所述摄像设备的取景框的设定区域。

可选的，所述装置，还包括：

训练单元，用于针对所述多个热成像图像序列样本中每一热成像图像序列样本，分别执行如下操作：

针对每一热成像图像序列样本，按照热成像图像采集时间顺序依次通过所述特征提取单元对所述每一热成像图像序列样本中每一热成像图像进行特征提取，得到所述每一热成像图像序列样本中候选火点的温度波动特征向量；其中，一个特征提取单元用于对一个热成像图像进行特征提取，且每一特征提取单元的输入为对应的每一热成像图像以及上一特征提取单元的输出，所述多个级联的特征提取单元的第一个特征提取单元的输入为所述每一热成像图像序列样本中的第一个热成像图像；

根据所述每一热成像图像序列样本的温度波动特征向量，预测所述候选火点是否为真实火点；

根据多个热成像图像序列样本中各个热成像图像序列样本的预测结果与各自标签指示的实际结果之间的差异度，确定所述火点检测模型是否收敛；

当确定所述火点检测模型收敛时，结束训练；或者，

当确定所述火点检测模型未收敛时，根据所述差异度更新所述火点检测模型。

可选的，所述装置，还包括：

示警单元，用于若根据所述检测结果确定所述候选火点为真实火点，将所述检测结果发送给指定的终端设备；和/或，

在根据所述检测结果确定所述候选火点为真实火点时，通过报警设备进行示警。

可选的，所述获取单元，还用于：

以所述候选火点的确定时刻为基准，获取所述确定时刻之后的预设时长内的热成像图像序列；或者，

以所述第一热成像图像的采集时刻为基准，获取所述采集时刻之后的预设时长内的热成像图像序列。

一方面，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方面所述的方法的步骤。

一方面，提供一种计算机存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述方面所述的方法的步骤。

本申请实施例中，可以根据摄像设备对监测区域进行图像采集得到的热成像视频流，初步根据热成像图像的灰度值确定是否包含有可疑火点，进而根据可疑火点是否发生移动来对可疑火点进行筛选，以确定热成像图像中是否包含候选火点，在确定包含候选火点时，可以获取包括多个连续采集的热成像图像的热成像图像序列，进而通过已训练的火点检测模型根据热成像图像序列对候选火点进行火点检测，获得表征候选火点是否为真实火点的检测结果。由于对可能会发生移动的可疑火点进行了筛选，可以减少后续火点检测模型的处理负担，提升火点检测的精确性。并且火点检测模型是根据标注了是否存在真实火点的训练样本训练而成，对于火点识别的准确性更高，进而通过已训练好的火点检测模型，对将包含有候选火点的热成像图像进行检测，以确定该热成像图像中是否包含有真实火点，进而提高火点检测精度，减少火情误报的情况。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种应用场景示意图；

图2为本申请实施例提供的火点检测方法的一种流程示意图；

图3为本申请实施例提供的确定候选火点的示意图；

图4为本申请实施例提供的火点检测方法的另一种流程示意图；

图5为本申请实施例提供的火点检测模型训练过程的流程示意图；

图6为以火点检测模型为lstm模型为例的训练流程示意图；

图7为本申请实施例提供的火点检测装置的示意图；

图8为本申请实施例提供的计算机设备的一种示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

目前，采用热成像相机进行火点检测的方法中，当热成像相机采集的热成像画面中包含其他高温物体时，则容易造成火点误报，例如处于工作状态的汽车，或者装有热水的水杯等高温物体，都容易被检测为火点，进而错误的将该检测结果上报。

基于此，本申请实施例中，可以根据摄像设备对监测区域进行图像采集得到的至少两个热成像图像，初步根据热成像图像的灰度值确定是否包含有可疑火点，进而根据可疑火点是否发生移动来对可疑火点进行筛选，以确定热成像图像中是否包含候选火点，在确定包含候选火点时，可以获取包括多个连续采集的热成像图像的热成像图像序列，进而通过已训练的火点检测模型根据热成像图像序列对候选火点进行火点检测，获得表征候选火点是否为真实火点的检测结果。由于对可能会发生移动的可疑火点进行了筛选，可以减少后续火点检测模型的处理负担，提升火点检测的精确性。并且火点检测模型是根据标注了是否存在真实火点的训练样本训练而成，对于火点识别的准确性更高，进而通过已训练好的火点检测模型，对将包含有候选火点的热成像图像进行检测，以确定该热成像图像中是否包含有真实火点，进而提高火点检测精度，减少火情误报的情况。

考虑到虽然汽车等高温物体其红外强度波动是存在一定规律性的，以汽车为例，汽车的引擎、尾气管以及刹车片等位置的温度虽然也会发生变化，但是其温度变化跟内燃机的工作状态有关，呈现出一定的频率规律性，而火焰的温度变化是无规律性的，因此，就可以利用这种区别来对火焰与其他规律性波动的高温物体区分开来。进而，在本申请实施例中，火点检测模型能够提取候选火点的温度波动特征向量，进而基于温度波动特征向量判定候选火点是否为真实火点。

在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本申请实施例提供的技术方案。

如图1所示，为本申请实施例提供的一种应用场景示意图，其中，该火点检测的应用场景可以包括摄像设备11以及火点检测设备10。

其中，摄像设备11可以为用于对监测区域内的事物进行热成像图像采集的设备。

火点检测设备10可以包含一个或多个处理器101、存储器102、i/o接口103以及数据库104，存储器102中可以存储本申请实施例提供的火点检测方法的程序指令，这些程序指令被处理器101执行时能够用以实现本申请实施例提供的火点检测方法的步骤，以降低火点检测误报的概率。数据库104可以用于存储本申请实施例提供的方案中涉及到的热成像图像以及火点检测结果等数据。

以对森林进行火点检测为例，摄像设备11根据设定的时间间隔对森林进行热成像图像采集，并将采集的图像传送至火点检测设备10，进而火点检测设备10会对接收的图像进行图像检测，以判断该图像中是否含有真实火点，进而确定出森林中是否有火情发生，当有火情发生时，通知相关责任人员或者通过报警设备进行示警。

当然，本申请实施例提供的方法并不限用于图1所示的应用场景中，还可以用于其他可能的应用场景，本申请实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。下面，将结合附图对本申请实施例的方法进行介绍。

如图2所示，为本申请实施例提供的火点检测方法的流程示意图，该方法的流程介绍如下，该方法可以通过图1所示的火点检测设备10来执行。

步骤201：根据摄像设备对监测区域进行图像采集得到的热成像视频流，确定热成像视频流包括的第一热成像图像中是否包含可疑火点。

在本申请实施例中，摄像设备例如可以采用热成像摄像机，通过该热成像摄像机对监控区域可以进行图像采集。第一热成像图像可以为热成像视频流中任一帧热成像图像，可疑火点可以为第一热成像图像中灰度值大于设定的灰度阈值的区域。

具体的，在火点检测设备10接收到摄像设备对监测区域进行图像采集得到的热成像视频流之后，会从收到的热成像视频流中，确定出任一帧热成像图像来作为第一热成像图像，并确定该第一热成像图像中是否存在灰度值大于设定的灰度阈值的区域，若是存在灰度值大于设定的灰度阈值的某个区域时，则可以确定该第一热成像图中包含有可疑火点。

其中，某个区域的灰度值可以是该区域内各个像素的灰度值均值、加权值或者灰度值之和等，或者，也可以为其他方法计算的值，本申请实施例对此不做限制，设定灰度阈值例如可以为高于环境灰度值的值。

步骤202：在确定第一热成像图像中包含可疑火点时，确定可疑火点在第一热成像图像中的位置，与在第一热成像图像的邻近热成像图像中的位置的差异度是否不大于设定差异度阈值。

在本申请实施例中，邻近热成像图像为热成像视频流中与第一热成像图像之间的图像间隔数量不大于设定数量阈值的图。

由于真实火点是不会发生大幅度的移动的，而类似汽车等高温物体其移动性很高，因而当确定第一热成像图像中包含可疑火点时，可以通过确定第一热成像图像中的可疑火点的高温物体是否为移动物体来进一步进行非真实火点的排查。

具体的，可以比较多帧热成像图像中可疑火点的位置，来判断可疑火点是否发生移动。其中，根据可疑火点在第一热成像图像中的位置，以及可疑火点在第一热成像图像的邻近热成像图像中的位置，获得该两个位置之间的差异度，并根据获取的差异度与设定差异度阈值进行比较，来确定至少两个热成像图像中是否包含候选火点。其中，邻近热成像图像为热成像视频流中与第一热成像图像之间的图像间隔数量不大于设定数量阈值的图像，例如，可以为第一热成像图像的下一帧图像，或者，为第一热成像图像之后的第15帧图像等，本申请实施例对此不做限制。

在将两个热成像图像中可疑火点位置进行比较后，若差异度小于设定差异度阈值时，即表示可疑火点未发生大幅度的移动，进而可以确定可疑火点为候选火点；而若差异度不小于设定差异度阈值时，即表示可疑火点发生了大幅度的移动，进而则确定该可疑火点不是候选火点。其中，差异度可以通过图像中的像素数量来表示，例如将两个图像重叠之后，那么两个热成像图像中可疑火点位置之间的差异度即为两个图像中可疑火点之间间隔的像素数量；或者，也可以对热成像图像建立坐标系，进而通过两个热成像图像中可疑火点的坐标获取两个热成像图像中可疑火点之间的距离。

如图3所示，为本申请实施例提供的确定候选火点的示意图。图3中(a)表示热成像视频流中的第1帧热成像图像，图3中(b)表示热成像视频流中的第15帧的热成像图像，经过将第1帧与第15帧中的可疑火点位置进行比较后，发现该可疑火点从位置a移动到了位置b，且位置a与位置b之间的距离差异很大，进而可以确定该可疑火点不是真实火点。

步骤203：在差异度不大于设定差异度阈值时，确定第一热成像图像中包含候选火点，并从热成像视频流中获取包括多个连续采集的热成像图像的热成像图像序列。

在本申请实施例中，可疑火点在第一热成像图像中的位置，与在第一热成像图像的邻近热成像图像中的位置的差异度不大于设定差异度阈值时，可以确定第一热成像图像中包含候选火点，即，可以将该可疑火点确定为候选火点。那么为了进一步对检测该候选火点是否为真实火点，可以对包含候选火点的热成像图像做进一步的检测，因此，可以从热成像视频流中获取包括多个连续采集的热成像图像的热成像图像序列，以进一步确定该候选火点是否为真实火点。

步骤204：通过火点检测模型根据热成像图像序列对候选火点进行火点检测，获得表征候选火点是否为真实火点的检测结果。

在本申请实施例中，火点检测模型是利用多个热成像图像序列样本训练得到的，每一热成像图像序列样本标注了每一热成像图像样本序列中候选火点是否为真实火点的标签。

具体的，在从热成像视频流中获取包括多个连续采集的热成像图像的热成像图像序列之后，可以通过已训练的火点检测模型对获取的热成像图像序列中的候选火点进行火点检测，以获得表征候选火点是否为真实火点的检测结果。由于火点检测模型是根据标注了是否存在真实火点的训练样本训练而成，因而对于火点识别的准确性更高，可以减少火情误报的情况。

如图4所示，为本申请实施例提供的火点检测方法的另一流程示意图，该方法的流程介绍如下，该方法可以通过图1所示的火点检测设备10来执行。

步骤401：接收摄像设备发送的热成像视频流。

具体的，摄像设备可以持续不断的采集图像，并将采集的各个热成像图像按照采集顺序以视频流的形式发送给火点检测设备。其中，摄像设备采集热成像图像的频率可以是预先设定好的，例如可以为25帧/s的频率进行热成像图像采集。

步骤402：确定第一热成像图像是否包含可疑火点。

本申请实施例中，火点检测设备在接收到热成像视频流之后，可以对热成像视频流中的每一帧热成像图像进行检测，以确定该热成像图像中是否包含可疑火点。其中，可疑火点为真实火点的概率不小于第二设定概率阈值，也就是说，可疑火点可能是真实火点。

以热成像视频流中的第一热成像图像为例，第一热成像图像可以为热成像视频流中的任一图像，在具体应用时，由于在对火点进行热成像图像采集时，火点温度越高的地方对应的灰度值就越大，因此，可以通过确定热成像图像中的灰度值来确定采集的热成像图像是否存在可疑火点，当某个区域的灰度值高于设定灰度阈值时，则可以确定该区域为可疑火点，反之，则确定该区域不是可疑火点。其中，某个区域的灰度值可以是该区域内各个像素的灰度值均值、加权值或者灰度值之和等，或者，也可以为其他方法计算的值，本申请实施例对此不做限制，设定灰度阈值例如可以为高于环境灰度值的值。

具体的，可以对第一热成像图像进行区域划分，得到多个图像区域。其中，可以按照设定的划分方式进行划分，例如可以按分割线划分，或者按照设定区域大小进行图像扫描的方式划分，或者也可以按照像素值的大小，确定各个区域的分界线，进而基于分界线进行划分，最终划分得到的多个图像区域中任意两个图像区域的像素点不重合，或者，也可以多个图像区域中存在像素点重合的两个图像区域。

进而，可以针对各个图像区域，计算各个区域的灰度值，例如平均灰度值，当第一热成像图像中存在平均灰度值大于设定灰度阈值的区域时，平均灰度值大于设定灰度阈值的区域则为可疑火点区域，即确定第一热成像图像包含有可疑火点。例如，将设定灰度阈值设置为150，则当第一热成像图像中存在平均灰度值大于150的图像区域时，则可以确定该第一热成像图像存在可疑火点，即平均灰度值大于150的图像区域为可疑火点区域。

本申请实施例中，当确定第一热成像图像中未包含可疑火点时，则可以继续进行下一帧热成像图像是否存在可疑火点的判断。

通常情况下，摄像设备可分为带云台和不带云台两种，其中，带云台的摄像设备可以不停的转动云台以对监测区域进行巡检，而不带云台的摄像设备不能转动，只能对固定监测区域进行监测。

因此，在本申请实施例中，当确定第一热成像图像包含可疑火点时，可以确定摄像设备是否连接有云台，若确定该摄像设备已连接有云台时，则可以通过调整云台，以使可疑火点位于该摄像设备的取景框的设定区域内，并在调整完成后，停止云台转动，并记住该可疑火点在取景框的位置，通过后续的步骤判断该区域是否由火情，如果有火情则上报火点位置并报警输出，否则云台继续运转。其中，设定区域例如可以为取景框的中部，进而使得可疑火点居中，当然，也可以将设定区域设置为取景框的其他区域，例如左上角或者右上角等，本申请实施例对此不做限制。

其中，不带云台设备的检测流程与带云台设备大致一样，只是没有火点居中的过程，首先发现画面中的可疑火点并记住该位置，一定时间之后再去判断该位置的火情，如果仍有火情则上报输出报警，否者继续检测。

步骤403：确定可疑火点是否为候选火点。

在本申请实施例中，候选火点为真实火点的概率不小于第一设定概率阈值的区域，且第一设定概率阈值大于第二设定概率阈值，也就是说，可疑火点为存在一定的可能为真实火点，而候选火点是经过一定方法进行过火点排除之后的区域，其为真实火点的概率高于可疑火点。

由于真实火点是不会发生大幅度的移动的，而类似汽车等高温物体其移动性很高，因而当确定第一热成像图像中包含可疑火点时，可以通过确定第一热成像图像中的可疑火点的高温物体是否为移动物体来进一步进行非真实火点的排查。

具体的，可以比较多帧热成像图像中可疑火点的位置，来判断可疑火点是否发生移动。其中，根据可疑火点在第一热成像图像中的位置，以及可疑火点在第一热成像图像的邻近热成像图像中的位置，获得该两个位置之间的差异度，并根据获取的差异度与设定差异度阈值进行比较，来确定至少两个热成像图像中是否包含候选火点。其中，邻近热成像图像为热成像视频流中与第一热成像图像之间的图像间隔数量不大于设定数量阈值的图像，例如，可以为第一热成像图像的下一帧图像，或者，为第一热成像图像之后的第15帧图像等，本申请实施例对此不做限制。

在将两个热成像图像中可疑火点位置进行比较后，若差异度小于设定差异度阈值时，即表示可疑火点未发生大幅度的移动，进而可以确定可疑火点为候选火点；而若差异度不小于设定差异度阈值时，即表示可疑火点发生了大幅度的移动，进而则确定该可疑火点不是候选火点，则跳转至步骤401继续进行可疑火点确定。其中，差异度可以通过图像中的像素数量来表示，例如将两个图像重叠之后，那么两个热成像图像中可疑火点位置之间的差异度即为两个图像中可疑火点之间间隔的像素数量；或者，也可以对热成像图像建立坐标系，进而通过两个热成像图像中可疑火点的坐标获取两个热成像图像中可疑火点之间的距离。

若确定采集的至少两个热成像图像中不包含候选火点，则返回步骤401。

步骤404：在确定存在候选火点时，获取包括多个连续采集的热成像图像的热成像图像序列。

在本申请实施例中，在确定根据可疑火点为候选火点时，可以以候选火点的确定时刻为基准，获取确定时刻之后的预设时长内的热成像图像序列。例如，摄像设备采集的热成像视频中的第1帧热成像图像与第15帧热成像图像的采集时间分别为12:14:00与12:14:05，即分别为12点14分00秒与12点14分05秒，而根据第1帧热成像图像与第15帧热成像图像在12:14:15时确定出该热成像图像中的可疑火点为候选火点，则可以以确定出候选火点的时刻12:14:15为基准，获取12:14:15时刻之后的预设时长内的热成像图像序列。

或者，可以以第一热成像图像的采集时刻为基准，获取采集时刻之后的预设时长内的热成像图像序列。例如，第一热成像图像为第1帧热成像图像，则可以以采集第1帧热成像图像的时刻12:14:00为基准，获取采集12:14:00之后的预设时长内的热成像图像序列，或者，以时刻12:14:00为中间点，获取前后时长为预设时长的热成像图像序列。或者，第一热成像图像为第15帧热成像图像，则可以以采集第15帧热成像图像的时刻12:14:05为基准，获取采集12:14:05之后的预设时长内的热成像图像序列。

步骤405：通过已训练的火点检测模型根据热成像图像序列对候选火点进行火点检测，获得表征候选火点是否为真实火点的检测结果。

在本申请实施例中，火点检测模型是利用多个热成像图像序列样本训练得到的，每一热成像图像序列样本标注了每一热成像图像样本序列中候选火点是否为真实火点的标签。

如图5所示，为本申请实施例提供的火点检测模型训练过程的流程示意图。其中，火点检测模型可以包括多个级联的特征提取单元，则火点检测模型的每一次训练过程介绍如下。其中，由于对每个热成像图像序列样本的处理过程是相同的，因此下面具体以一个热成像图像序列样本为例对训练过程进行介绍。

s4051：获取多个热成像图像序列样本。

在本申请实施例中，可以采集多个真实的火点图像样本以及非火点图像样本。

以对汽车的排气管进行热成像图像采集为例，可以采用热成像相机对处于工作状态的汽车的排气管位置，以25帧/s的频率进行热成像图像采集，每次采集5秒，且可以对每辆车采集3000次。为保证热成像图像样本足够丰富，可以对多种不同型号的车辆的尾气管进行热成像图像采集，该尾气管热成像图像样本作为训练时的干扰源样本，且干扰源样本在模型训练时的标签可以设为0。

此外，与干扰源样本的采集方式相似，可以采用热成像相机对真实的火源进行真实火点热成像图像样本采集，也可以以25帧/s的频率进行热成像图像采集，每次采集5秒，且可以对不同环境下的火焰采集3000次，以获得大量的、真正的真实火点热成像图像样本，且真实火点样本在模型训练时的标签可以设为1。

s4052：按照热成像图像采集时间顺序依次通过特征提取单元对每个热成像图像序列样本中每个热成像图像进行特征提取，得到每个热成像图像序列样本中候选火点的温度波动特征向量。

在本申请实施例中，一个特征提取单元用于对一个热成像图像进行特征提取，且特征提取单元的输入为对应的热成像图像以及上一特征提取单元的输出，多个级联的特征提取单元的第一个特征提取单元的输入为热成像图像序列样本中的第一个热成像图像。

火点检测模型具体可以采用能够提取序列化特征的神经网络模型，例如可以为长短期记忆(long-shorttermmemory，lstm)模型。如图6所示，为以火点检测模型为lstm模型为例的模型结构示意图，该lstm模型含有多个用于提取特征的特征提取单元以及用于进行检测结果预测的预测层。

每个热成像图像序列样本可以表示如下：

xi＝{xi1，xi2，...，xit}

其中，xi表示第i个热成像图像序列样本，xit表示第i个热成像图像序列样本中的第t个热成像图像。

针对每个热成像图像序列样本xi，将xi中的第1个热成像图像xi1对应输入第1个特征提取单元中，第1个特征提取单元对xi1进行特征提取，以得到xi1对应的候选火点的温度波动特征向量，进而再将第1个特征提取单元输出的温度波动特征向量以及xi2输入至第2个特征提取单元，以输出xi2对应的温度波动特征向量，以此类推。其中，由于后续2至t个特征提取单元均结合上一个特征提取单元的输出，因而输出的温度波动特征向量均是融合了上一个特征提取单元输出的温度波动特征信息的，进而最后一个特征提取单元输出的温度波动特征向量可以表征整个序列的温度变化的序列化特征，即将最后一个特征提取单元输出的温度波动特征向量作为整个序列的温度波动特征向量。

s4053：根据每个热成像图像序列样本的温度波动特征向量，预测每个热成像图像序列样本中的候选火点是否为真实火点。

s4054：确定火点检测模型是否收敛。

具体的，可以将每个热成像图像序列样本的预测结果与各自标签指示的实际结果进行比较，进而根据预测结果与实际结果之间的差异度，获取火点检测模型的损失值，以根据损失值判断火点检测模型是否收敛。

延用上述lstm模型的例子，针对热成像图像序列样本xi，在得到序列样本xi的温度波动特征向量之后，可以通过预测层基于该温度波动特征向量预测得到序列样本xi的预测结果，预测结果表征该序列样本xi中的候选火点是否为真实火点，进而可以通过损失函数根据预测结果和实际结果计算当前模型的损失值，损失值越小，表明预测的检测结果与实际结果之间的差异就越小，模型的预测更准确。

其中，损失函数可以为0-1损失函数、绝对值损失函数、平方损失函数以及交叉熵损失函数等。

s4055：当确定火点检测模型收敛时，结束训练。

s4056：当确定火点检测模型未收敛时，根据差异度更新火点检测模型。

通过上述的训练过程，则可以得到准确度满足要求的火点检测模型，进而用于实际的火点检测中。

步骤406：根据检测结果确定候选火点是否为真实火点。

步骤407：在根据检测结果确定候选火点为真实火点时，进行通知或者示警。

在本申请实施例中，在获得表征候选火点是否为真实火点的检测结果之后，若根据检测结果确定出候选火点为真实火点，则可以将检测结果发送给指定的终端设备；和/或，可以通过报警设备进行示警。

在根据检测结果确定候选火点不为真实火点时，则返回步骤401继续进行热成像图像采集。具体的，当确定候选火点不为真实火点时，且摄像设备连接有云台，则云台会继续进行巡检，并对监测区域进行热成像图像采集。

综上所述，本申请实施例中，由于火点检测模型是根据标注了是否存在真实火点的训练样本训练而成，对于火点识别的准确性更高，进而通过已训练好的火点检测模型，对将包含有候选火点的热成像图像进行检测，以确定该热成像图像中是否包含有真实火点，进而提高火点检测精度，减少火情误报的情况。此外，在本申请实施例中，还可以通过比较采集到的至少两个热成像图像中的可疑火点是否发生移动，来初步确定可疑火点是否为候选火点，对非候选火点进行过滤，减少后续火点检测模型的处理负担，并可提升火点检测的精确性。

如图7所示，基于同一发明构思，本申请实施例提供一种火点检测装置70，该装置包括：

第一确定单元701，用于根据摄像设备对监测区域进行图像采集得到的热成像视频流，确定热成像视频流包括的第一热成像图像中是否包含可疑火点；其中，第一热成像图像为热成像视频流中任一帧热成像图像，可疑火点为第一热成像图像中灰度值大于设定的灰度阈值的区域；

在确定第一热成像图像中包含可疑火点时，确定可疑火点在第一热成像图像中的位置，与在第一热成像图像的邻近热成像图像中的位置的差异度是否不大于设定差异度阈值；其中，邻近热成像图像为热成像视频流中与第一热成像图像之间的图像间隔数量不大于设定数量阈值的图像；

获取单元702，用于在差异度不大于设定差异度阈值时，确定第一热成像图像中包含候选火点，并从热成像视频流中获取包括多个连续采集的热成像图像的热成像图像序列；

检测单元703，用于通过火点检测模型根据热成像图像序列对候选火点进行火点检测，获得表征候选火点是否为真实火点的检测结果；其中，火点检测模型是利用多个热成像图像序列样本训练得到的，每一热成像图像序列样本标注了每一热成像图像样本序列中候选火点是否为真实火点的标签。

可选的，该装置，还包括：

第二确定单元704，用于若确定第一热成像图像包含可疑火点，确定摄像设备是否连接云台；

调整单元705，用于若确定摄像设备已连接云台，调整云台，以使得可疑火点位于摄像设备的取景框的设定区域。

可选的，所述装置，还包括：

训练单元706，用于针对多个热成像图像序列样本中每一热成像图像序列样本，分别执行如下操作：

针对每一热成像图像序列样本，按照热成像图像采集时间顺序依次通过特征提取单元对每一热成像图像序列样本中每一热成像图像进行特征提取，得到每一热成像图像序列样本中候选火点的温度波动特征向量；其中，一个特征提取单元用于对一个热成像图像进行特征提取，且每一特征提取单元的输入为对应的每一热成像图像以及上一特征提取单元的输出，多个级联的特征提取单元的第一个特征提取单元的输入为每一热成像图像序列样本中的第一个热成像图像；

根据每一热成像图像序列样本的温度波动特征向量，预测候选火点是否为真实火点；

根据多个热成像图像序列样本中各个热成像图像序列样本的预测结果与各自标签指示的实际结果之间的差异度，确定火点检测模型是否收敛；

当确定火点检测模型收敛时，结束训练；或者，

当确定火点检测模型未收敛时，根据差异度更新火点检测模型。

可选的，该装置，还包括：

示警单元707，用于若根据检测结果确定候选火点为真实火点，将检测结果发送给指定的终端设备；和/或，

在根据检测结果确定候选火点为真实火点时，通过报警设备进行示警。

可选的，获取单元702，还用于：

以候选火点的确定时刻为基准，获取确定时刻之后的预设时长内的热成像图像序列；或者；

以第一热成像图像的采集时刻为基准，获取采集时刻之后的预设时长内的热成像图像序列。

该装置可以用于执行图2～图6所示的实施例中所述的方法，因此，对于该装置的各功能模块所能够实现的功能等可参考图2～图6所示的实施例的描述，不多赘述。图7中的虚线框为该装置的非主要单元。

请参见图8，基于同一技术构思，本申请实施例还提供了一种计算机设备80，可以包括存储器801和处理器802。

所述存储器801，用于存储处理器802执行的计算机程序。存储器801可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据计算机设备的使用所创建的数据等。处理器802，可以是一个中央处理单元(centralprocessingunit，cpu)，或者为数字处理单元等等。本申请实施例中不限定上述存储器801和处理器802之间的具体连接介质。本申请实施例在图8中以存储器801和处理器802之间通过总线803连接，总线803在图8中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线803可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器801可以是易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，ram)；存储器801也可以是非易失性存储器(non-volatilememory)，例如只读存储器，快闪存储器(flashmemory)，硬盘(harddiskdrive，hdd)或固态硬盘(solid-statedrive，ssd)、或者存储器801是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器801可以是上述存储器的组合。

处理器802，用于调用所述存储器801中存储的计算机程序时执行如图2～图6所示的实施例中设备所执行的方法。

在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行如图2～图6所示的实施例中所述的方法。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。