一种智能火灾检测与定位方法、装置及系统与流程

本发明涉及基于图像的火灾检测技术领域，尤其涉及一种智能火灾检测与定位方法、装置及系统。

背景技术：

火灾是危害人类安全的主要灾害之一，传统火灾检测方法是基于感温、感烟等传感器进行探测，这种方法易受环境干扰，误报率较高，不能根据火焰燃烧过程实时获取火焰信息。此外，在大空间环境下，由于空间高度增大，空气流动等原因，温度和烟气无法到达传感器所在位置，或者即使到达传感器所在位置也会出现烟气浓度降低，温度下降，从而导致感温和感烟探测器产生误报警和不报警。

由于视觉烟雾探测的固有难度，使其只能应用在可以明显识别出烟雾的场所。图像型火焰探测技术则在某些无烟火焰的场所，以及户外大空间火灾探测方面具有明显的技术优势。当前，图像型火焰探测技术主要是通过可见光相机等传感器对监视区域进行成像探测，通过分析图像中目标的颜色、时变、空间和形状等特征对火焰目标进行检测。在室外大空间环境下，太阳等背景光照的变化对可见光相机探测火焰造成了干扰，影响了检测的准确性。目前主要是通过调整摄像机参数或者通过对不同光照条件创建不同的模型来解决。前者具有一定的局限性，后者增加了检测算法的复杂性。

因此，亟待开发一种方案简单且可以快速对火灾位置进行定位的方法。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术中的至少一部分缺陷，提供一种智能火灾检测与定位方法、装置和系统。

为了解决上述技术问题，本发明提供了一种智能火灾检测与定位方法，所述方法包括：

通过双光谱相机获取观测区域的紫外图像和可见光图像，所述双光谱相机包括共孔径的可见光相机和日盲紫外相机；

通过全景相机获取全景相机图像；

提取紫外图像中的火灾目标，对提取的火灾目标进行几何特征分析，确定火灾目标的中心位置；

通过可见光相机和日盲紫外相机的参数，计算出火灾目标的中心位置在可见光图像中的对应位置，并以该位置为中心确定感兴趣区域，在该感兴趣区域进行目标检测，获取火灾目标位置信息；

根据双光谱相机的观测角度读取对应角度下双光谱相机和全景相机的标定数据，根据火灾目标在可见光图像中的位置信息和读取的标定数据，计算出火灾目标在全景相机图像中的位置信息，并在全景相机图像中进行突出显示。

在根据本发明所述的智能火灾检测与定位方法中，优选地，所述方法在进行目标检测时还获取火灾目标的颜色、面积和几何中心的时变特征，并生成提醒信息在全景相机图像中进行突出进行提醒。

在根据本发明所述的智能火灾检测与定位方法中，优选地，所述提取出紫外图像中的火灾目标，包括：采用二值化方法对紫外图像进行处理，同时采用中值滤波对二值化后的噪声进行处理，以提取出紫外图像中的火灾目标。

在根据本发明所述的智能火灾检测与定位方法中，优选地，所述通过可见光相机和日盲紫外相机的参数，计算出火灾目标的中心位置在可见光图像中的对应位置，包括：

当日盲紫外相机获取的火灾目标的中心位置在其图像中的坐标为(x1,y1)时，通过以下公式计算在可见光图像中的对应位置(x2,y2)：

上式中，f1为日盲紫外相机的焦距，d1为日盲紫外相机像元间距，f2为可见光相机焦距，d2为可见光相机像元间距。

在根据本发明所述的智能火灾检测与定位方法中，优选地，所述通过全景相机获取全景相机图像，包括：通过3个180°全景相机拼接的方式获取360°的全景相机图像，其中，每个全景相机的中间120°图像用于拼接全景相机图像，左右两侧各30°图像用于相邻相机之间的图像匹配。

在根据本发明所述的智能火灾检测与定位方法中，优选地，所述双光谱相机和全景相机的标定数据通过以下方式获得：在双光谱相机和全景相机的安装位置固定后，通过各个角度和距离下的预定目标在两个相机所成像的位置信息，计算获得成像场景内目标在两个相机所成像的对应关系。

本发明还提供了一种智能火灾检测与定位装置，所述装置包括：

双光谱图像获取模块，用于通过双光谱相机获取观测区域的紫外图像和可见光图像，所述双光谱相机包括共孔径的可见光相机和日盲紫外相机；

全景图像获取模块，用于通过全景相机获取全景相机图像；

紫外目标检测模块，用于提取紫外图像中的火灾目标，对提取的火灾目标进行几何特征分析，确定火灾目标的中心位置；

可见目标提取模块，用于通过可见光相机和日盲紫外相机的参数，计算出火灾目标的中心位置在可见光图像中的对应位置，并以该位置为中心确定感兴趣区域，在该感兴趣区域进行目标检测，获取火灾目标位置信息；

全景目标定位模块，用于根据双光谱相机的观测角度读取对应角度下双光谱相机和全景相机的标定数据，根据火灾目标在可见光图像中的位置信息和读取的标定数据，计算出火灾目标在全景相机图像中的位置信息，并在全景相机图像中进行突出显示。

在根据本发明所述的智能火灾检测与定位装置中，优选地，所述可见目标提取模块还用于在进行目标检测时还获取火灾目标的颜色、面积和几何中心的时变特征；所述全景目标定位模块用于获取所述火灾目标的颜色、面积和几何中心的时变特征，并生成提醒信息。

在根据本发明所述的智能火灾检测与定位装置中，优选地，所述紫外目标检测模块采用二值化方法对紫外图像进行处理，同时采用中值滤波对二值化后的噪声进行处理，从而提取出紫外图像中的火灾目标。

在根据本发明所述的智能火灾检测与定位装置中，优选地，所述全景图像获取模块通过3个180°全景相机拼接的方式获取360°的全景相机图像，其中，每个全景相机的中间120°图像用于拼接全景相机图像，左右两侧各30°图像用于相邻相机之间的图像匹配。

本发明还提供了一种智能火灾检测与定位系统，所述系统包括：

双光谱相机，包括共孔径的可见光相机和日盲紫外相机，用于获取观测区域的紫外图像和可见光图像；

全景相机，用于获取全景相机图像；

控制器，与所述用于双光谱相机和全景相机相连，用于提取出紫外图像中的火灾目标，并进行几何特征分析，确定火灾目标的中心位置；通过可见光相机和日盲紫外相机的参数，计算出火灾目标的中心位置在可见光图像中的对应位置，并以该位置为中心确定感兴趣区域，在该感兴趣区域进行目标检测，获取火灾目标位置信息；根据双光谱相机的观测角度读取对应角度下双光谱相机和全景相机的标定数据，根据火灾目标在可见光图像中的位置信息和读取的标定数据，计算出火灾目标在全景相机图像中的位置信息，并在全景相机图像中进行突出显示；

显示屏，用于显示所述全景相机图像以及突出显示的火灾目标。

实施本发明的智能火灾检测与定位方法、装置和系统，具有以下有益效果：本发明通过采用可见光和紫外双光谱火灾检测方法，有效克服了太阳等环境光照变化对火灾检测的影响，实现了固定区域火灾的快速检测，并且通过引入全景成像技术对被观测区域进行实时监视，根据双光谱相机的检测信息，实现了火灾检测结果的快速定位。

附图说明

图1为根据本发明优选实施例的智能火灾检测与定位方法的流程图；

图2为根据本发明优选实施例的智能火灾检测与定位装置的模块框图；

图3为根据本发明优选实施例的智能火灾检测与定位系统的框图；

图4为根据本发明优选实施例的智能火灾检测与定位方法的界面示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，为根据本发明优选实施例的智能火灾检测与定位方法的流程图。该方法可以由智能火灾检测与定位装置执行，该装置可由软件和/或硬件实现。如图1所示，该实施例提供的方法包括以下步骤：

步骤s1：通过双光谱相机获取观测区域的紫外图像和可见光图像。该双光谱相机可以包括共孔径的可见光相机和日盲紫外相机。

在本发明的一个优选实施例中，该双光谱相机为安装有共孔径的可见光相机和日盲紫外相机的球机。为了增加探测距离，两个相机都可以采用5°×3.75°的小视场光学系统，当观测区域确定后，选取合适的安装位置，结合观测区域大小和相机视场，制定相应的扫描方案。

步骤s2：通过全景相机获取全景相机图像。该步骤s1和s2可以同步进行。该全景相机采集的是360°的可见光全景图像。

在本发明的一个优选实施例中，通过3个180°全景相机拼接的方式获取360°的全景相机图像，其中，每个全景相机的中间120°图像用于拼接全景相机图像，左右两侧各30°图像用于相邻相机之间的图像匹配。

步骤s3：提取紫外图像中的火灾目标，对提取的火灾目标进行几何特征分析，确定火灾目标的中心位置。

由于获取的紫外图像中火灾目标为亮目标，背景为暗背景，因此采用二值化方法对紫外图像进行处理，同时采用中值滤波对二值化后的噪声进行处理，从而提取出紫外图像中的火灾目标，对提取的目标进行几何特征分析，确定目标的中心位置。该步骤中可以采用本领域基础技术人员对可见光的目标识别方法，计算目标的几何中心。

步骤s4：通过可见光相机和日盲紫外相机的参数，计算出火灾目标的中心位置在可见光图像中的对应位置，并以该位置为中心确定感兴趣区域，在该感兴趣区域进行目标检测，获取火灾目标位置信息。

由于可见光图像和紫外图像是同孔径同光轴同视场获取的，因此可以通过可见光相机和紫外相机的参数，计算出目标中心在可见光图像中的对应位置。由于可见光相机和日盲紫外相机同孔径同光轴同视场，此外两个相机所测目标相同，因此若紫外相机获取的火灾目标中心位置的坐标为(x1,y1)，通过已知紫外相机焦距f1，紫外相机像元间距d1，可见光相机焦距f2，可见光相机像元间距d2，可计算出同目标在可见光图像中的中心位置坐标(x2,y2)为：

为了进一步确定火灾，可以在可见光图像的火灾目标中心位置附近确定感兴趣区域，在该感兴趣区域进行局部目标检测，获取火灾目标位置信息。该火灾目标位置信息包括但不限于火灾目标的几何中心位置以及轮廓位置。

步骤s5：根据双光谱相机的观测角度读取对应角度下双光谱相机和全景相机的标定数据，根据火灾目标在可见光图像中的位置信息和读取的标定数据，计算出火灾目标在全景相机图像中的位置信息，并在全景相机图像中进行突出显示。

优选地，上述双光谱相机和全景相机的标定数据通过以下方式获得：在双光谱相机和全景相机的安装位置固定后，通过各个角度和距离下的预定目标在两个相机所成像的位置信息，计算获得成像场景内目标在两个相机所成像的对应关系。该标定可以实现双光谱球机特定观测角度下被观测目标与全景相机中对应目标的相一致。

优选地，上述方法中，在步骤s4进行目标检测时还获取火灾目标的颜色、面积和几何中心的时变特征，并生成提醒信息在全景相机图像中进行提醒。该步骤中对获取的时变特征采用统计学方法进行分析，综合各特征的统计结果，形成最后的判断结论，并生成提醒信息。例如火灾目标迅速扩大等提醒。其中火灾目标的颜色是通过计算目标rgb像素值来获得，火灾目标的面积和几何中心可以通过目标检测算法获取。通过对多帧可见光图像的分析，可以获得上述颜色、面积和几何中心的时变特征，即随时间的变化情况。通过上述时变特征可以反映火灾目标的中心位置和变化情况。

本发明通过引入日盲紫外波段进行火灾探测，可以有效避免太阳背景辐射的干扰，提高探测的灵敏度。同时，由于紫外探测主要对燃烧过程中的火焰变化比较敏感，对燃烧物本身的温度不敏感，因此可以更好的探测火灾灭火过程中的二次燃烧。上述方法中在探测到火灾后，需要对火灾位置进行快速定位，为进一步的灭火提供可靠的信息。当前多数系统是通过对可见光相机标定、图像拼接同时结合gis地图信息等来进行定位，定位方法较为复杂，难以实现实时火灾安全监控。本发明通过引入360°全景成像技术，对固定区域进行实时全画面显示，同时与可见光和紫外的双光谱检测设备进行联动，实时显示检测到的火灾位置，可以有效解决火灾位置快速定位问题。

请参阅图2，为根据本发明优选实施例的智能火灾检测与定位装置的模块框图。该装置可由软件和/或硬件实现。如图2所示，该实施例提供的装置包括：双光谱图像获取模块201、全景图像获取模块202、紫外目标检测模块203、可见目标提取模块204和全景目标定位模块205。

双光谱图像获取模块201用于通过双光谱相机获取观测区域的紫外图像和可见光图像。在一个优选实施例中，该双光谱图像获取模块201可以采用双光谱相机实现，该双光谱相机包括共孔径的可见光相机和日盲紫外相机。

在本发明的一个优选实施例中，该双光谱相机为安装有共孔径的可见光相机和日盲紫外相机的球机。为了增加探测距离，两个相机都可以采用5°×3.75°的小视场光学系统，当观测区域确定后，选取合适的安装位置，结合观测区域大小和相机视场，制定相应的扫描方案。

全景图像获取模块202用于通过全景相机获取全景相机图像。该全景相机采集的是360°的可见光全景图像。

在本发明的一个优选实施例中，全景图像获取模块202通过3个180°全景相机实现，通过拼接的方式获取360°的全景相机图像，其中，每个全景相机的中间120°图像用于拼接全景相机图像，左右两侧各30°图像用于相邻相机之间的图像匹配。

紫外目标检测模块203用于提取出紫外图像中的火灾目标，对提取的火灾目标进行几何特征分析，确定火灾目标的中心位置。

由于获取的紫外图像中火灾目标为亮目标，背景为暗背景，因此紫外目标检测模块203采用二值化方法对紫外图像进行处理，同时采用中值滤波对二值化后的噪声进行处理，从而提取出紫外图像中的火灾目标，对提取的目标进行几何特征分析，确定目标的中心位置。该步骤中可以采用本领域基础技术人员对可见光的目标识别方法，计算目标的几何中心。

可见目标提取模块204用于通过可见光相机和日盲紫外相机的参数，计算出火灾目标的中心位置在可见光图像中的对应位置，并以该位置为中心确定感兴趣区域，在该感兴趣区域进行目标检测，获取火灾目标位置信息。

由于可见光图像和紫外图像是同孔径同光轴同视场获取的，因此可见目标提取模块204可以通过可见光相机和紫外相机的参数，计算出目标中心在可见光图像中的对应位置。为了进一步确定火灾，可以在可见光图像的火灾目标中心位置附近确定感兴趣区域，在该感兴趣区域进行局部目标检测，获取火灾目标位置信息。该火灾目标位置信息包括但不限于火灾目标的几何中心位置以及轮廓位置。

全景目标定位模块205，用于根据双光谱相机的观测角度读取对应角度下双光谱相机和全景相机的标定数据，根据火灾目标在可见光图像中的位置信息和读取的标定数据，计算出火灾目标在全景相机图像中的位置信息，并在全景相机图像中进行突出显示。

优选地，上述装置中，可见目标提取模块204在进行目标检测时还获取火灾目标的颜色、面积和几何中心的时变特征，全景目标定位模块205用于根据这些时变特征生成提醒信息在全景相机图像中进行突出进行提醒。其中火灾目标的颜色是通过计算目标rgb像素值来获得，火灾目标的面积和几何中心可以通过目标检测算法获取。通过对多帧可见光图像的分析，可以获得上述颜色、面积和几何中心的时变特征，即随时间的变化情况。通过上述时变特征可以反映火灾目标的中心位置和变化情况。

请参阅图3，为根据本发明优选实施例的智能火灾检测与定位系统的框图。该系统可由软件和/或硬件实现。如图3所示，在该实施例中，整个系统包括：

双光谱相机301，包括共孔径的可见光相机和日盲紫外相机，用于获取观测区域的紫外图像和可见光图像。

全景相机302，用于获取全景相机图像。

控制器303，与所述双光谱相机301和全景相机302相连，用于提取出紫外图像中的火灾目标，并确定火灾目标的中心位置；通过可见光相机和日盲紫外相机的参数，计算出火灾目标的中心位置在可见光图像中的对应位置，并以该位置为中心确定感兴趣区域，在该感兴趣区域进行目标检测，获取火灾目标位置信息；根据双光谱相机的观测角度读取对应角度下双光谱相机和全景相机的标定数据，根据火灾目标在可见光图像中的位置信息和读取的标定数据，计算出火灾目标在全景相机图像中的位置信息，并在全景相机图像中进行突出显示。

显示屏304，与控制器303连接，用于显示全景相机图像以及突出显示的火灾目标。

请参阅图4，为根据本发明优选实施例的智能火灾检测与定位方法的界面示意图。如图4所示，其中在通过紫外图像和可见光图像确定火灾目标的中心位置后，可以通过根据双光谱相机的观测角度读取对应角度下全景相机图像的显示区域图像，并在该图像中突出标示出火灾目标的中心位置。同时还可以将前述感兴趣区域在该全景相机图像中用方框进行显示。

综上所述，本发明提出基于双光谱探测和全景定位的火灾检测方法，有效解决太阳等环境光照变化对火灾检测的影响。同时结合360°全景成像技术实现火灾检测结果的快速定位。

本方法在监视区域确定和设备安装后，首先对带有双光谱相机的球机和全景相机进行标定，双光谱相机为共孔径的可见光相机和日盲紫外相机。标定完成后，由装有双光谱相机的球机对被观测区域进行扫描，同时对扫描过程中获取的紫外图像和可见光图像进行处理，当检测到火灾目标后，将目标在可见光图像中的位置信息发送给全景目标定位模块，全景目标定位模块根据相应的标定数据，计算出火灾目标在全景相机图像中的对应位置，并将火灾目标信息在全景图像中进行突出显示，有利于观测者后续分析。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。