实现监控场景中遗留物品检测的方法及装置与流程

文档序号:18901595发布日期:2019-10-18 22:01阅读:926来源:国知局
实现监控场景中遗留物品检测的方法及装置与流程

本发明涉及视频监控技术领域,具体而言,涉及一种实现监控场景中遗留物品检测的方法及装置。



背景技术:

消防通道是指消防人员实施营救和被困人员疏散的通道,例如楼梯口和过道,在发生各种险情时起到不可低估的作用,因此需要保证消防通道时刻保持畅通。

消防通道通常设有监控摄像头,并调配有专利的安保人员对监控视频实时监控,以便于及时发现和清理消防通道中堆放的遗留物品。

而在一些消防通道自动监控的场景中,通常利用人工神经网络模型对消防通道对应的监控视频进行监测,在监测到消防通道中堆放有遗留物品时自动报警,并通知相关人员清理遗留物品,因此无需调配监控人员,节省了安保成本。

但是,在训练人工神经网络模型时,需要获取大量监控视频以及标定监控视频中出现的遗留物品作为训练数据,导致训练过程十分繁杂。并且考虑到实际的监控场景十分复杂,例如不同消防通道下的环境光照变化剧烈,所堆放遗留物品的种类繁多,难以训练出适合各种复杂场景的人工神经网络模型,导致通过人工神经网络模型对消防通道中遗留物品的检测容易出现漏检和误检等情况。

因此,亟待解决现有实现中无法对监控视频中出现的遗留物品进行准确检测的技术问题。



技术实现要素:

为了解决上述技术问题,本发明的实施例提供了一种实现监控场景中遗留物品检测的方法及装置、电子设备、计算机可读存储介质。

其中,本发明所采用的技术方案为:

一种实现监控场景中遗留物品检测的方法,包括:针对监控视频中的监控单帧图片逐像素点获取上一帧图片中同位像素点的背景模型,所述背景模型用于在空域上模拟所述上一帧图片中同位像素点的背景像素变化;根据获取的所述背景模型,计算所述监控单帧图片中的运动前景像素,所述监控单帧图片包括所述运动前景像素和静止背景像素;由所述运动前景像素在所述监控单帧图片中定位遗留物品候选区域;根据所述监控视频中的生物体历史轨迹过滤所述遗留物品候选区域,获得遗留物品所停留的区域。

一种实现监控场景中遗留物品检测的装置,包括:背景模型获取模块,用于对监控视频中的监控单帧图片逐像素点获取上一帧图片中同位像素点在空域上的背景模型,所述背景模型用于模拟所述上一帧图片中同位像素点的背景像素变化;运动前景计算模块,用于相对所述背景模型计算所述监控单帧图片中的运动前景像素,所述监控单帧图片包括所述运动前景像素和静止背景像素;候选区域定位模块,用于由所述运动前景像素在所述监控单帧图片中定位遗留物品候选区域;候选区域过滤模块,用于根据所述监控视频中的生物体历史轨迹过滤所述遗留物品候选区域,获得遗留物品所停留的区域。

一种电子设备,包括处理器及存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现如上所述实现监控场景中遗留物品检测的方法。

一种计算机可读存储介质,其上存储有计算机可读指令,当所述计算机可读指令被计算机的处理器执行时,使计算机执行如上所述实现监控场景中遗留物品检测的方法。

在上述技术方案中,考虑到遗留物品是经由人类或者其它生物体携带至监控场景中的,遗留物品在监控视频中表现为是运动的图像区域,因此通过对监控视频中的监控单帧图片逐像素点获取上一帧图片中同位像素点的背景模型,然后相对背景模型计算监控单帧图片中的运动前景像素,能够得到监控单帧图片中可能表示遗留物品的像素点,由此定位得到遗留物品候选区域。

仍基于遗留物品是经由生物体携带至监控场景,遗留物品出现的区域周边一定会出现生物体历史轨迹,因此根据监控视频中的生物体历史轨迹对遗留物品候选区域进行过滤,所得到的遗留物品候选区域为准确的遗留物品停留区域。

与现有技术相比,上述技术方案对监控视频中的遗留物品检测与遗留物品的种类无关,根据监控视频中的生物体历史轨迹对遗留物品候选区域进行过滤,也能够过滤掉由于环境光照变化而被误检的遗留物品候选区域,从而实现对遗留物品的准确检测。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。

图1是本发明所涉及的实施环境的示意图;

图2是根据一示例性实施例示出的一种计算机设备的框图;

图3是根据一示例性实施例示出的一种实现监控场景中遗留物品检测的方法的流程图;

图4是根据另一示例性实施例示出的一种实现监控场景中遗留物品检测的方法的流程图;

图5是对图3对应实施例中步骤210在一个实施例的流程图;

图6是对图3对应实施例中步骤230在一个实施例的流程图;

图7是对图3对应实施例中步骤230在另一个实施例的流程图;

图8是对图3对应实施例中步骤230在另一个实施例的流程图;

图9是根据另一示例性实施例示出的一种实现监控场景中遗留物品检测的方法的流程图;

图10是根据另一示例性实施例示出的一种实现监控场景中遗留物品检测的方法的流程图;

图11是根据另一示例性实施例示出的一种实现监控场景中遗留物品检测的方法的流程图;

图12是一应用场景中一种实现监控场景中遗留物品检测的方法的具体实现示意图;

图13是根据一示例性实施例示出的一种实现监控场景中遗留物品检测的装置的框图。

具体实施方式

这里将详细地对示例性实施例执行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1为一种实现监控场景中遗留物品检测的方法所涉及的实施环境的示意图。该实施环境包括计算机设备100和监控摄像头200。

其中,监控摄像头200安装于消防通道或者其他任意需要进行遗留物品监控的地点,以进行实时监控并获得监控视频。通常情况下,监控地点安装有多个监控摄像头200(图1中示出4个),以进行全方面的监控。

监控摄像头200预先与计算机设备100之间建立有通信连接,以将获取的监控视频传输至计算机设备100中进行遗留物品的检测。

在一个实施例中,计算机设备100检测到监控视频中出现遗留物品时,会对遗留物品出现的区域相应标记,并对标记的遗留物品区域进行显示,便于相关人员准确定位遗留物品位于监控地点中的位置,从而对遗留物品及时进行清理。

在另外的实施例中,计算机设备100检测到监控视频中出现遗留物品时还进行报警,以通知相关人员及时清理遗留物品。

图2是根据一示例性实施例示出的一种计算机设备的框图。

需要说明的是,该计算机设备只是一个适配于本发明的示例,不能认为是提供了对本发明的使用范围的任何限制。该计算机设备也不能解释为需要依赖于或者必须具有图2中示出的示例性的计算机设备100中的一个或者多个组件。

如图2所示,计算机设备100包括处理组件101、存储器102、电源组件103、多媒体组件104、音频组件105、传感器组件107和通信组件108。其中,上述组件并不全是必须的,计算机设备100可以根据自身功能需求增加其他组件或减少某些组件,本实施例不作限定。

处理组件101通常控制计算机设备100的整体操作,诸如与显示、数据通信以及日志数据处理相关联的操作等。处理组件101可以包括一个或多个处理器109来执行指令,以完成上述操作的全部或部分步骤。此外,处理组件101可以包括一个或多个模块,便于处理组件101和其他组件之间的交互。例如,处理组件101可以包括多媒体模块,以方便多媒体组件104和处理组件101之间的交互。

存储器102被配置为存储各种类型的数据以支持在计算机设备100的操作,这些数据的示例包括用于在计算机设备100上操作的任何应用程序或方法的指令。存储器102中存储有一个或多个模块,该一个或多个模块被配置成由该一个或多个处理器109执行,以完成下述实施例中所描述的实现监控场景中遗留物品检测的方法中的全部或者部分步骤。

电源组件103为计算机设备100的各种组件提供电力。电源组件103可以包括电源管理系统,一个或多个电源,及其他与为计算机设备100生成、管理和分配电力相关联的组件。

多媒体组件104包括在所述计算机设备100和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括tp(touchpanel,触摸面板)和lcd(liquidcrystaldisplay,液晶显示器)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。

音频组件105被配置为输出和/或输入音频信号。例如,音频组件105包括一个麦克风,当计算机设备100处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中,音频组件105还包括一个扬声器,用于输出音频信号。

传感器组件107包括一个或多个传感器,用于为计算机设备10提供各个方面的状态评估。例如,传感器组件107可以检测到计算机设备100的打开/关闭状态,还可以检测计算机设备100的温度变化。

通信组件108被配置为便于计算机设备100和其他设备之间有线或无线方式的通信。计算机设备100可以接入基于通信标准的无线网络,例如wifi(wireless-fidelity,无线网络)。在一个示例性实施例中,通信组件108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。

可以理解,图2所示的结构仅为示意,计算机设备100该可以包括比图2中所示更多或更少的组件,或者具有与图2所示不同的组件。图2中所示的各组件均可以采用硬件、软件或者其组合来实现。

请参阅图3,在一个示例性的实施例中,一种实现监控场景中遗留物品检测的方法适用于图1所示实施环境中的计算机设备,该计算机设备的结构可以如图2所示。

该种实现监控场景中遗留物品检测的方法可以由计算机设备执行,可以包括以下步骤:

步骤210,针对监控视频中的监控单帧图片逐像素点获取上一帧图片中同位像素点的背景模型。

如前所述,对于消防通道或者其它一些不允许堆放遗留物品的地点,通常需要进行实时监控,以避免由于遗留物品违规堆放而导致出现危害人类安全等严重问题。

在现有实现中,通常采用训练好的人工神经网络模型对监控视频中出现的遗留物品进行自动检测,以节省人力成本,但由于实际监控场景十分复杂、遗留物品种类繁多、以及环境光照变化频繁等因素,难以训练得到适应于不同监控场景的人工神经网络模型,从而导致无法对遗留物品进行准确检测。

本实施例基于遗留物品是由人类或者其他生物体带入监控地点这一性质,能够得出遗留物品在监控视频中表现为是运动的图像区域,因此,通过对监控视频进行运动前景的检测,即能够将检测到的运动前景获取为监控视频中出现的遗留物品,从而无需训练人工神经网络模型,使得对遗留物品的检测更加方便。

在本实施例中,对监控视频进行的遗留物品(即运动前景)检测,是针对监控视频中的监控单帧图片进行的,如果监控单帧图片中检测到遗留物品对应的图片区域,则表示监控视频中出现遗留物品。

对监控单帧图片执行的遗留物品检测是逐像素点进行的,且依赖于上一帧图片中同位像素点在空域上的背景模型。应当理解,该空域是指像素点对应的空间域,也即像素域,在空域上可以执行像素级的图像叠加等处理。该同位像素点是指不同监控单帧图片中位置相同的像素点,例如,不同监控单帧图片中位于第n行第m列的像素点互为同位像素点,并且同位像素点对应于同一空域。

对于上一帧图片中同位像素点在空域上的背景模型,则是通过对监控视频的首帧图片中同位像素点的邻域像素进行采样,获得首帧图片中同位像素点在空域上的背景模型后,在对后续帧图片执行的遗留物品检测中,若检测到同位像素点为静止背景对应的像素点,则根据该同位像素点对上一帧图片中的同位像素点以及相邻像素点在空域上的背景模型进行更新所得到的。

也即是说,除首帧图片中同位像素点在空域上的背景模型之外,同位像素点对应于其它帧图片的背景模型均是以上一帧图片对应的背景模型为基础进行更新得到的,因此,对于本实施例所获取上一帧图片中同位像素点的背景模型,应当含有历史帧图片中的一些同位像素点以及同位像素点的相邻像素点,并由这些像素点构成上一帧图片中同位像素点的背景像素点。

由此,相对于首帧图片中同位像素点在空域上的背景模型,本实施例所获取上一帧图片中同位像素点的背景模型,能够在空域上模拟上一帧图片中同位像素点的背景像素变化。

步骤230,根据获得的背景模型,计算监控单帧图片中的运动前景像素。

其中,监控单帧图片中的运动前景像素是指,监控单帧图片中表现为是运动前景的像素点,即表现为是遗留物品的像素点。

监控单帧图片还相应包括有静止背景像素,该静止背景像素是指监控单帧图片中表现为是静止背景的像素点,例如消防通道的墙面、地板等在监控视频中表现为静止或者移动缓慢的图像区域。

如前所述,对步骤210所获取上一帧图片中同位像素点的背景模型,应当含有历史帧图片中的一些同位像素点的像素值以及相邻像素点的像素值作为背景像素点,因此,对于当前进行遗留物品检测的监控单帧图片中的像素点,如果其与上一帧图片中同位像素点的背景模型所包含背景像素点的分布特性相同,表示该像素点与历史帧图片中同位像素点所表示的图像内容相同或者相似,因此判定该像素点为静止背景像素。

如果监控单帧图片中的像素点与对应背景模型所包含背景像素点的分布特性不同,则表示该像素点与历史帧图片中同位像素点所表示的图像内容发生变化,该像素点即表现为是遗留物品。

由此,相对上一帧图像中同位像素点在空域上的背景模型,通过逐像素点计算监控单帧图片中像素点与对应背景模型所包含背景像素点的分布特性之间的相似度,将相似度达到一定阈值的像素点判定为监控单帧图片中的运动前景像素,而将相似程度小于一定阈值的像素点判定为监控单帧图片中的静止背景像素。

步骤250,由运动前景像素在监控单帧图片中定位遗留物品候选区域。

如前所述,运动前景像素是监控单帧图片中表现为是遗留物品的像素点,监控单帧图片中由若干运动前景像素联通的像素区域则相应表现为是遗留物品对应的图片区域。

由此,根据运动前景像素之间的联通关系,能够定位得到监控单帧图片中的遗留物品候选区域。

在一个示例性实施例中,考虑到影响消防通道的畅通性的遗留物品应当具有一定大小,通过判断监控单帧图片中相联通的运动前景像素的面积是否达到设定面积阈值,将达到面积阈值的联通区域定位为遗留物品候选区域,由此提升遗留物品候选区域的定位准确性。

由于监控单帧图片中的各像素点的大小均相同,也可以通过判断监控单帧图片中相联通的运动前景像素数量是否大于设定阈值,定位运动前景像素数量大于设定阈值的联通区域为遗留物品候选区域。

可以得出,与现有技术相比,本实施例通过对监控单帧图片逐像素点计算运动前景像素,即能够根据所得运动前景像素定位监控单帧图片中的遗留物品候选区域,不需要进行复杂的人工神经网络模型训练,也不会受到遗留物品种类繁多的影响。

步骤270,根据监控视频中的生物体历史轨迹过滤遗留物品候选区域,获得遗留物品所停留的区域。

其中,监控视频中的生物体历史轨迹是指,监控视频中有生物体出现且连续进行移动的运动轨迹。

考虑到构成遗留物品候选区域的运动前景像素点是经由前述运动前景检测得到的,这些运动前景像素也可能表现为是监控视频中运动的生物体或者其它运动的物体,还可能是由于环境光照的影响将静止背景像素误判为是运动前景像素,因此,根据步骤250所定位得到的遗留物品候选区域仍存在误检的可能性。

仍基于遗留物品是经由生物体携带至监控场景这一性质,遗留物品出现的区域周边应当存在生物体历史轨迹,由此建立生物体与遗留物品的强关联,根据监控视频中的生物体历史轨迹对步骤250所定位的遗留物品候选区域进行过滤,能够在很大程度上将上述误检的遗留物品候选区域去除,最终得到的遗留物品候选区域即为准确的遗留物品停留区域。

由此,与现有技术相比,本实施例所提供方法对监控视频中的遗留物品检测与遗留物品的种类无关,并且根据监控视频中的生物体历史轨迹也能够过滤掉由于环境光照变化而被误检的遗留物品候选区域,能够消除遗留物品种类和环境光照变化对遗留物品检测准确性的影响,实现对遗留物品的准确检测。

请参阅图4,在一个示例性的实施例中,在步骤210之前,实现监控场景中遗留物品检测的方法还包括以下步骤:

步骤310,通过对监控单帧图片逐像素点消除环境光照影响,获得所在rgb色彩空间上的像素值更新。

其中,由于不同的环境光照会导致监控摄像头所采集的图像颜色与真实颜色存在一定偏差,容易导致对监控单帧图片中运动前景像素以及静止背景像素的误检,在一定程度上也会影响遗留物品检测的准确性。

为了进一步消除环境光照对监控单帧图片中遗留物品检测的影响,在进行遗留物品检测之前,可以预先对监控视频中的每一监控单帧图片逐像素点消除环境光照影响,以还原监控单帧图片的原始场景。基于监控单帧图片的原始场景,能够提升对监控单帧图片中各像素点的识别准确性。

对监控单帧图片逐像素点消除环境光照影响的过程,实质上是对监控单帧图片中各像素点在rgb色彩空间上的像素值进行更新的过程,所更新的像素值即为对应像素点去除环境光照影响的原始像素值。应当理解,在现有实现中,监控摄像头所进行的图像采集都是基于rgb色彩空间所实现的,因此监控视频中的监控单帧图片也应当对应于rgb色彩空间。

在一个示例性实施例中,可以采用灰度世界算法实现对监控单帧图片逐像素点消除环境光照影响。灰度世界算法假设自然界景物对于环境光照的平均反射的均值在总体上是定值,该定值近似地为“灰色”,将该假设强制应用于监控单帧图片,则可以从监控单帧图片中消除环境光的影响,还原监控单帧图片的原始场景。

采用灰度世界算法对监控单帧图片逐像素点消除环境光照影响的过程如下:

首先确定环境光照的平均反射均值示例性的,可以计算监控单帧图片在r、g、b三个通道的平均通道值,并取这三个平均通道值的平均值为环境光照的平均反射均值,即有也可以直接获取监控单帧图片所能够显示的最大灰度值的一半为环境光照的平均反射均值,本处不进行限制。

然后计算监控单帧图片中各个像素点分别在r、g、b三个通道的增益系数,这些增益系数为环境光照的平均反射均值与当前像素点的各通道值之间的比值。其中,增益系数对应表示为

最后计算监控单帧图片中各个像素点的各通道值与对应通道的增益系数的乘积,从而得到对各个像素点去除环境光照影响的各个原始通道值。对监控单帧图片中的每一像素点,通过将各个原始通道值对当前通道值进行更新,即可得到去除环境光照影响的原始像素值。

在另一示例性实施例中,为加快对监控单帧图片消除环境光照影响的速度,以及节省计算资源,在对监控单帧图片逐像素点消除环境光照影响之前,还对监控单帧图片执行降采样处理,降低监控单帧图片的分辨率。示例性的,可以将监控单帧图片的分辨率降低至400×320。

步骤330,根据所更新所得像素值,将监控单帧图片由rgb色彩空间转换至hsv色彩空间。

其中,hsv色彩空间是将rgb色彩空间中的点在倒圆锥体中的表示方法,包含色相(hue)、饱和度(saturation)和明度(value)三个通道,其对于颜色的表达更类似于人类的颜色感觉,相较于rgb色彩空间,hsv色彩空间更加直观。

由此,在对监控单帧图片消除环境光照影响后,还将监控单帧图片由rgb色彩空间转换至hsv色彩空间,并将转换得到的监控单帧图片用于执行遗留物品的检测,以模拟人类的真实视觉对遗留物品进行检测,进一步提升了对监控单帧图片中遗留物品检测的准确度。

在一个示例性实施例中,将监控单帧图片由rgb色彩空间转换至hsv色彩空间的过程如下:

对监控单帧图片中的每一像素点,先计算rgb色彩空间的色彩分量与监控单帧图片所能够显示的最大灰度值之间的比值,即分别计算r'=r/255、g'=g/255、b'=b/255,并获取最大比值cmax=max(r',g',b')、最小比值cmin=min(r',g',b')、以及最大比值与最小比值之间的差值δ=cmax-cmin。

当差值δ为零时,像素点在hsv色彩空间中的色相分量为0°;当cmax=r'时,像素点的色相分量为当cmax=g'时,像素点的色相分量为当cmax=b'时,像素点的色相分量为

当cmax=0时,像素点在hsv色彩空间中的饱和度分量为零;当cmax≠0时,像素点的饱和度分量为

像素点在hsv色彩空间中的明度分量为cmax。

由此,根据所获得像素点在hsv色彩空间中色相分量、饱和度分量和明度分量,对像素点所在rgb色彩空间的r、g、b通道值进行替换,即可实现该像素点由rgb色彩空间至hsv色彩空间的转换。

请参阅图5,在一个示例性的实施例中,在当前执行遗留物品检测的监控单帧图片为监控视频中的首帧图片时,在步骤210之前,上述方法还包括以下步骤:

步骤211,对监控单帧图片中各像素点,通过对像素点的邻域像素进行随机采样,获得该像素点在空域上的背景像素点集合;

步骤213,获取该像素点在空域上的背景像素点集合形成背景模型。

其中,监控单帧图片中像素点的邻域是指,位于当前像素点周围的一定区域,例如,对监控单帧图片中的某一像素点,其邻域可以是该像素点的四周,也可以是该像素点的上方区域,本处不进行限制。

监控单帧图片中像素点的邻域像素则是指,位于当前像素点所在邻域范围内的像素点。

假设监控单帧图片中每一像素点和其邻域像素的像素值在空域上有相似的分布,基于这种假设,每一像素点都可以根据其邻域中的像素点来表示为对应的背景模型。但需要说明的是,为了保证背景模型符合统计学规律,监控单帧图片中像素点的邻域的范围应当足够大,以保证能够采样得到一定规模的邻域像素,也即采样得到一定规模的背景像素点。

通过对首帧图片中各像素点的邻域像素进行若干次随机采样,以相应获得各像素点在空域上的背景像素点集合,并由采样所得背景像素点集合形成各像素点在空域上的背景模型。

在一示例性的实施例中,通过对首帧图片中的像素点p(x)的邻域像素随机采样8次,依次获得背景像素点p(1)至p(8),则由背景像素点p(1)至p(8)构成像素点p(x)在空域上的背景模型。

由此,在获得首帧图片中各像素点在空域上的背景模型后,即可进行第二帧图片逐像素点执行遗留物品的识别。示例性的,对第二帧图片中的某一像素点,相对首帧图片中同位像素点子啊空域上的背景模型执行运动前景像素的计算,若获得该像素点为静止背景像素,则将该静止背景像素作为新的背景像素点对首帧图片中同位像素点的背景模型进行更新,即可得到第二帧图片所对应的背景模型。如此重复,对执行遗留物品检测的监控单帧图片,都根据上一帧图片中同位像素点对应的背景模型执行遗留物品检测。

由此可以得出,本实施例只需对监控视频中的首帧图片执行背景模型的初始化处理,即执行邻域像素的随机采样过程,无需花费大量时间为每一监控单帧图片中的各像素点生成对应的背景模型,能够实现对监控视频进行遗留物品检测的实时性。

请参阅图6,在一个示例性的实施例中,步骤230可以包括以下步骤:

步骤231,对应于监控单帧图片所在色彩空间,通过计算监控单帧图片中像素点与背景模型中各背景像素点的距离,获取背景模型中像素值与该像素点相近似的背景像素点。

其中,对于背景模型中的背景像素点,其像素值与监控单帧图片中的像素点相近似是指,背景像素点与监控单帧图片中的像素点所表示图片内容相近似,二者像素值也应当相近似,二者在色彩空间上的距离也应当小于一定阈值。

因此,在计算得到背景模型中每一背景像素点分别与监控单帧图片中的像素点之间的距离后,获取距离小于设定距离阈值的背景像素点为背景模型中相近似的背景像素点。

在一个示例性实施例中,在hsv色彩空间中,由于色相通道对环境光照不敏感,通过计算背景像素点与监控单帧图片中像素点在色相通道上的距离来获取相似性,可以进一步消除环境光照的影响,以进一步提升监控单帧图片中遗留物品检测的准确度。

而在另外的实施例中,还可以计算背景像素点与监控单帧图片中的像素点在hsv色彩空间中的空间距离,本处并不对此进行限制。

步骤233,在相近似的背景像素点数量小于数量阈值时,获取监控单帧图片中的像素点为运动前景像素。

如前所述,如果监控单帧图片中的当前像素点与对应背景模型所包含背景像素点的分布特性不同,则表示当前像素点与历史帧图片中同位像素点所表示的图像内容发生变化,该像素点即表现为是遗留物品。

当背景模型中与监控单帧图片中对应像素点相近似的背景像素点数量小于数量阈值时,即表示背景模型所包含背景像素点的分布特性与监控单帧图片中的对应像素点不相同,由此得到监控单帧图片中的像素点为运动前景像素。

本实施例通过计算监控单帧图片中像素点与对应背景模型中各背景像素点的距离,来准确获取监控单帧图片中像素点与背景模型中各背景像素点的分布特性之间的关系,由此能够对准确检测得到监控单帧图片中的运动前景像素。

请参阅图7,在一个示例性的实施例中,步骤230还包括以下步骤:

步骤232,在相近似的背景像素点数量达到数量阈值,或者检测到监控单帧图片中的像素点属于特殊区域时,获取该像素点为静止背景像素。

其中,在背景模型中相近似的背景像素点数量达到数量阈值时,表示表示背景模型所包含背景像素点的分布特性与监控单帧图片中的对应像素点相同,由此得到监控单帧图片中的像素点为静止背景像素。

并且,当监控单帧图片中的像素点经由检测为属于高光区域、阴影区域等由于环境光照影响导致出现的特殊区域时,也获取这些像素点为静止背景像素。需要说明的是,对监控单帧图片中的像素点进行高光或者阴影区域的检测,是根据高光判别算法、阴影判别算法等相应算法实现的,在此不进行详细描述。

步骤234,将静止背景像素作为新的背景像素点对背景模型中的背景像素点随机更新,获得更新的背景模型。

其中,检测得到监控单帧图片中的静止背景像素后,需要将该静止背景像素作为新的背景像素点更新至背景模型中。

对背景像素点的随机更新是指,将静止背景像素的像素值随机替换为背景模型中的一个背景像素点。

通过对静止背景像素所对应背景模型进行更新,使得背景模型能够含有历史帧图片中同位像素点,使得背景模型能否准确模拟背景像素变化,从而有利于进行后续帧图片中遗留物品的识别。

步骤236,按照设定概率,对静止背景像素的邻域像素所对应背景模型进行随机更新。

其中,设定概率是指当一个像素点被检测为是静止背景时,它有1/rate的概率更新邻域像素所对应的背景模型,其中rate表示时间采样因子,一般取值为16。

对静止背景像素的邻域像素所对应背景模型进行随机更新是指,按照设定概率,先从静止背景像素的邻域中随机选取一个相邻的像素点,然后仍将该静止背景像素的像素值作为新的背景像素点,随机选取相邻像素点所对应背景模型中的一个背景像素点进行替换。

在本实施例中,不仅对静止背景像素对应的背景模型进行随机更新,还对其邻域像素对应的背景模型随机更新,充分利用了像素值的空间传播特性,使得背景模型逐渐向邻域像素扩散,有利于进行鬼影区域的识别。

请参阅图8,在一个示例性的实施例中,在步骤233之后还可以包括以下步骤:

步骤410,根据运动前景像素是否归属于鬼影区域,识别运动前景像素的误判,且修正误判的运动前景像素为静止背景像素。

其中,步骤233检测得到的运动前景像素中,可能存在属于环境光照影响造成的鬼影区域,而被误检为是运动前景像素,这也会影响遗留物品检测的准确性。由此,需要进一步消除监控单帧图片中的鬼影区域。

对于同位像素点连续多帧被认为是运动前景像素的运动前景像素,根据所在hsv色彩空间的信息以及设定通道阈值,即可进行是否属于鬼影区域的判别。

如前所述,由于色相通道对环境光照不敏感,可以预先设定鬼影在色相通道上的通道值分布区间,如果运动前景像素的色相通道值位于设定的色相通道值分布区间内,则表示该运动前景像素属于鬼影区域,则将其修正为静止背景像素。

步骤430,为修正得到的静止背景像素执行对应背景模型的更新。

如前所述,对每一个静止背景像素都应当执行所对应背景模型的随机更新,具体更新过程本处不再赘述。

由此,本实施例能够进一步消除环境光照引起的鬼影区域,最大可能地消除环境光照对遗留物品检测的影响,使得本实施例对环境光照变化具有鲁棒性,进一步提升了对遗留物品检测的准确度。

请参阅图9,在一个示例性的实施例中,实现监控场景中遗留物品检测的方法还包括以下步骤:

步骤510,通过对监控视频中的监控单帧图片进行生物体检测,获得监控单帧图片中对应于生物体的图片区域。

如前所述,由于遗留物品一定是经由生物体携带至监控场景的,遗留物品出现的区域周边一定存在生物体历史轨迹,根据监控视频中的生物体历史轨迹对步骤250所定位的遗留物品候选区域进行过滤,能够的得到准确的遗留物品停留区域。

由此,在开始对监控视频中的监控单帧图片执行遗留物品的检测时,需要对监控单帧图片同步进行生物体检测和维护,以在对监控单帧图片执行遗留物品检测的过程中,基于所同步维护的生物体历史轨迹,对监控单帧图片中的遗留物品候选区域进行过滤。

示例性的,对监控单帧图片进行生物体检测,也是通过预先训练且用于执行生物体检测的人工神经网络模型所实现的,例如yolov3模型、fastercnn模型等,能够相应获得监控单帧图片中对应于生物体的图片区域。

步骤530,对连续检测到的图片区域进行维护,获得监控视频中的生物体历史轨迹。

其中,连续检测到的图片区域是指,在对连续的若干监控单帧图片所执行的生物体检测中,每一帧图片均检测到生物体对应的图片区域,因此将这些图片区域进行维护,即可得到生物体历史轨迹。

在一个示例性的实施例中,当首次检测到监控单帧图片存在生物体对应的图片区域时,开始进行图片区域的累计,且由连续检测出的图片区域累计得到生物体历史轨迹。

当未检测到监控单帧图片中的生物体时,则开始进行计数,当计数达到一定阈值时,表示在一定时间内均未检测到生物体,此时清空所维护的生物体历史轨迹,待重新检测到生物体时,重新执行生物体所对应图片区域的累计。

由此,在步骤270所执行的遗留物品候选区域的过滤中,对进行遗留物品检测的当前帧图片,能够根据所维护的生物体历史轨迹,获取当前帧图片中生物体对应的图片区域,从而将包含于该图片区域内或者与该图片区域相邻的遗留物品候选区域获取为遗留物品所停留的区域,能够获得准确的遗留物品停留区域。

而对于监控单帧图片中未过滤的遗留物品候选区域,即遗留物品候选区域未含于生物体对应的图片区域内且不相邻,则表示这些遗留物品候选区域为非遗留物品对应的图片区域,因此将这些遗留物品候选区域所包含的全部运动前景像素修正为静止背景像素,且对这些修正的静止背景像素执行对应背景模型的更新。

请参阅图10,在一个示例性的实施例中,实现监控场景中遗留物品检测的方法还包括以下步骤:

步骤610,在对监控单帧图片执行的遗留物品检测中,如果首次检测到监控单帧图片中含有遗留物品所停留的区域,开始进行计数;

步骤630,当计数的数值超过报警阈值时执行报警。

其中,针对检测到遗留物品所停留的区域执行自动报警的应用场景,在首次检测到监控单帧图片中含有遗留物品所停留的区域时,开始进行计数,当计数的数值超过报警阈值时,表示遗留物品在监控场景中已经停留一段时间,因此执行自动报警。

相较于遗留物品在监控场景中出现后立即执行报警的方式,本实施例能够避免遗留物品在监控场景中短暂停留而引发不必要的报警。

请参阅图11,在另一个示例性的实施例中,仍考虑到遗留物品在监控场景中短暂停留会引发不必要报警的情况,在步骤630之前,该方法还包括以下步骤:

步骤710,在检测到监控单帧图片中不含有遗留物品所停留的区域时,停止计数;

步骤730,如果计数停止的时间达到设定帧数,则对计数清零。

其中,检测到监控单帧图片中不含有遗留物品所停留的区域时,表示遗留物品已经移出监控场景,通过停止计数,避免数值继续增加而触发误报警。

当计数停止的时间达到设定帧数时,表示遗留物品确定移出监控场景,不再执行自动报警,因此对当前的计数清零,待重新检测到监控单帧图片中含有遗留物品所停留的区域时,从零开始重新计数,以符合实际的监控场景。

而在另外的实施例中,考虑到实际监控场景下,生物体在监控场景内的长时间逗留会造成误报警,以及遗留物品在监控场景中短暂停留后会被生物体带走等情况,如果遗留物品所停留的区域周边存在生物体对应的图片区域,即使计数器的数值超过报警阈值,也不会执行报警。

图12是一应用场景中一种实现监控场景中遗留物品检测的方法的具体实现示意图。该应用场景具体应用于消防通道中的遗留物品检测。

如图12所示,对于监控视频中执行遗留物品检测的当前帧图片,一方面通过执行分辨率调整、灰度世界算法消除光照影响、以及由rgb色彩空间转换至hsv色彩空间后,对所得到的当前帧图片逐像素点执行静止背景像素或者运动前景像素的判断,并将面积超过阈值的运动前景像素联通区域获取为遗留物品候选区域。

另一方面,需要对当前帧图片进行生物体检测,并且在检测到图片中含有生物体对应的图片区域时,基于历史图片中检测得到的生物体所对应图片区域进行生物体历史轨迹的维护;如果未检测到图片中含有生物体对应的图片区域,则通过计数器执行计数,在计数超过阈值时清空所维护的生物体历史轨迹。

通过以上两个方面获取得到当前帧图片中的遗留物品候选区域,以及所维护的生物体历史轨迹之后,根据所维护的生物体历史轨迹对遗留物品候选区域进行过滤,得到遗留物品停留的区域,并且通过另一计数器对检测到含有遗留物品停留区域的图片进行计数,当计数超过阈值时执行自动报警。

由此,在检测到消防通道中出现遗留物品时,会触发自动报警,以通知相关人员及时对遗留物品进行清理,从而有效保证了消防通道的畅通,避免发生各种险情时由于消防通道堵塞引发严重事故。

下述为本发明装置实施例,可以用于执行本发明所涉及的实现监控场景中遗留物品检测的方法。对于本发明装置实施例中未披露的细节,请参照本发明所涉及的实现监控场景中遗留物品检测的方法的实施例。

请参阅图13,在一个示例性的实施例中,一种实现监控场景中遗留物品检测的装置包括背景模型获取模块810、运动前景计算模块830、候选区域定位模块850和候选区域过滤模块870。

背景模型获取模块810用于针对监控视频中的监控单帧图片逐像素点获取上一帧图片中同位像素点的背景模型,该背景模型用于在空域上模拟上一帧图片中同位像素点的背景像素变化。

运动前景计算模块830用于相对背景模型计算监控单帧图片中的运动前景像素,该监控单帧图片包括运动前景像素和静止背景像素。

候选区域定位模块850用于由运动前景像素在监控单帧图片中定位遗留物品候选区域。

候选区域过滤模块870用于根据监控视频中的生物体历史轨迹过滤遗留物品候选区域,获得遗留物品所停留的区域。

在一个示例性的实施例中,上述实现监控场景中遗留物品检测的装置还包括环境光照消除模块和色彩空间转换模块。

环境光照消除模块用于通过对监控单帧图片逐像素点消除环境光照影响,获得所在rgb色彩空间上的像素值更新。

色彩空间转换模块用于根据更新所得像素值,将监控单帧图片由rgb色彩空间转换至hsv色彩空间。

在一个示例性的实施例中,在监控单帧图片为监控视频中的首帧图片的情况下,上述实现监控场景中遗留物品检测的装置还包括邻域像素采样模块和背景像素获取模块。

邻域像素采样模块用于对监控单帧图片中各像素点,通过对像素点的邻域像素进行若干次随机采样,获得像素点在空域上的背景像素点集合。

背景像素获取模块用于获取像素点在空域上的背景像素点集合形成背景模型。

在一个示例性的实施例中,运动前景计算模块830包括空间距离计算单元和运动前景像素获取单元。

空间距离计算单元用于对应于监控单帧图片所在色彩空间,通过计算监控单帧图片中像素点与背景模型中各背景像素点的距离,获取背景模型中像素值与监控单帧图片中像素点相近似的背景像素点。

运动前景像素获取单元用于在相近似的背景像素点数量小于数量阈值时,获取该像素点为运动前景像素。

在一个示例性的实施例中,运动前景计算模块830还包括静止背景像素获取单元、背景模型更新单元和邻域像素更新单元。

静止背景像素获取单元用于在相近似的背景像素点数量达到数量阈值或者检测到像素点属于特殊区域时,获取该像素点为静止背景像素,该特殊区域包括高光区域和阴影区域。

背景模型更新单元用于将静止背景像素作为新的背景像素点对背景模型中的背景像素点随机更新,获得更新的背景模型。

邻域像素更新单元用于按照设定概率,对静止背景像素的邻域像素所对应背景模型进行随机更新。

在一个示例性的实施例中,运动前景计算模块830还包括鬼影误判识别单元和修正更新单元。

鬼影误判识别单元用于根据运动前景像素是否归属于鬼影区域识别运动前景像素的误判,且修正误判的运动前景像素为静止背景像素。

修正更新单元用于为修正得到的静止背景像素执行对应背景模型的更新。

在一个示例性的实施例中,上述实现监控场景中遗留物品检测的装置还包括生物体检测模块和历史轨迹维护模块。

生物体检测模块用于通过对监控视频中的监控单帧图片进行生物体检测,获得监控单帧图片中对应于生物体的图片区域。

历史轨迹维护模块用于对连续检测到的图片区域进行维护,获得监控视频中的生物体历史轨迹。

在一个示例性的实施例中,候选区域过滤模块870包括图片区域获取单元和目标获取单元。

图片区域获取单元用于对进行遗留物品检测的监控单帧图片,根据所维护的生物体历史轨迹获取对应于生物体的图片区域。

目标获取单元用于将包含于图片区域内或者与图片区域相邻的遗留物品候选区域获取为遗留物品所停留的区域。

在一个示例性的实施例中,上述实现监控场景中遗留物品检测的装置还包括计数模块和报警模块。

计数模块用于在对监控单帧图片执行的遗留物品检测中,如果首次检测到监控单帧图片中含有遗留物品所停留的区域,开始进行计数。

报警模块用于当计数的数值超过报警阈值时执行报警。

在一个示例性的实施例中,该装置还包括计数停止控制模块和计数清零模块。

计数停止控制模块用于在检测到监控单帧图片中不含有遗留物品所停留的区域时,控制停止计数。

计数清零模块用于在计数停止的时间达到设定帧数时,对计数清零。

需要说明的是,上述实施例所提供的装置与上述实施例所提供的方法属于同一构思,其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述,此处不再赘述。

本发明还提供了一种电子设备,包括处理器和存储器,其中,存储器上存储有计算机可读指令,该计算机可读指令被处理器执行时实现如前所述实现监控场景中遗留物品检测的方法。

本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如前所述实现监控场景中遗留物品检测的方法。

上述内容,仅为本申请的较佳示例性实施例,并非用于限制本申请的实施方案,本领域普通技术人员根据本申请的主要构思和精神,可以十分方便地进行相应的变通或修改,故本申请的保护范围应以权利要求书所要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1