本公开涉及对象检测方法和系统，尤其是涉及用于视频热区监控的热区对象聚集检测方法和系统。
背景技术：
在诸如安保监控、交通监控之类的特定场所的热区(roi,regionofinterest)监控中，已经存在很多热区对象聚集检测方法。有些热区对象聚集检测方法通过训练专门的行人识别模型，来在整个视频流中进行热区对象聚集检测。这些方法通常全程利用深度学习算法实现热区对象聚集检测，很耗时间。例如，中国专利申请公开号为cn107301380a公开了一种用于视频监控场景中行人重识别的方法，该方法在一秒内才能得到不超过5帧的结果。
另外，例如，中国专利申请公开cn101587537a公开了一种基于智能视频识别技术的人群密度统计方法与系统，其根据图像上特定区域的空白区域面积，将图像上特定区域的空白面积与特定区域的面积进行比较来计算密度，然后根据计算出来的密度来对对象进行热区对象聚集检测。然而，此类方法的难点在于如何判断空白区域，而且对实施的要求很高，只有空白区域具有明显的特征和色彩才可能计算空白区域的面积。
此外，例如，中国专利申请公开cn103985126a公开了一种计算视频图像中人群密度图的方法，其采用harris算法获得图像中的角点，然后对角点进行密度扩散和累加获得每个像素点密度值来对对象进行热区对象聚集检测。然而，这种方法由于需要逐点计算像素的密度值，再累加得到密度，过程过于复杂，计算量非常大，在高清实时视频监控场景下对计算机硬件的要求很高。
因此，需要一种算法简洁、效率高、对硬件要求低、易于推广的热区对象聚集检测方法和系统。
技术实现要素：
为此，本公开的目的是提供一种利用前景分析法获得前景图，然后通过将前景图矩阵与热区图矩阵做一次二进制的按位与(bitwiseand)运算就可得到密度值，来进行热区对象聚集检测的方法和系统。
为了实现上述目的，根据本公开的一个方面，提供一种用于视频热区监控的热区对象聚集检测方法，包括以下步骤：a)利用背景去除算法剔除视频图像背景，获得视频前景图像；b)将前景图像与热区比较以计算热区侵入对象的密度；以及c)如果热区范围内侵入对象侵入密度高于预定义的阈值，则显示、保存热区图像和/或发出表示检测到对象的信号(触发告警)。
优选地，所述步骤a)包括：a1)利用背景去除法对所接收到的视频帧进行前景/背景分离，以输出前景图像；以及a2)对前景图像进行形态变换，以消除前景像素之间的间隙，实现区域融合，同时去除离散的噪音点。
优选地，所述该步骤b)包括：b1)生成热区背景图并计算热区面积；并且b2)计算热区侵入密度。
优选地，所述该步骤b1)包括：通过用0表示黑色(即非热区)，用1表示白色(即热区)，将视频热区图像转换为二进制背景图像矩阵，并将所述二进制背景图矩阵的各元素求和作为热区面积。
优选地，所述该步骤b2)包括：通过用0表示黑色(即无运动对象区域)，用1表示白色(即有运动物体区域)，将前景图转换成二进制前景图矩阵，将背景图矩阵和前景图矩阵按位与运算得到的新矩阵；将所述新矩阵的各元素之和作为热区内的前景图面积；计算前景图面积与热区面积的比率作为热区侵入密度。
优选地，所述该步骤c)包括：将监控到的热区范围内侵入对象的密度值显示在原始视频图像上；将热区范围内侵入对象的密度值高于预定义的阈值的视频帧存档；并且触发系统发出表示检测到对象的信号。
优选地，所述热区是指监控视频中的一个或多个可以相互重叠的指定区域，而如果没有指定区域，则所述热区就是整个监控画面区域。
根据本公开的另一方面，提供一种用于视频热区监控的热区对象聚集检测系统，包括：对象检测部分，用于利用背景去除算法剔除视频图像背景以获得视频前景图像，并且将前景图像与热区比较以计算热区侵入对象的密度；以及输出保存部分，用于当热区范围内侵入对象侵入密度高于预定义的阈值时，显示、保存热区图像和/或发出表示检测到对象的信号。
优选地，该对象检测部分包括：前景分离器，用以利用背景去除法对所接收到的视频帧进行前景/背景分离以输出前景图像；以及形态转换器，用于对前景图像进行形态变换，以消除前景像素之间的间隙，实现区域融合，同时去除离散的噪音点。
优选地，该对象检测部分还包括：热区背景图生成器，用于通过用0表示黑色，用1表示白色，将视频热区图像转换为二进制背景图像矩阵；以及热区面积计算器，用于将所述二进制背景图矩阵的各元素求和作为热区面积；以及侵入密度计算器，用于通过用0表示黑色，用1表示白色，将前景图转换成二进制前景图矩阵，将背景图矩阵和前景图矩阵按位与运算得到的新矩阵，将所述新矩阵的各元素之和作为热区内前景图面积，并计算前景图面积与热区面积的比率作为热区侵入密度。
优选地，该输出保存部分将监控到的热区范围内侵入对象的密度值显示在原始视频图像上，将热区范围内侵入对象的密度值高于预定义的阈值的视频帧存档，并且触发系统发出表示检测到对象的信号。
优选地，所述热区是指监控视频中的一个或多个可以相互重叠的指定区域，而如果没有指定区域，则所述热区就是整个监控画面区域。
本公开利用前景分析法获得前景图，然后通过将前景图矩阵与热区图矩阵做一次二进制的按位与(bitwiseand)运算就可得到密度值，从而提供一种高效、可靠、智能的热区对象聚集检测方法和系统。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据本公开的一个实施例的热区对象聚集检测系统的示意性框图；
图2是根据本公开的一个实施例的对象检测部分的详细示意性框图；
图3是根据本公开的一个实施例的前景检测器的框图；
图4是根据本公开的一个实施例的侵入密度计算部分的框图；
图5是根据本公开的一个实施例的热区对象聚集检测方法的流程图；
图6是根据本公开的一个实例的视频帧的前景图像；
图7是对图6所示的前景图像进行形态变换后的前景图像；
图8是根据本公开的一个实例的背景图像；
图9是根据本公开的一个实例的前景图像轮廓与监控热区的重叠图像；以及
图10是根据本公开的一个实例的最终监控结果视图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本开。除非另有定义，本文使用的所有其他科学和技术术语具有与本发明所属领域的普通技术人员通常理解的相同的含义。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一也可以被称为第二，反之亦然。取决于语境，如在此所使用的词语“如果”可以被解释成为“在…时”或“当…时”或“响应于确定”。
为了使本领域技术人员更好地理解本公开，下面结合附图和具体实施方式对本公开作进一步详细说明。
图1是根据本公开的一个实施例的热区对象聚集检测系统的示意性框图。如图1所示，该热区对象聚集检测系统包括视频采集部分110、对象检测部分120和输出保存部分130。
根据本公开的一个实施例，视频采集部分110用于采集视频数据，包括通过诸如监控ip摄像头(未示出)之类的摄像设备拍摄视频流，通过网络(未示出)等接收视频流数据，从存储设备(未示出)中读取视频流数据等。视频采集部分110将所产生或接收到的视频流输出到对象检测部分120。
对象检测部分120从视频采集部分110中接收到视频流数据之后，首先处理所接收到的数据以得到用于对象侵入密度监控的视频帧并根据用户要求或缺省设置确定监控热区，然后对象检测部分120根据所确定的监控热区来监控处理后的视频帧数据中的监视对象。此外，对象检测部分120在监控到监视对象时，将监控结果输出到输出保存部分130。以下将更详细地描述对象检测部分120的结构和功能。
输出保存部分130可以包括但不限于视频显示器(未示出)、存储设备(未示出)、监控墙(未示出)、扬声器(未示出)等中的全部或一部分，用于可视听地展示对象侵入密度监控结果以发出表示检测到对象的信号和/或保存监控结果留存备案。
图2是根据本公开的一个实施例的图1所示的对象检测部分120的详细示意性框图。如图2所示，该对象检测部分120包括热区确定装置210、视频帧转换器220、前景检测器230和侵入密度计算部分240。
根据本公开的一个实施例，该视频帧转换器220接收视频采集部分110所产生或接收到的视频流，并转换成视频帧。
根据本公开的一个实施例，热区确定装置210可以是可选装置，其用于根据用户要求或系统设定，来在监控视频流中指定监控区域作为监控热区。如果没有热区确定装置210或者热区确定装置210没有指定监控热区域，则所述热区就是整个监控画面区域。需要指出的是，所述热区可以是视频中的任意指定的一个区域或多个区域，并且多个区域之间可以相互重叠。
接下来，前景检测器230接收来自视频帧转换器220的视频帧，并利用背景去除法等对所接收到的视频帧进行前景分离，以剔除视频图像帧中的图像背景来产生前景图像。然后，前景检测器230对前景图像进行形态变换，以对前景区域进行优化。前景检测器230的具体结构和功能将在以下详细描述。
然后，侵入密度计算部分240对所接收到的已经发现有与被监控热区存在重叠的前景子区域的视频帧中的指定对象的对象侵入密度(即前景图像占热区面积的比率)进行计算，并在对象侵入密度高于预定义的阈值时发出表示检测到对象的信号。侵入密度计算部分230的具体结构和功能将在以下详细描述。
图3是根据本公开的一个实施例的如图2所示的前景检测器230的框图。如图3所示，该前景检测器230包括前景分离器310和形态转换器320。
首先，前景分离器310利用背景去除法对所接收到的视频帧进行前景/背景分离，输出的黑白图像中白色代表前景区域。
然后，形态转换器320对前景区域进行优化，以消除前景像素之间的间隙。通常采用封闭(closing)算法对前景进行修复，即对前景先进行扩张(dilation)融合区域，再侵蚀(erosion)消除噪声，但是本文也可采用其他优化算法(例如开放(opening-先侵蚀再扩张)算法、或者单独使用扩张或侵蚀算法)。优化的前景图像将发给如图2所示的侵入密度计算部分240以便进行密度计算。
图4是根据本公开的一个实施例的如图2所示的侵入密度计算部分240的框图。如图4所示，该侵入密度计算部分240包括热区背景图生成器410、热区面积计算器420以及侵入密度计算器430。
热区背景图是在与视频图像同样大小的黑色图像上用白色绘制的热区区域。为了生成热区背景图，热区背景图生成器410将该热区图像转换为二进制矩阵，用0表示黑色，用1表示白色。例如：
这里b表示背景图矩阵。
热区面积计算器420将矩阵b的各元素求和作为这个热区的热区面积，即：
其中，ah表示热区的热区面积，m,n分别是矩阵b的行数和列数，aij表示矩阵b第i行第j列的元素值。
侵入密度计算器430计算热区侵入密度，即前景图面积与热区面积的比率。为了便于计算，需将如图7所示优化后的前景图也转换成二进制矩阵，用0表示黑色，用1表示白色。例如：
这里f表示优化后的前景图矩阵。然后，将矩阵b和f按位与运算得到新的矩阵m:
m＝a&b
矩阵m的视觉效果如图9所示。
侵入密度计算器430计算矩阵m的面积，也就是矩阵m的各元素之和:
其中，af表示热区内的前景图面积，m,n分别是矩阵b的行数和列数，bij表示矩阵m第i行第j列的元素值。
最后，侵入密度计算器430计算热区侵入密度如下：
其中d表示热区侵入密度，af表示热区内的前景图面积，ah表示热区的热区面积。
图5是根据本公开的一个实施例的热区对象聚集检测方法的流程图。如图5所示，在步骤s510中，利用图1所示的视频采集部分110接收或产生视频流，然后将所产生的视频流传送给如图1所示的对象检测部分120。对象检测部分120通过基于高斯混合的背景/前景分割算法(gaussianmixture-basedbackground/foregroundsegmentationalgorithm),计算视频中各像素点的混合k高斯分布(mixtureofkgaussiandistribution)，将视频帧中相对静态的像素点标为背景点，用黑色表示；将视频帧中相对变化率较高的点标为前景点，用白色表示。这样，就可以把原始视频帧转换成黑白的前景图(如图6所示)。应当理解，本公开也可采用其他类似的算法来生成前景图。
然而，从图6中可以看到，由于原始视频帧中色彩、光线等因素的影响，前景图高度离散化。因此，接下来，在步骤s520中，需要利用形态转换器320(如图3所示)对前景图进行形态变换，以消除前景像素之间的间隙，实现区域融合，同时去除离散的噪音点。根据本公开的一个实施例，在步骤s520中，使用封闭算法对前景图(如图6所示)进行形态变换，得到形态变换后的前景图(如图7所示)。应当理解，在其他实施例中，可以根据实施例的具体特征，选择开放(opening-先侵蚀再扩张)算法、或者单独使用扩张或侵蚀算法来进行前景变换。
接下来，在步骤s530中，利用侵入密度计算部分240在与视频图像同样大小的黑色图像上用白色绘制热区区域以生成热区背景图(如图8所示)，并计算热区面积。具体来说，为了生成热区背景图，将该图像转换为二进制矩阵，用0表示黑色，用1表示白色。例如：
这里b表示背景图矩阵。那么，这个热区的热区面积就是矩阵b的各元素之和：
其中，ah表示热区的热区面积，m,n分别是矩阵b的行数和列数，aij表示矩阵b第i行第j列的元素值。
接下来，在步骤s540中，利用侵入密度计算部分240计算热区侵入密度。所述热区侵入密度定义为前景图面积与热区面积的比率。为了便于计算，需将如图7所示优化后的前景图也转换成二进制矩阵，用0表示黑色，用1表示白色。例如：
这里f表示优化后的前景图矩阵。然后，将矩阵b和f按位与运算得到新的矩阵m:
m＝a&b
矩阵m的视觉效果如图9所示。
然后，计算矩阵m的面积，也就是矩阵m的各元素之和:
其中，af表示热区内的前景图面积，m,n分别是矩阵b的行数和列数，bij表示矩阵m第i行第j列的元素值。
最后，计算热区侵入面积：
其中d表示热区侵入密度，af表示热区内的前景图面积，ah表示热区的热区面积。
最后，在步骤s550中，侵入密度计算部分240把监控到的监控热区中的对象轮廓绘制在视频帧上，并且输出到输出保存部分130。具体来说，将前景分析法检测到热区侵入密度绘制在视频帧上，并输出到输出保存部分130(例如如图10所示的监视器墙)。如果侵入密度值高于预定义的阈值，则发出表示检测到对象的信号，同时，也可以将该视频帧存储到输出保存部分130备案。
实例
本实例实现的目的是利用ip摄像机拍摄生成的视频流实现热区侵入密度检测。检测过程如下。
1)从视频帧生成前景图
对于流视频文件，通过基于高斯混合的背景/前景分割算法(gaussianmixture-basedbackground/foregroundsegmentationalgorithm),计算视频中各像素点的混合k高斯分布(mixtureofkgaussiandistribution)，将视频帧中相对静态的像素点标为背景点，用黑色表示；将视频帧中相对变化率较高的点标为前景点，用白色表示。这样，就可以把原始视频帧转换成黑白的前景图(如图6所示)。应当理解，本公开也可采用其他类似的算法来生成前景图。
2)对前景图进行形态变换
从图6中可以看到，由于原始视频帧中色彩、光线等因素的影响，前景图高度离散化，需要对前景图进行形态变换，以消除前景像素之间的间隙。实现区域融合，同时去除离散的噪音点。因此，本实施例中使用封闭算法对前景图(如图6所示)进行形态变换，得到形态变换后的前景图(如图7所示)。应当理解，在其他实施例中，可以根据实施例的具体特征，选择开放(opening-先侵蚀再扩张)算法、或者单独使用扩张或侵蚀算法来进行前景变换。
3)生成热区背景图并计算热区面积
热区背景图是在与视频图像同样大小的黑色图像上用白色绘制热区区域(如图8所示)。将该图像转换为二进制矩阵，用0表示黑色，用1表示白色。例如：
这里b表示背景图矩阵。那么这个热区的热区面积就是矩阵b的各元素之和：
其中，ah表示热区的热区面积，m,n分别是矩阵b的行数和列数，aij表示矩阵b第i行第j列的元素值。
4)计算热区侵入密度
热区侵入密度，即前景图面积与热区面积的比率。为了便于计算，需将如图7所示优化后的前景图也转换成二进制矩阵，用0表示黑色，用1表示白色。例如：
这里f表示优化后的前景图矩阵。然后，将矩阵b和f按位与运算得到新的矩阵m:
m＝a&b
矩阵m的视觉效果如图9所示。
然后，计算矩阵m的面积，也就是矩阵m的各元素之和:
其中，af表示热区内的前景图面积，m,n分别是矩阵b的行数和列数，bij表示矩阵m第i行第j列的元素值。
最后，计算热区侵入面积：
其中d表示热区侵入密度，af表示热区内的前景图面积，ah表示热区的热区面积。
5)将计算结果绘制在视频帧上并输出
将前景分析法检测到热区侵入密度绘制在视频帧上，并输出到输出保存部分(例如如图10所示的监视器墙)。如果侵入密度值高于预定义的阈值，则发出表示检测到对象的信号，同时，也可以将该视频帧存储到输出保存部分备案。
以上参考附图描述了根据本公开的热区对象聚集检测方法和系统，在其实施例中，通过将前景图矩阵与热区图矩阵做一次二进制的按位与(bitwiseand)运算就可得到密度值，从而高效、可靠、智能地实现了热区对象聚集检测。
本公开不限于本文所描述的具体实施例的范围，这些实施例旨在作为示例性实施例。功能上相同的产品和方法显然包含在本文描述的本公开的范围内。
本发明不限于本文所描述的具体实施例的范围，这些实施例旨在作为示例性实施例。功能上相同的产品和方法显然包含在本文描述的本发明的范围内。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本公开的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本公开的说明的情况下运用他们的基本编程技能就能实现的。
因此，本公开的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本公开的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本公开，并且存储有这样的程序产品的存储介质也构成本公开。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
还需要指出的是，在本公开的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。