基于双路监控视频分析的电梯轿厢载客数检测方法及系统与流程

本发明涉及人工智能技术中的智能视频图像分析的应用，特别涉及一种基于双路监控视频分析的电梯轿厢载客数检测方法及系统。

背景技术：

电梯已经在现代高层建筑中得到普及。电梯群控系统必须能获取电梯轿厢内人数信息。这是因为：第一，电梯最基本、最重要的性能要求是安全性，测量轿厢内人数，可预防超载和踩踏事故；第二，电梯群控系统需要获取轿厢内人数信息，通过智能调度算法管理多部电梯，以便提高用户的舒适度，减小电梯的能耗。

传统的电梯轿厢内人数检测技术主要是重力传感器和红外传感器等。为了消除单个传感器故障带来的隐患，业界期望能采用更先进可靠的载客数检测技术，或通过同时复用多类检测设备实现人数检测的高可靠性。

基于视觉的方法逐渐成为继重力传感器、红外传感器之后最受关注的电梯轿厢人数检测方法，因为它具有实施方便、精度高和成本低等优势。该方法通常在电梯轿厢顶部安装摄像机，以垂直向下俯拍的视角获取视频数据，并采用一定的视频分析方法来计算人数。这里运用的视频分析算法主要有三种：

一是基于前景连通区域像素统计的方法，其核心是建立视频图像中人数与连通区域像素数之间的关系模型(见论文：陆海峰.基于计算机视觉的电梯轿厢内异常行为检测[硕士学位论文].杭州:浙江工业大学，2009.)。缺点是受人体体型、人体互相遮挡、人员携带物品等因素影响较大，在多人情况下人数计算精度偏低。

二是基于运动分析的方法，其核心是检测和跟踪每个人员，判断他们进出电梯的方向(见论文：靳海燕，熊庆宇，王楷，等.基于图像处理的电梯轿厢内人数统计方法研究.仪器仪表学报，2011，32(6)：161-165.)。缺点是当多人同时进出或一人进一人出时误差很大。

三是基于识别头部特征的方法，其核心是头部特征提取和检测(见论文：卢湖川，张继霞，张明修.基于Hough变换头部检测与跟踪的方法研究.系统仿真学报，2008，20(8)：2127-2132.)。缺点是当人员穿着深色衣服或携带物品时容易发生头部误检，造成计数误差。

以上传统方法除了已指出的缺点外，还有一个共同的严重不足是：要求视频图像必须是摄像机以垂直向下的视角拍摄得到的。然而，在实际的应用中，为了突出视频监控系统的安防目的，大多数物业部门会把摄像头安装在电梯轿厢顶部角落处，摄像机以一定的倾斜角度观察电梯内部和电梯出口处，从而获得最大的监控范围。若需要通过分析监控视频数据来检测人数，则必须再额外部署一套具有垂直向下观察视角的摄像机，这样就会导致系统成本太高。人们迫切希望只部署具有垂直向下观察视角的摄像机，使它除了发挥安防作用外，还能借助一定的视频分析算法来检测电梯轿厢载客数。目前文献中很少报道通过分析倾斜角度摄像机的监控视频来分析检测电梯轿厢内载客数的技术或装置。

分析具有倾斜观察角度摄像机的监控视频的难点主要是多个乘客时遮挡严重，以及人体外观显著变化等，导致视频分析得到的有效信息量太少。视频监控系统一般都会在电梯外部署用以监控电梯出口及其附近走廊的摄像机(用于安防目的)，于是电梯轿厢内外各有至少一台摄像机可监控电梯及其内外人员行为。采用多源信息融合的方法有助于克服单路视频有效信息不足的问题。

技术实现要素：

本发明的目的在于提供一种基于双路监控视频分析的电梯轿厢载客数检测方法及系统，通过综合分析电梯轿厢内倾斜观察角度摄像机拍摄的监控视频和电梯轿厢外监控电梯出口的摄像机的视频数据，来解决检测电梯轿厢载客数的问题，且前者兼具安防监控和用于载客数检测两种用途。

为实现上述目的，本发明的技术方案是：一种基于双路监控视频分析的电梯轿厢载客数检测方法，包括如下步骤：

步骤S1、监控电梯的外内I、II两路的视频数据，并传输给硬盘录像机；

步骤S2、硬盘录像机把两路视频分别送给算法模块1和算法模块2进行分析；

其中，算法模块1分析I路视频数据，根据电梯门开闭过程持续时间计算得到进出轿厢总人数；算法模块2分析II路视频数据，根据电梯门开闭前后前景面积变化计算得到人员进出的方向函数；

步骤S3、算法模块1和算法模块2将计算结果送给算法模块3，算法模块3根据进出轿厢总人数与方向函数的乘积得出进入轿厢的净人数。

在本发明一实施例中，所述I路视频数据通过部署于电梯轿厢外的I路摄像机采集获得，所述I路摄像机监控电梯出口及其附近走道区域；所述II路视频数据通过部署于电梯轿厢内顶角处且视角倾斜的II路摄像机采集获得，所述II路摄像机监控电梯内区域。

在本发明一实施例中，步骤S2中，算法模块1分析I路视频数据，根据电梯门开闭过程持续时间计算得到进出轿厢总人数的实现方式如下：

步骤S101、通过实验标定电梯轿厢的参数α和β；

步骤S102、通过对I路视频分析得到电梯门开闭过程持续时间T，并将步骤S101得到的电梯轿厢的参数α和β代入下式：

|io|＝αT+β

由上式，即可计算得到进入轿厢人员和离开轿厢人员的总数|io|。

在本发明一实施例中，步骤S102中，通过对I路视频分析得到电梯门开闭过程持续时间T的具体实现方式如下：

设电梯门关闭时由噪声引起的ROI中前景像素数为n1，电梯门完全打开时ROI中前景像素数为n2，电梯发生开闭事件的起止时刻为t1、t′1；则一次电梯开闭事件产生的ROI前景像素数变化的波形可用函数n(t1,t′1)描述：

n(t1,t′1)＝n1+(n2-n1)[S(k(t-t1))-S(k(t-t′1))]

式中，系数k为影响波形上升和下降的陡峭程度，S(t)为Sigmoid函数，即

设一时间段内发生电梯开闭事件的时刻依次为t1,t1,t2,t2,...,tN,t′N，则ROI前景像素数变化曲线可表示为：

电梯打开或关闭过程中，ROI前景像素数随时间变化的波形均存在一个上升或下降的斜坡段，斜坡段的纵坐标存在最大值和最小值，取像素数等于最大值和最小值的平均值的时刻为电梯轿厢门开闭过程的起始和结束时刻，即令

n1和n2可通过对I路视频数据的分析求得

再利用搜索算法求得t1和t′1；

进一步，利用T＝t′1-t1计算得到电梯门开闭过程持续时间T。

在本发明一实施例中，所述利用搜索算法求得t1和t′1的实现方式如下：

在连续监测数据序列(t,n)中，必能找到像素数值n等于(n1+n2)/2的两个点，这两个点中，横坐标较小的点为电梯轿厢门开闭过程的起始，横坐标较大的点为电梯轿厢门开闭过程的结束，即t1等于较小的横坐标，t′1等于较大的横坐标。

在本发明一实施例中，步骤S2中，算法模块2分析II路视频数据，根据电梯门开闭前后前景面积变化计算得到人员进出的方向函数的实现方式如下：

设电梯门开闭前后II路视频图像的前景面积分别为S(t)、S(t')，若时刻t前景面积S(t)超过预设面积阈值S0，则认为电梯内有人；若前景面积S(t)小于预设面积阈值S0，则认为电梯内无人；用函数I(t)表示电梯内是否滞留人员的状态，则

记in为进入电梯轿厢的净人数，即一次电梯开闭事件过程中进入轿厢人数x(t')与离开轿厢人数x(t)之差：

in＝x(t')-x(t)

记由I路视频分析得到其中一次电梯开闭事件的起止时刻为t和t'，in与|io|的比值为方向函数I(t,t')，则

in＝I(t,t')|io|

|io|为进入轿厢人员和离开轿厢人员的总数；

由于x(t)，x(t')满足如下二元一次方程组

所以

即得方向函数

由此即可计算得出进入电梯轿厢的净人数in。

本发明还提供了一种基于双路监控视频分析的电梯轿厢载客数检测系统，包括：

I路摄像机，部署于电梯轿厢外，采集电梯出口及其附近走道区域的视频数据；

II路摄像机，部署于电梯轿厢内顶角处，且视角倾斜朝向电梯外，采集电梯里人员的行为及异常的视频数据；

硬盘录像机，所述硬盘录像机与所述I路摄像机、所述II路摄像机相连，所述硬盘录像机接收、存储来自所述I路摄像机、所述II路摄像机的视频数据；

算法模块1，与所述硬盘录像机相连，分析所述硬盘录像机中的I路视频数据，根据电梯门开闭过程持续时间计算得到进出轿厢总人数；

算法模块2，与所述硬盘录像机相连，分析所述硬盘录像机中的II路视频数据，根据电梯门开闭前后前景面积变化计算得到人员进出的方向函数；

算法模块3，与所述算法模块1、算法模块2相连，接收所述算法模块1、算法模块2的分析结果，并进一步进行融合分析，将进出轿厢总人数与方向函数的乘积作为进入轿厢的净人数；

数据库，与所述算法模块3相连，存储所述算法模块3的历次输出结果，供数据挖掘分析；

报警器，与所述算法模块3相连，当电梯轿厢载客数超限时发出报警信号。

相较于现有技术，本发明具有以下有益效果：

(1)传统方法要求电梯轿厢内摄像机必须按照具有垂直向下的观察视角的要求进行安装部署，如果摄像机具有倾斜观察角度，则难以分析轿厢内人数。本发明通过引入电梯轿厢外另一路摄像机的视频数据，并融合分析两路视频数据，克服了这一困难，达到了有效检测载客数的目的；

(2)电梯轿厢内的倾斜观察角度的摄像机是功能复用的，既能发挥实时监控和安防的作用，又能起到检测载客数的作用。这就避免了为检测载客数而新增加一台具有垂直向下观察视角的摄像机，大大减小了硬件成本。

附图说明

图1是基于双路监控视频分析的电梯轿厢载客数检测系统的结构框图。

图2是电梯门开闭过程ROI中前景像素数变化曲线。

图3是零时刻电梯开闭事件的前景像素数变化波形。

图4是某电梯开闭时间与进入或离开电梯人数的函数(散点图)。

图5是一人进入电梯时两路监控视频图像的前景面积变化曲线。

图6是多人进入电梯时两路监控视频图像的前景面积变化曲线。

图7是一人离开电梯时两路监控视频图像的前景面积变化曲线。

图8是多人离开电梯时两路监控视频图像的前景面积变化曲线。

图9是多人进入和离开电梯时两路监控视频图像的前景面积变化曲线。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

通常，视频监控系统中能观察到电梯轿厢的摄像机有两路：一路是安装在电梯外、监控电梯出口及其附近走廊通道的摄像机，它的监控视频记作“I路视频”，可观察到电梯门打开和关闭的状态变化以及人群进入和离开电梯的行为；另一路是安装在电梯轿厢内顶角的摄像机，它的监控视频记作“II路视频”，能够容易地分辨电梯厢内有无乘客的状态。单独分析以上任何一路摄像机监控视频，都难以达到轿厢内载客数检测的目的，但通过融合分析两路视频，则可以达到载客数检测目的。

为此本发明提供了一种基于双路监控视频分析的电梯轿厢载客数检测系统，如图1所示，其核心是视频大数据分析平台。该平台主要由硬盘录像机和视频分析服务器构成。硬盘录像机用于接收、存储两路摄像机拍摄得到的视频数据并对摄像机进行管理。视频分析服务器用于对来自硬盘录像机的视频数据进行分析，它包括三个算法模块：算法模块1用于分析I路视频数据，算法模块2用于分析II路视频数据，算法模块3用于融合两路视频数据分析的结果，从而计算得到轿厢载客数。

基于双路监控视频分析的电梯轿厢载客数检测系统的主要工作过程是：监控电梯的内外两路(I和II)视频数据传输给硬盘录像机；硬盘录像机把两路视频同时送算法模块1和算法模块2进行分析；算法模块1分析I路视频，根据电梯门开闭过程持续时间计算得到进出轿厢总人数；算法模块2分析II路视频，根据电梯门开闭前后前景面积变化计算得到人员进出的方向函数；算法模块1和2的计算结果送给算法模块3，算法模块3将进出轿厢总人数与方向函数的乘积作为进入轿厢的净人数；算法模块3的计算结果存入数据库供数据挖掘分析或在发现人数超载时发出报警。

下面对该系统的工作原理进行详细说明。

1、算法模块1

算法模块1用于分析I路视频数据，根据电梯门开闭过程持续时间计算得到进出轿厢总人数。其工作原理详述如下：

将I路视频图像中电梯所在区域设置为感兴趣区域(Region ofInterest,ROI)，则容易计算ROI中属于前景部分的面积(即前景二值化图像中的白色像素数)。生成白色像素数随时间变化的曲线，并将它与电梯行为进行对照可发现，白色像素数的变化与电梯门的开闭过程存在着一定的对应关系：

①在电梯门关闭时，白色像素数最小(理论上等于零)，为噪声所引入；

②在电梯门缓慢打开过程中，白色像素数逐渐从最小值上升为最大值；

③在电梯门完全打开时，白色像素数最大，约等于电梯门的面积，且最大值保持一段时间；

④在电梯门缓慢关闭过程中，白色像素数逐渐从最大值下降为最小值。

以上是电梯门一次开闭过程对应的前景像素数的变化规律。经过一段时间(随机值)，下一次电梯开闭过程也会出现类似的前景像素数的变化。

如图2所示，ROI中前景像素数的变化“记录”了电梯门的打开和关闭的状态变化。电梯一次开闭过程会在前景像素数曲线上产生一个“脉冲”，脉冲的上升沿、下降沿的坡度取决于电梯门运动速度。相邻脉冲的间隔时间是随机的，等于电梯从上一次开闭事件到下一次开闭事件的时间间隔。不同脉冲的形状差异主要在于脉冲的时间宽度(即电梯门全开的时间)，它主要受进入或离开电梯人数影响，这可以作为间接地对人员计数的依据。

设图2中三个脉冲的时间宽度分别为T1、T2、T3，对应的人数增量分别为io1、io2、io3，由于T1＜T3＜T2，故|io1|＜|io3|＜|io2|。

设电梯门关闭时由噪声引起的ROI中前景像素数为n1，电梯门完全打开时ROI中前景像素数为n2，电梯发生开闭事件的起止时刻为t1、t′1；则一次电梯开闭事件产生的ROI前景像素数变化的波形可用函数n(t1,t′1)描述：

n(t1,t′1)＝n1+(n2-n1)[S(k(t-t1))-S(k(t-t′1))] (1)

式中，系数k为影响波形上升和下降的陡峭程度，S(t)为Sigmoid函数，即

假设电梯打开时刻为t1＝0，电梯开闭持续时间为T(T＝t′1)，则n(t)的波形具有如图3所示的形状。

设一时间段内发生电梯开闭事件的时刻依次为t1,t′1,t2,t′2,...,tN,t′N，则ROI前景像素数变化曲线可表示为：

n(t)的波形如图2所示，其中第j次电梯开闭事件的持续时间为

Tj＝t′j-tj,j＝1,2,...,N (4)

在获得了视频对象分割的结果后，由电梯开闭事件对应的ROI前景像素数监测数据容易求得n1和n2。电梯打开或关闭过程中，ROI前景像素数随时间变化的波形均存在一个上升或下降的斜坡段，斜坡段的纵坐标存在最大值和最小值，取像素数等于最大值和最小值的平均值的时刻为电梯轿厢门开闭过程的起始和结束时刻，即令

再利用搜索算法(在连续监测数据序列(t,n)中，必能找到像素数值n等于(n1+n2)/2的两个点，这两个点中，横坐标较小的点为电梯轿厢门开闭过程的起始，横坐标较大的点为电梯轿厢门开闭过程的结束，即t1等于较小的横坐标，t′1等于较大的横坐标)即可求得t1和t′1。进一步，利用式(4)计算得到电梯门开闭过程持续时间T。

T等于以下四个时间间隔的总和：①自第一个人开始步入电梯至所有人都进入电梯后按下关门按钮的时间间隔；②自电梯门打开至人开始进出电梯的时间间隔；③自门开始打开至完全打开的时间间隔；④自按下关门按钮至门开始关闭的时间间隔。对某个确定的电梯而言，只有第一个时间间隔是变化的，由进出电梯轿厢的人数决定；其余时间间隔都是固定不变的，由电梯本身的特性决定，而与人数无关。记|io|为进入轿厢人员和离开轿厢人员的总数，则可认为|io|与T之间具有线性关系：

|io|＝αT+β (6)

因此，算法模块1的工作过程是：先通过实验标定电梯轿厢的参数α和β，再通过I路视频分析得到电梯门开闭过程持续时间T,并代入式(6)，从而计算得到进入轿厢人员和离开轿厢人员的总数|io|。

2、算法模块2

算法模块2用于分析II路视频数据，根据电梯门开闭前后前景面积变化计算得到人员进出的方向函数。其工作原理详述如下：

基于II路视频，运用背景差分法和阈值判断法即可容易地判断电梯厢内是否载有乘客的两种状态。若时刻t前景面积S(t)超过预设面积阈值S0，则认为电梯内有人；若前景面积S(t)小于预设面积阈值S0，则认为电梯内无人；用函数I(t)表示电梯内是否滞留人员的状态，则

记in为进入电梯轿厢的净人数，即一次电梯开闭事件过程中进入轿厢人数x(t')与离开轿厢人数x(t)之差：

in＝x(t')-x(t) (8)

记由I路视频分析得到其中一次电梯开闭事件的起止时刻为t和t'，in与|io|的比值为方向函数I(t,t')，则

in＝I(t,t')|io| (9)

|io|为进入轿厢人员和离开轿厢人员的总数；

由于x(t)，x(t')满足如下二元一次方程组

所以

即得方向函数

通过联立式(9)和式(12)来计算in。

因此，算法模块2的工作过程是：先分别计算电梯门开闭前后II路视频图像的前景面积S(t)、S(t')，再利用式(12)计算方向函数I(t,t')。

3、算法模块3

算法模块3融合算法模块1和2的结果，将进出轿厢总人数与方向函数的乘积作为进入轿厢的净人数。其工作原理详述如下：

双路视频分析融合的思路是：利用I路视频分析获得电梯轿厢进出人员总增量，利用II路视频分析获得电梯轿厢进出人员方向函数，再将两者的乘积作为电梯轿厢的净进入人数。

两路视频分析的融合的具体步骤如下：

1)离线学习电梯特性。

a)对某部确定的电梯，安排Ni＝i(i＝1,2,…,10)个人先后进入、离开电梯，通过I路视频获得该过程中ROI前景像素数变化的两个脉冲波形的宽度TEi和TLi，得到点(TEi,Ni),(TLi,Ni)。

b)重复步骤a)共三次，根据获得的数据(TEi,Ni),(TLi,Ni)和线性回归算法，得到进入或离开电梯人数关于脉冲宽度的线性函数|io|＝αT+β，完成标定。

2)分析I路视频。

由I路视频检测ROI前景像素数变化数据，由式(4)、式(5)计算T。

b)将T值代入|io|＝αT+β计算得到进入或离开电梯人数|io|并近似取整。

(3)由II路视频检测电梯开闭事件起止时刻t、t'，由式(12)计算方向函数I(t,t')。

(4)结合|io|和I(t,t')，由式(11)计算进入电梯的人数in并近似取整。

表1给出了几个通过融合I、II路视频分析结果来计算得到in的例子。

表1通过融合两路视频分析结果计算进入电梯载客数的例子

以下为本发明一具体实施例。

对某一电梯，先离线学习电梯特性，共获得60个关于人数和时间对应关系的数据，如图4所示。使用线性回归算法得到拟合曲线的函数为

|io|＝0.3472T-1.125 (13)

即，α＝0.3472，β＝1.125。

观察监控该电梯的I路、II路视频发现，进入电梯人数增量包括一人进入电梯、多人进入电梯、一人离开电梯、多人离开电梯和多人进出电梯等五种类型。图5、图6、图7、图8、图9分别给出了各种进出电梯人数增量类型情况下两路监控视频图像的前景面积变化曲线。

从图5-图9可以看出，I路视频图像的ROI前景面积变化曲线有以下特点：

①对于各种进出电梯人数增量类型，n(t)和n(t')都等于零点。

②对于各种进出电梯人数增量类型，曲线上升段和下降段的持续时间基本相等。

③对于各种进出电梯人数增量类型，中间平坦段的纵坐标都基本相等。

④进入或离开电梯人数决定了曲线中间平坦段的持续时间。

从图5-图9可以看出，II路视频图像的ROI前景面积变化曲线有以下特点：

①对于人员进入电梯事件，S(t)等于零点；对人员离开电梯事件，S(t')等于零点；对同时有人员进入和离开电梯事件，S(t)和S(t')都不等于零点。

②进入或离开电梯人数决定了曲线中间平坦段的纵坐标。

③对于各种进出电梯人数增量类型，曲线上升段和下降段的持续时间基本相等。

根据图5-图9及融合公式，计算进出电梯人员的增量的结果如表2所示。这里以一人进入电梯的情况(即表2中编号为①的情况)为例说明如何计算|io|。由图5可知：n1＝102,n2＝8766，则n(t1,t′1)＝(n1+n2)/2＝4434。于是通过搜索算法得到t1＝1.20,t′1＝7.68，T1＝t1'-t1＝6.48将T1的值代入式(6)，计算得|io|≈1。经验证，表2所示结果与人工观察视频得到的真实值相等。

表2进出电梯人数增量的计算结果

从表2可以看出，多人进入电梯、多人离开电梯和多人进入和离开电梯等三类情况下，人数增量绝对值都等于2，这时I(t,t')作为方向函数可以进一步区分不同进出类型。这表明通过融合第I、II路视频分析结果，从而计算进入电梯人数增量的方法是正确有效的。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。