一种扶梯出入口拥堵检测系统与方法与流程

本发明属于扶梯口拥堵检测技术领域，具体涉及一种扶梯出入口拥堵检测系统与方法。

背景技术：

目前自动扶梯在各大商场，地铁站点，火车站，机场等人流量密集的地方都有应用，自动扶梯在给人们带来极大便捷的同时，也会因为一些不当使用造成人们生命财产的损失。例如当出口有大流量人流时或被其他物体阻塞时，极易出现乘客滞留出口的情况，如果不采取措施减慢或停止自动扶梯运行，很有可能致使即将抵达出口的乘客跌倒，摔落，进而造成多米诺效应，引发更恶性的伤亡事件。因此，自动检测扶梯出入口人群的拥堵程度，可以第一时间采取相应的安保措施，避免发生悲剧。

现有技术中已经有利用特定模型方向滤波器和简单的模型匹配等图像处理知识，来实现扶梯口客流统计以及拥堵智能判断，可以实现对乘客头顶目标的逐个提取。但是，这种方案利用传统rgb摄像机的图像进行分析，通过人头(圆弧模型)对人进行检测，这就难免会漏掉非人的物体阻塞出入口的情况，无论是物体还是人体，阻塞了出入口都会造成不良的后果，因此，不能单单检测人头，对于出入口出现了长时间阻挡或滞留的人或物都应当予以检测和告警。

技术实现要素：

本发明要解决的技术问题是提供一种扶梯出入口拥堵检测系统与方法。本发明方法检测扶梯出入口拥堵更加准确，并能够及时采取措施对在场乘客进行行为劝导；同时可以及时调节扶梯运行速度，安全性能更高，避免引发不良后果。

为了实现上述目的，本发明采用以下技术方案：

一种扶梯出入口拥堵检测系统，包括深度图像采集单元，出入口阻塞分析单元，告警逻辑单元，多媒体提示单元和梯控单元；深度图像采集单元采集深度图像，并将深度图像信息传送给出入口阻塞分析单元，出入口阻塞分析单元对深度图像信息进行处理与分析，获得阻塞程度值并将其传送给告警逻辑单元，告警逻辑单元对收到的阻塞程度值进行分析，进行告警判断，并将告警信息发送至多媒体提示单元和梯控单元，多媒体提示单元接收到告警信息后，进行信息提示，梯控单元根据告警信息进行扶梯控制。

进一步地，深度图像采集单元采用但不限于tof深度相机、双目深度相机和结构光深度相机。

进一步地，深度图像采集单元安装在扶梯出入口正上方，垂直向下拍摄扶梯出入口的深度视频图像。采集到的深度图像数据用于后续单元分析。

进一步地，出入口阻塞分析单元采用通用处理设备，包括但不限于cpu，arm，dsp，gpu，fpga，asic。

进一步地，告警逻辑单元采用通用处理设备，包括但不限于cpu，arm，dsp，gpu，fpga，asic。

进一步地，多媒体提示单元采用具有视音频展示能力的设备，包括但不限于液晶显示屏、扬声器。

本发明还提供了一种扶梯出入口拥堵检测方法，该方法采用以上所述的检测系统，包括以下步骤：

(1)采集扶梯出入口深度图像；

(2)对深度图像信息进行处理与分析，包括图像预处理，建立深度图像背景，背景差分并二值化，二值图形态学处理，统计监控区域内的前景比例值，阻塞程度值计算；

(3)对阻塞程度值进行分析，并根据阻塞程度值采取相应策略。

进一步地，步骤(2)中图像预处理包括无效数据滤除与有效数据增强两部分。

进一步地，无效数据滤除具体为：计算深度图像中每个像素对应场景中某点的真实高度值lpt，并将lpt小于0.3米或大于2.2米所对应的像素值，全部置零。

进一步地，有效数据增强具体为：对滤除无效数据后的图像先进行“腐蚀”滤除毛刺杂点，再进行“膨胀”，补偿并饱满有效高度范围内的图像。

进一步地，采用gmm混合高斯模型，建立深度图像背景；具体包括以下步骤：

1)为深度图像的每个像素点指定一个初始的均值、标准差以及权重；

2)收集n(一般取200以上，否则很难得到像样的结果)帧图像利用在线em算法得到每个像素点的均值、标准差以及权重；

3)从n+1帧开始检测，检测的方法：

对每个像素点：

3.1将所有的高斯核按照降序排序；

3.2选择满足下式的前m个高斯核：

3.3如果当前像素点的像素值在中有一个满足：就可以认为其为背景点；

4)更新背景图像，用在线em算法。

进一步地，背景差分并二值化具体为：

用当前帧减去背景图像，获得差分图像pd；选取阈值th1，对差分图像pd进行二值化，得到二值图bd。

进一步地，二值图形态学处理具体包括：

对二值图bd进行腐蚀处理，采用3×3模版，去除杂点，得到二值图be；

对二值图be进行膨胀处理，采用3×3模版，补偿扩充原有前景部分，得到二值图bf。

进一步地，统计监控区域内的前景比例值具体为：预先设定监控区域，监控区域要覆盖到扶梯出(入)口；计算在二值图bf中，对应的监控区域内的前景点占比z。

进一步地，阻塞程度值计算具体包括：通过统计一段时间内的前景点占比z，计算得到z的平均值，最后得到阻塞程度值；

若持续超过30秒，z的平均值大于等于50％，阻塞程度值为1；

若持续超过60秒，z的平均值大于等于50％，阻塞程度值为2；

若持续超过90秒，z的平均值大于等于50％，阻塞程度值为3；

若持续超过10秒，z的平均值小于50％，阻塞程度值为0。

进一步地，步骤(3)中采取相应策略具体为：

阻塞程度值为1时，播放劝导语音，提醒入口处乘客注意缓行，出口处乘客请勿滞留；

阻塞程度值为2时，播放劝导语音，并且减缓扶梯运行速度；

阻塞程度值为3时，播放劝导语音，并且逐渐停止扶梯运行；

阻塞程度值为0时，停止播放劝导语音；若扶梯已处于低速或停止状态，则调节扶梯逐渐恢复到正常速度；若扶梯已经处于正常速度运行，则继续保持。

本发明的有益效果是：

(1)本发明检测方法能够对扶梯出入口长时间滞留的人或物都给予检测和告警，检测扶梯拥堵更加准确，安全性能更高，能够较好地避免发生事故。

(2)本发明通过分析扶梯出入口的深度图像信息，计算阻塞程度值，根据阻塞程度值判断是否发出拥堵告警，并能够及时采取措施对在场乘客进行行为劝导；同时可以及时调节扶梯运行速度，减缓或渐停，避免引发不良后果。

(3)本发明的检测方法可以应用于扶梯安全监控系统中，能够很好的保证扶梯的安全运行，减少事故的发生；无需工作人员看护，节约劳动力资源。

附图说明

图1为本发明的系统框图。

图2(a)为普通rgb摄像机采集的图像，图2(b)为深度相机采集的图像。

图3灰度腐蚀原理示意图。

图4灰度膨胀原理示意图。

图5拥堵监控区域示意图。

具体实施方式

为了使本技术领域的人员更好的理解本发明的技术方案，下面将对本发明的技术方案进行清楚、完整的描述。

实施例，参照附图1-5。

本发明提供了一种扶梯出入口拥堵检测系统，如图1所示，包括深度图像采集单元，出入口阻塞分析单元，告警逻辑单元，多媒体提示单元和梯控单元；深度图像采集单元采集深度图像，并将深度图像信息传送给出入口阻塞分析单元，出入口阻塞分析单元对深度图像信息进行处理与分析，获得阻塞程度值并将其传送给告警逻辑单元，告警逻辑单元对接收到的阻塞程度值进行分析，进行告警判断，并将告警信息发送至多媒体提示单元和梯控单元，多媒体提示单元接收到告警信息后，播放提醒广播，梯控单元根据告警信息调节扶梯的运行速度。

作为一种优选的方式，深度图像采集单元采用但不限于tof深度相机，双目深度相机，结构光深度相机。

作为一种优选的方式，深度图像采集单元安装在扶梯出入口正上方，垂直向下拍摄扶梯出入口的深度视频图像。采集到的深度图像数据用于后续的分析。

作为一种优选的方式，出入口阻塞分析单元采用通用处理设备，包括中央处理器cpu，arm处理器，数字信号处理器dsp，图形处理器gpu，现场可编程门阵列fpga，专用集成电路asic，主要对深度图像采集单元传入的深度图像视频信息进行技术分析，获得阻塞程度值。

本实施例中采用arm处理器。

作为一种优选的方式，告警逻辑单元采用通用处理设备，包括中央处理器cpu，arm处理器，数字信号处理器dsp，图形处理器gpu，现场可编程门阵列fpga，专用集成电路asic，主要根据阻塞程度值，进行告警判断，阻塞告警分多级，最后发送告警信息至多媒体提示单元和梯控单元。

本实施例中采用arm处理器。

作为一种优选的方式，多媒体提示单元采用具有视音频展示能力的设备，包括液晶显示屏、扬声器，在显示屏上播放劝导视频信息，在扬声器中播放劝导语音提醒信息。

本发明还提供了一种扶梯出入口拥堵检测方法，该方法采用以上所述的检测系统，包括以下步骤：

(1)采集扶梯出入口深度图像；

(2)对深度图像信息进行处理与分析，包括图像预处理，建立深度图像背景，背景差分并二值化，二值图形态学处理，统计监控区域内的前景比例值，阻塞程度值计算；

(3)对阻塞程度值进行分析，并根据阻塞程度值采取相应策略。

步骤(1)中采用深度相机进行采集扶梯出入口深度图像，扶梯入口处深度图像如下图2(b)所示；深度图像中的每个像素值反映场景中某一点相对摄像机的物理距离l，若知道摄像机安装的真实高度值lt，就可以计算得到该点的真实高度lpt，计算方法为：lpt＝lt–l。

作为一种优选的方式，步骤(2)中图像预处理包括无效数据滤除与有效数据增强两部分。

作为一种优选的方式，无效数据滤除具体为：计算深度图像中每个像素对应场景中某点的真实高度值lpt，并将lpt小于0.3米或大于2.2米所对应的像素值，全部置零。

作为一种优选的方式，有效数据增强具体为：对滤除无效数据后的图像先进行“腐蚀”滤除毛刺杂点，再进行“膨胀”，补偿并饱满有效高度范围内的图像。

腐蚀原理：

腐蚀：求局部最小值(与膨胀相反)；

①定义一个卷积核b，

核可以是任何的形状和大小，且拥有一个单独定义出来的参考点-锚点(anchorpoint)；

通常和为带参考点的正方形或者圆盘，可将核称为模板或掩膜；

②将核b与图像a进行卷积，计算核b覆盖区域的像素点最小值；

③将这个最小值赋值给参考点指定的像素；

因此，图像中的高亮区域逐渐减小；灰度腐蚀原理示意图如图3所示。

膨胀原理：

膨胀：求局部最大值；

①定义一个卷积核b，

核可以是任何的形状和大小，且拥有一个单独定义出来的参考点-锚点(anchorpoint)；

通常和为带参考点的正方形或者圆盘，可将核称为模板或掩膜；

②将核b与图像a进行卷积，计算核b覆盖区域的像素点最大值；

③将这个最大值赋值给参考点指定的像素；

因此，图像中的高亮区域逐渐增长；灰度膨胀原理示意图如图4所示。

作为一种优选的方式，采用gmm混合高斯模型，建立深度图像背景；具体包括以下步骤：

1)为深度图像的每个像素点指定一个初始的均值、标准差以及权重；

2)收集n(一般取200以上，否则很难得到像样的结果)帧图像利用在线em算法得到每个像素点的均值、标准差以及权重；

3)从n+1帧开始检测，检测的方法：

对每个像素点：

3.1将所有的高斯核按照降序排序；

3.2选择满足下式的前m个高斯核：

3.3如果当前像素点的像素值在中有一个满足：就可以认为其为背景点；

4)更新背景图像，用在线em算法。

作为一种优选的方式，背景差分并二值化具体为：

用当前帧减去背景图像，获得差分图像pd；选取阈值th1，对差分图像pd进行二值化，得到二值图bd。

本实施例中选取阈值th1＝20。

作为一种优选的方式，二值图形态学处理具体包括：

对二值图bd进行腐蚀处理，采用3×3模版，去除杂点，得到二值图be；

对二值图be进行膨胀处理，采用3×3模版，补偿扩充原有前景部分，得到二值图bf。

作为一种优选的方式，统计监控区域内的前景比例值具体为：预先设定监控区域，监控区域只要覆盖到扶梯出(入)口即可，扶梯入口拥堵监控区域示意图如图5所示，图5中方框内的区域为监控区域；计算在二值图bf中，对应的监控区域内的前景点占比z，前景点占比z指的是：监控区域中前景点总数占监控区域面积内总点数的比例，具体计算为：监控区域中前景点总数除以监控区域面积内总点数，z的取值范围为0～100％。

作为一种优选的方式，阻塞程度值计算具体包括：每秒统计一次，每次都是从当前时刻算起往前120s内的数据来统计前景点占比z；

每帧图像都会计算出一个z值，根据帧率×秒数可得到一段时间内总共有m个z值，然后把这些z值累加求和，再除以m得到这段时间内的z的平均值，最后得到阻塞程度值；

若持续超过30秒，z的平均值大于等于50％，阻塞程度值为1；

若持续超过60秒，z的平均值大于等于50％，阻塞程度值为2；

若持续超过90秒，z的平均值大于等于50％，阻塞程度值为3；

若持续超过10秒，z的平均值小于50％，阻塞程度值为0。

作为一种优选的方式，步骤(3)中采取相应策略具体为：

阻塞程度值为1时，告警逻辑单元向多媒体提示单元发出指令，多媒体提示单元播放劝导语音，提醒入口处乘客注意缓行，出口处乘客请勿滞留；

阻塞程度值为2时，告警逻辑单元同时向多媒体提示单元和梯控单元发出指令，多媒体提示单元播放劝导语音，梯控单元减缓扶梯运行速度；

阻塞程度值为3时，告警逻辑单元同时向多媒体提示单元和梯控单元发出指令，多媒体提示单元播放劝导语音，梯控单元逐渐停止扶梯运行；

阻塞程度值为0时，告警逻辑单元同时向多媒体提示单元和梯控单元发出指令，多媒体提示单元停止播放劝导语音；梯控单元根据情况进行调节，若扶梯已处于低速或停止状态，则逐渐恢复到正常速度；若本来就处于正常速度运行，则继续保持。