一种基于计算机视觉检测的电梯乘客危险行为智能识别预警系统的制作方法

本发明涉及视频监控技术领域，具体涉及一种基于计算机视觉检测的电梯乘客危险行为智能识别预警系统。

背景技术：

电梯给人们的生活带来了便捷，但是也对人们的安全发出了挑战。很多时候，人们在乘坐电梯的时候都会做出危险的行为，很容易出现意外。比如说，有很多乘客喜欢依靠在电梯门上，停留在厅门和桥门之间，在电梯桥厢内跳跃，用手、脚等阻碍电梯关门等等，这些都是危险行为，都很容易导致意外的发生。为了一个安全的生活环境，在很多小区、宾馆、大厦的电梯桥厢内都安装了视频监控装置。然而目前这些安装在电梯桥厢的视频监控系统和城市中很多地方安装的大部分视频监控系统一样，只是简单的录像；对于乘客在电梯桥厢中做出危险的行为，无法实时做出提醒。传统的视频监控系统有以下缺点：1)功能单一，只是简单的录像，存储，回放等功能，无法对监控场景进行实时的分析与处理；2)需要监控室内的监控人员长时间观看视频图像来对电梯桥厢内进行监控，但人眼具有容易疲劳的缺点，不可能时刻都保持警戒；3)有些大型小区的监控视频有几十甚至上百台摄像机，工作人员根本无法监看和管理；4)在一些人流量较大的商场里面，乘客较多情况下，安保人员很难实时监控和管理；5)大部分事件都是事后反应，没有在发现问题的时候及时提醒；6)目前电梯桥厢内几乎没有危险提醒，很多乘客会忽略自己的一些危险行为，这样很容易出现意外。

专利201510771338.1，公开了一种智能识别平台视频监控预警系统，包括前端设备摄像、分发服务中转、视频解码程序、视频分析程序、资源服务器、接收程序处理、数据库和ftp服务器、业务端显示。该视频监控预警系统采用霍夫直线检测，分类器+方向梯度直方图特征识别刀、棍，方向梯度直方图特征+分类器行人的识别的联合系统，确保在稍微复杂的环境中可以较为准确地检测到危险的刀或者棍，进而识别危险行为。上述专利采用事件检测，事件预警，事件查看联动的功能，实现了快捷、方便、高效的预警方式；采用社会力模型，实现了群体行为检测；采用颜色模型，运动模型结合的方式，针对视频监控系统开发的智能分析模块可同时对多种场合进行多样化多规则的智能分析；但是针对计算机视觉检测的电梯乘客危险行为并没有给出相应的技术方案。

技术实现要素：

(一)解决的技术问题

本发明的为了克服上述现有技术的缺陷问题，本发明提供一种基于计算机视觉检测的电梯乘客危险行为智能识别预警系统，通过检测电梯桥厢内乘客的行为，智能识别危险行为，智能的控制广播系统发出语音提醒，使电梯以更高的安全性服务用户。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于计算机视觉检测的电梯乘客危险行为智能识别预警系统，包括电梯门开关检测模块、图像采集模块、人体危险行为检测模块、控制模块；

所述电梯门开关检测模块用于检测电梯门处于什么状态，并将信息传送给图像采集模块；

所述图像采集模块用于收集电梯桥厢内部的视频信息，并将视频信息发送给人体危险行为检测模块；

所述人体危险行为检测模块针对视频对人体行为检测，获得是否有乘客作出危险行为的信息，将信息发送给控制模块；

所述控制模块根据实时获得的危险情况信息，控制电梯桥箱内部的广播系统发出语音提醒。

进一步地，所述人体危险行为检测模块包括视频预处理机构和人体行为分类器机构；

所述视频预处理机构将图像采集模块获取的原始视频信息处理成固定频率的灰度视频，并利用高斯滤波方法进行去噪处理，生成预处理视频，并将生成的预处理视频发送给人体行为分类器机构；

所述人体行为分类器机构对预处理视频依据实际摄像头下监控区域环境进行roi操作，提取出仅包含需要检测的人体的监控视频区域的视频；针对视频中的每帧图像通过用当前的该视频里的图像减去背景图像以去掉视频中无用的背景信息，再根据分块大小自适应选取阈值对图像进行分块，完成对人体目标的细分割，分离出人体区域和非人体区域；针对分割出来的人体区域进行边缘检测，再将边缘检测结果和背景差分结果进行“与”运算，从而提取出人体的前景轮廓模型；针对每一张图像提取人体前景轮廓模型，与人体危险行为图像模板库进行模板匹配，确定电梯桥厢中是否有乘客做出危险行为，并将信息通过互联网发送给控制模块。

进一步地，所述人体行为分类器机构工作包括以下步骤：

s1、前景提取；

s1.1、当接收到视频预处理机构发送来的预处理视频后，通过背景差分法，将当前视频ik的前后两帧与背景模型bk先做差分运算得到dk-1(x,y)和dk+1(x,y)，然后再做“或”运算，从而获得人体目标区域图像dk(x,y)；所述背景模型bk是桥厢封闭且空置时桥厢内安装位置固定的摄像头拍摄的图像；其中：

式中(x,y)为像素点的坐标，ik(x,y)为当前视频帧，bk(x,y)为背景图像模型，dk-1(x,y)和dk+1(x,y)表示当前帧的相邻两帧与固定的背景模型的二值化图像，dk(x,y)为人体目标区域图像，t表示阈值；

s1.2、对人体目标图像dk进行形态学膨胀等方法的处理，得到图像d′k；

s1.3、将差分结果图像dk-1(x,y)分成多个子模块，每个子模块大小为m×n,表示为dk(i,j),其中i＝1，2，…int(m/m),j＝1,2…,int(n/n)。通过比较每一块差分子模块的所有像素值总和与阈值t1的大小，判断整个子模块是属于人体目标还是背景，如果像素值总和大于阈值，则判决为背景，否则为人体目标,其中：

式中，dk(p,q)表示每一个查分子模块在(p,q)点的像素值，d′(i-j)表示查分图像第i行，第j列个子模块的所有像素值总和，t1为阈值；

s1.4、采用canny算子对图像分块提取的运动目标区域进行边缘检测，获得图像d″k；

s2、轮廓提取；将前面获取的图像d′k和d″k进行“与”运算，从而获得最终的前景轮廓图rk；

s3、模板匹配；对提取的前景轮廓采用模板匹配算法与人体危险行为图像模板库进行对比。

进一步地，所述步骤s3中的人体危险行为图像模板库是根据实景拍摄图像以所述边缘轮廓的形式对乘客在桥厢中的危险行为的图像进行的建模。

进一步地，所述步骤s3模板匹配包括以下步骤：

s3.1、根据实景拍摄图像以所述边缘轮廓的形式对乘客在桥厢中的危险行为的前景图像作为关键帧模板，求出人体的最小外接矩形，然后将最小外接矩形均匀划分为10*10个的分块用如下的公式计算每一个分块矩形中前景像素所占该块像素数的比例v，

将得到的100个比列值作为该模板的特征向量。这样每个样本的二值图像模板就被量化编码为一个特征向量vtest＝[v1,….,v100]；

s3.2、测试模板的特征向量vtest和每个标记过的待匹配模板的特征向量vdata,可以通过如下公式计算vtest与vdata之间的相关性，其中:

n为特征向量的个数；

s3.3、计算测试模板与待匹配模板之间的相似度p：

s3.4、根据贝叶斯最大后验概率决策准测选取相似度最大的模板作为所对应的危险行为识别的结果：识别结果＝argmax(p)。

进一步地，如果最大相似度argmax(p)<0.5，则判断该乘客没有做出危险动作；如果最大相似度argmax(p)≥0.5，则判断该乘客做出了危险动作。

进一步地，所述步骤s3.2中n为100。

(三)有益效果

本发明的有益效果：一种基于计算机视觉检测的电梯乘客危险行为智能识别预警系统，图像采集模块对摄像机安装位置技巧性选取，针对固定场景进行检测，具有更高的人体行为检测精确度；人体危险行为检测模块包括视频预处理机构和人体行为分类器机构，视频预处理机构将所述图像采集模块获取的原始视频信息处理成固定频率的灰度视频，并利用高斯滤波方法进行去噪处理，生成预处理视频，并将生成的预处理视频发送给所述人体行为分类机构；本发明通过确定电梯桥厢中是否有乘客做出危险行为，并将信息通过互联网发送给控制模块，智能的识别电梯桥箱内部有无乘客做出危险动作，并及时发出提醒，避免意外的发生，可以广泛应用于视频监控领域。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明预警系统原理框图；

图2为图像采集模块中摄像头和控制模块的广播喇叭的安装示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1，一种基于计算机视觉检测的电梯乘客危险行为智能识别预警系统，包括电梯门开关检测模块1、图像采集模块2、人体危险行为检测模块3、控制模块4。电梯门开关检测模块1用于检测电梯门处于什么状态(开或关)，并将该信息传送给图像采集模块2；图像采集模块2用于收集电梯桥厢内部的视频信息，并将该视频信息发送给人体危险行为检测模块3；人体危险行为检测模块3针对该视频对人体行为检测，获得是否有乘客作出危险行为的信息，将该信息发送给控制模块4；控制模块4根据实时获得的危险情况信息，控制电梯桥厢内部的广播系统发出语音提醒。

图像采集模块2主要由摄像头、视频线、视频采集卡等物理硬件构成。如图2所示，电梯桥厢内的摄像头在正上方中央部位垂直向下俯视桥厢，捕获电梯桥厢内的视频信息，通过视频线和视频收集卡将数据传送到本地盘进行存储。

人体危险行为检测模块3包括视频预处理机构31和人体行为分类器机构32。视频预处理机构31将图像采集模块获取的原始视频信息处理成固定频率的灰度视频，并利用高斯滤波方法进行去噪处理，生成预处理视频，并将生成的预处理视频发送给人体行为分类器机构32。人体行为分类器机构32对预处理视频依据实际摄像头下监控区域环境进行roi操作，提取出仅包含需要检测的人体的监控视频区域的视频；针对视频中的每帧图像通过用当前的该视频里的图像减去背景图像以去掉视频中无用的背景信息，再根据分块大小自适应选取阈值对图像进行分块，完成对人体目标的细分割，分离出人体区域和非人体区域；针对分割出来的人体区域进行边缘检测，再将边缘检测结果和背景差分结果进行“与”运算，从而提取出人体的前景轮廓模型；针对每一张图像提取人体前景轮廓模型，与人体危险行为图像模板库进行模板匹配，确定电梯桥厢中是否有乘客做出危险行为，并将信息通过互联网发送给控制模块。

人体行为分类器机构工作包括以下步骤：

s1、前景提取；

s1.1、当接收到视频预处理机构发送来的预处理视频后，通过背景差分法，将当前视频ik的前后两帧与背景模型bk先做差分运算得到dk-1(x,y)和dk+1(x,y)，然后再做“或”运算，从而获得人体目标区域图像dk(x,y)；所述背景模型bk是桥厢封闭且空置时桥厢内安装位置固定的摄像头拍摄的图像；其中：

式中(x,y)为像素点的坐标，ik(x,y)为当前视频帧，bk(x,y)为背景图像模型，dk-1(x,y)和dk+1(x,y)表示当前帧的相邻两帧与固定的背景模型的二值化图像，dk(x,y)为人体目标区域图像，t表示阈值；

s1.2、对人体目标图像dk进行形态学膨胀等方法的处理，得到图像d′k；

s1.3、将差分结果图像dk-1(x,y)分成多个子模块，每个子模块大小为m×n,表示为dk(i,j),其中i＝1，2，…int(m/m),j＝1,2…,int(n/n)。通过比较每一块差分子模块的所有像素值总和与阈值t1的大小，判断整个子模块是属于人体目标还是背景，如果像素值总和大于阈值，则判决为背景，否则为人体目标,其中：

式中，dk(p,q)表示每一个查分子模块在(p,q)点的像素值，d′(i-j)表示查分图像第i行，第j列个子模块的所有像素值总和，t1为阈值；

s1.4、采用canny算子对图像分块提取的运动目标区域进行边缘检测，获得图像d″k；

s2、轮廓提取；将前面获取的图像d′k和d″k进行“与”运算，从而获得最终的前景轮廓图rk；

s3、模板匹配；对提取的前景轮廓采用模板匹配算法与人体危险行为图像模板库进行对比。步骤s3中的人体危险行为图像模板库是根据实景拍摄图像以所述边缘轮廓的形式对乘客在桥厢中的危险行为的图像进行的建模。

步骤s3模板匹配包括以下步骤：

s3.1、根据实景拍摄图像以所述边缘轮廓的形式对乘客在桥厢中的危险行为的前景图像作为关键帧模板，求出人体的最小外接矩形，然后将最小外接矩形均匀划分为10*10个的分块用如下的公式计算每一个分块矩形中前景像素所占该块像素数的比例v，

将得到的100个比列值作为该模板的特征向量。这样每个样本的二值图像模板就被量化编码为一个特征向量vtest＝[v1,….,v100]；

s3.2、测试模板的特征向量vtest和每个标记过的待匹配模板的特征向量vdata,可以通过如下公式计算vtest与vdata之间的相关性，其中:

n为特征向量的个数，n可以为100；

s3.3、计算测试模板与待匹配模板之间的相似度p：

s3.4、根据贝叶斯最大后验概率决策准测选取相似度最大的模板作为所对应的危险行为识别的结果：识别结果＝argmax(p)；如果最大相似度argmax(p)<0.5，则判断该乘客没有做出危险动作；如果最大相似度argmax(p)≥0.5，则判断该乘客做出了危险动作。

控制模块根据实时获得的乘客行为信息，控制电梯桥厢内部的广播系统发出语音提醒，可以有效的避免意外的发生，让乘客安全文明的乘坐电梯，提高电梯的安全使用性。本发明可以通过dsp对视频数据流进行处理并分析判断人体的行为。通过自动检测人体以及人体行为等算法，智能的提取、分析和理解视频源中的关键信息，对乘客依靠在电梯门上，停留在厅门和桥门之间，在电梯桥厢内跳跃，用手、脚等阻碍电梯关门等等危险行为进行识别，在出现危险行为及时发出语音提醒，这样可以尽量避免意外的发生，从而提高乘客乘坐电梯的安全性，也可以提高人们安全文明乘坐电梯的意识，同时也可以减轻一些安保人员的工作强度。

综上所述，本发明实施例，基于计算机视觉检测的电梯乘客危险行为智能识别预警系统，包括电梯门开关检测模块、图像采集模块、人体危险行为检测模块、控制模块；电梯门开关检测模块用于检测电梯门处于什么状态(开或关)，并将该信息传送给图像采集模块；图像采集模块用于收集电梯桥厢内部的视频信息，并将该视频信息发送给所述人体危险行为检测模块；人体危险行为检测模块针对该视频对人体行为检测，获得是否有乘客作出危险行为的信息，将该信息发送给所述控制模块；控制模块根据实时获得的危险情况信息，控制电梯桥箱内部的广播系统发出语音提醒。本发明的图像采集模块对摄像机安装位置技巧性选取，针对固定场景进行检测，具有更高的人体行为检测精确度。本发明的人体危险行为检测模块包括视频预处理机构和人体行为分类器机构；视频预处理机构将所述图像采集模块获取的原始视频信息处理成固定频率的灰度视频，并利用高斯滤波方法进行去噪处理，生成预处理视频，并将生成的预处理视频发送给所述人体行为分类机构；人体行为分类器机构对预处理视频依据实际摄像头下监控区域环境进行roi操作，该操作用于提取出仅包含需要检测的人体的监控视频区域的视频；针对该视频中的每帧图像通过用当前的该视频里的图像减去背景图像以去掉视频中无用的背景信息，然后再根据分块大小自适应选取阈值对图像进行分块，完成对人体目标的细分割，分离出人体区域和非人体区域；针对分割出来的人体区域进行边缘检测，再将边缘检测结果和背景差分结果进行“与”运算，从而提取出人体的前景轮廓模型；针对每一张图像提取人体前景轮廓模型，与人体行为图像模板库进行模板匹配，确定电梯桥厢中是否有乘客做出危险行为，并将信息通过互联网发送给所述控制模块，从而可以智能的识别电梯桥箱内部有无乘客做出危险动作，并及时发出提醒，避免意外的发生，可以广泛应用于视频监控领域。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。