专利名称：一种乘客计数系统及方法
技术领域：
本发明涉及一种乘客数量的统计系统及方法，具体来说，是涉及一种采用计算机智能采集、处理并分析视频的计数系统及方法。
背景技术：
早期的客流统计方式 是采用人工统计的方法，即在一段时间内，连续地对关键目标区域进行观测并计算客流数量。但人工统计存在很多不足，首先，人工统计的误差比较大，尤其是在客流量大的时候。其次，客流量的密度是动态的，某一段时间的客流量并不能代表所有时间的客流量。所以人工统计的方法只能用于定性的了解，并不能用于实际的统计分析，而且遇到突发情况无法及时做出反映。随着计算机视觉技术以及模式识别技术的不断发展，如今的客流统计方法已经开始进入计算机自动化检测分析的阶段，出现了采用摄像头捕捉客流视频，结合计算机视觉中相关的图像运动检测以及模式识别等技术进行人流统计的方法。这些方法简单直观，成本低，不仅不会对客流造成任何干扰，而且统计结果更加准确、实吋，更加容易存储。作为ー个新兴的领域，视频客流统计是ー门以计算机视觉中的图像、视频处理技术为基础，结合模式识别，涉及了物理、生物、数学等学科的知识，以能够按照事先规定的统计规则准确统计出视频当中行人的数量、人流方向等信息为目的的技木。但现阶段客流统计方法还处于研究发展的阶段，统计场景复杂多变导致技术还不够成熟，实时性有待提高，在某些人流拥挤、光照条件不佳及异常行为出现的情况下，还是存在一定的误差。如中国专利申请CN200710172336. 6所公开的密集客流计数和行人步行速度自动检测方法及系统，其通过计算机视觉算法对采集到的视频图像进行处理，进行人脸识别，然后进行触发计数。但是由于对人脸识别产生的偏差或在某些人流拥挤和异常行为出现的情况下，还是存在一定的误差。针对上述问题，中国专利申请CN201010607822. 8公开了ー种基于头部识别的人群计数方法及装置，其通过从视频图像中提取头部检测区域，跟踪头部检测区域从而获得头部区域的运动轨迹，最后根据该运动轨迹获取人数。该方法克服了由于人群拥挤或其它物体的干扰，可以实现更为精确的客流人数计数。但是仍然由于人脸识别可能产生的偏差及某些异常行为的出现导致计数结果出现误差。后来，又有中国专利申请CN201120083887. 7公开了ー种车辆上下车人数智能计数实现装置，其采用双排矩阵红外发光管和接收管对上下车人群对红外光的遮挡情况以进行人数的计数并用摄像机进行模式识别，对人数的计数进行偏差调整，但该调整任然难以避免人群拥挤时对红外光的遮挡情况变化大，存在误差的缺点。
发明内容
针对上述问题，本发明提供ー种乘客计数系统及方法，该计数系统及方法可在长途客车人流拥挤或光照条件不佳的情况下，提供准确、实时和全天候的乘客计数。
本发明的第一个目的是提供ー种乘客计数系统，通过以下技术手段实现包括依次连接的乘客视频采集模块、视频数据处理模块、视频数据分析模块、乘客计数模块、上下车方向识别模块；所述乘客视频采集模块包括激光发射器、视频采集卡、摄像头，用于实现乘客上下车视频图像的采集；所述视频数据处理模块用于实现视频图像中激光线高度的提取，井根据提取的高度信息生成对应的高度图；
所述视频数据分析模块用以对高度图中乘客的团块进行分析理解，分辨ー个团块中是否包含多个乘客；所述乘客计数模块用于计算上下车乘客的个数；所述上下车方向识别模块用于分辨乘客的行为方向是上车还是下车。本发明还可做以下改进所述视频数据处理模块包括噪声去除模块、高度特征提取模块、高度图生成模块；所述噪声去除模块对采集视频中的高亮噪声点进行去噪，去噪之后的视频仅保留激光特征，从而将对可能影响系统有效性以及准确性的噪声外点排除，得到可信的、影响因素较少的视频数据，以增强输入视频的可靠性；所述高度特征提取模块首先根据预定的阈值对视频进行ニ值化处理，然后根据激光光束在视频中的投影，自动截取指定视频区域之上的激光光束，判定激光光束的高度是否发生了变化，并提取变化时候激光光束的高度特征信息；所述高度图生成模块通过计算每ー个激光点在纵轴上的偏移量，从而得到的高度特征信息，并以时间坐标轴整合高度特征，生成以行人团块为主要内容的高度图。所述视频数据分析模块包括对行人团块的块宽度计算模块、块梯度计算模块以及对梯度的波峰检测模块；所述块宽度计算模块自动确定高度图中行人团块最左端以及最右端、最上端以及最下端的顶点位置，通过顶点位置计算块宽度，如块宽度大于I. 5倍正常人的肩宽或者高度，则模块将提示系统，该团块包含ー个以上的乘客，需要对该团块进行特殊处理，分解出团块中的多个乘客；所述块梯度计算模块沿着横轴计算局部窗口中行人团块的平均垂直方向梯度；所述波峰检测模块对块梯度计算模块中计算得到的行人团块的平均垂直方向梯度，根据设定的阈值检测局部的梯度峰值。所述乘客计数模块利用局部平均梯度，包含多个乘客的候选团块在本模块中根据检测得到的局部波峰进行分割，并统计团块数目从而得到乘客个数。所述上下车方向识别模块的工作模式为，比对高度图中乘客团块上边缘的高度与下边缘的高度，如果大于一定的阈值，则说明激光光束从下往上扫描到该乘客，该乘客正在执行下车的动作；反之，如果上边缘的高度与下边缘的高度相比小于一定的阈值，则说明激光光束从上往下扫描到该乘客，该乘客正在执行上车的动作。所述的视频采集系统使用SOOnm以上波长激光发射器。所述摄像头为带有可见光截止滤光片的C⑶摄像头，即能使SOOnm以上光波高透过，400-750nm可见光截止的滤光片，用于接收反射的激光光束，同时过滤可见光，排除800nm以下的可见光波对采集视频的影响。所述激光发射器为一字型或者星型，用于将激光光束以一字型或者星型的形状投射到长途客车的乘客上车区域。所述视频分析模块设置人工控制的接ロ，能够以人工介入的形式，对团块的大小，高度图阈值以及团块包含的行人数量进行手工分析调整；同时模块还设置有人工智能自学习机制，能够通过对人工调整的參数进行学习，构造调整决策树，优化系统性能。 激光发射器以及带滤光片摄像头的安放位置的选定是根据激光发生器以及带滤光片摄像头的安放的高度以及行人的平均高度确定，并通过调整激光发生器以及摄像头的仰角，减少产生的行人团块的重叠，从而确保视频采集系统高效、稳定地工作。本发明的第二个目的是提供ー种乘客计数方法，包括以下步骤I)环境部署将激光发射器以及摄像头放置于预定位置，并将摄像头连接视频采集卡;2)乘客视频采集通过部署好的摄像头,采集包含激光线的乘客上下车视频；当乘客经过激光光束时，激光反射光束的高度会发生变化，并由摄像头进行采集；3)视频数据处理对采集到得视频数据信息进行噪声过滤，井根据设定的阈值对视频进行ニ值化处理，再根据激光光束在视频中的投影，自动截取指定视频区域之上的激光光束，并提取变化时候激光光束的高度特征信息，生成对应的高度图；4)视频数据分析根据步骤3)中得到的高度图进行宽度检测、梯度检测，检测是否存在多个乘客混合的团块，如果存在，则通过波峰检测对多个乘客进行分离；5)乘客计数根据团块分离的结果，计算指定时间内乘客数量；6)方向分析计算高度图乘客块中的高度变化趋势，从而确定激光光束对乘客的扫面方向,最终确定乘客行为的方向。本发明还可做以下改进步骤I)中，所述激光发射器发射的激光波长在800nm以上，有效角度为120°以上，摄像头带有可见光截止滤光片，使摄像头只接收激光的反射。激光发生器以及摄像头的角度根据长途客车上下车区域的大小決定。步骤4)中，所述宽度检测为自动确定行人团块中最左端以及最右端、最上端以及最下端的顶点位置，通过顶点位置计算块宽度，如块宽度大于I. 5倍正常人的肩宽或者高度，则提示该团块包含ー个以上的乘客；所述梯度检测为沿着横轴计算局部窗ロ中行人团块的平均垂直方向梯度；所述波峰检测为根据设定的阈值检测局部的梯度峰值，然后根据检测得到的局部波峰进行分割，即对多个乘客进行分离。步骤6)中，所述分析激光光束对乘客的扫面方向的具体模式为，如检测到激光光束从下往上扫描到该乘客，则该乘客正在执行下车的动作；反之，如激光光束从上往下扫描到该乘客，则该乘客正在执行上车的动作。与现有技术相比，本发明具有的有益效果为I)本发明的ー种乘客计数系统及方法，克服了现有计算机视觉以及模式识别技术在人流拥挤或光照条件不佳的情况下，容易出现误差的缺点，可在任何自然条件下提供准确、实时和全天候的乘客计数。
2)本发明的ー种乘客 计数系统及方法，该技术基于人经过时激光反射光束的位置变化来进行乘客统计，较以前的基于数字图像分析的方法算法简单、计数结果准确稳健。3)本发明的ー种乘客计数系统及方法，该技术使用激光发射器、配备带通滤波器的摄像头以及相应算法，因此受外界环境的影响小，即使夜晚也可工作，实现全天候运行。4)本发明的ー种乘客计数系统及方法，该技术应用了一字型以及星型的激光发生器，分别以线和面的覆盖方法，对上下车的乘客做全方面的扫描分析，使乘客计数结果更加准确快速。
图I为本发明的乘客计数系统整体模块框图；图2为本发明的乘客计数方法操作流程图；图3为本发明的乘客计数方法视频数据处理流程图；图4为本发明的乘客计数方法视频数据分析流程图。
具体实施例方式以下结合附图和实施例对本发明做进ー步说明，但并不对本发明造成任何限制。实施例I如图I所示，ー种乘客计数系统，包括依次连接的乘客视频采集模块、视频数据处理模块、视频数据分析模块、乘客计数模块、上下车方向识别模块；所述乘客视频采集模块包括激光发射器、视频采集卡、摄像头，用于实现乘客上下车视频图像的采集；所述的视频采集系统使用SOOnm以上波长激光发射器。所述摄像头为带有可见光截止滤光片的CXD摄像头，即能使800nm以上光波高透过，400_750nm可见光截止的滤光片，用于接收反射的激光光束，同时过滤可见光，排除SOOnm以下的可见光波对采集视频的影响。所述激光发射器为一字型或者星型，用于将激光光束以一字型或者星型的形状投射到长途客车的乘客上车区域。所述视频数据处理模块用于实现视频图像中激光线高度的提取，井根据提取的高度信息生成对应的高度图；所述视频数据处理模块包括噪声去除模块、高度特征提取模块、高度图生成模块；所述噪声去除模块对采集视频中的高亮噪声点进行去噪，去噪之后的视频仅保留激光特征，从而将对可能影响系统有效性以及准确性的噪声外点排除，得到可信的、影响因素较少的视频数据，以增强输入视频的可靠性；所述高度特征提取模块首先根据预定的阈值对视频进行ニ值化处理，然后根据激光光束在视频中的投影，自动截取指定视频区域之上的激光光束，判定激光光束的高度是否发生了变化，并提取变化时候激光光束的高度特征信息；所述高度图生成模块通过计算每ー个激光点在纵轴上的偏移量，从而得到的高度特征信息，并以时间坐标轴整合高度特征，生成以行人团块为主要内容的高度图。所述视频数据分析模块用以对高度图中乘客的团块进行分析，分辨ー个团块中是否包含多个乘客；所述视频数据分析模块包括对行人团块的块宽度计算模块、块梯度计算模块以及对梯度的波峰检测模块；所述块宽度计算模块自动确定高度图中行人团块最左端以及最右端、最上端以及最下端的顶点位置，通过顶点位置计算块宽度，如块宽度大于I. 5倍正常人的肩宽或者高度，则模块将提示系统，该团块包含ー个以上的乘客，需要对该团块进行特殊处理，分解出团块中的多个乘客；所述块梯度计算模块沿着横轴计算局部窗ロ中行人团块的平均垂直方向梯度；所述波峰检测模块对块梯度计算模块中计算得到的行人团块的平均垂直方向梯度，根据设定的阈值检测局部的梯度峰值。所述乘客计数模块用于计算上下车乘客的个数；其利用局部平均梯度，包含多个乘客的候选团块在本模块中根据检测得到的局部波峰进行分割，并统计团块数目从而得到乘客个数。
所述上下车方向识别模块用于分辨乘客的行为方向是上车还是下车。所述上下车方向识别模块的工作模式为，比对高度图中乘客团块上边缘的高度与下边缘的高度，如果大于一定的阈值，则说明激光光束从下往上扫描到该乘客，该乘客正在执行下车的动作；反之，如果上边缘的高度与下边缘的高度相比小于一定的阈值，则说明激光光束从上往下扫描到该乘客，该乘客正在执行上车的动作。所述视频分析模块设置人工控制的接ロ，能够以人工介入的形式，对团块的大小，高度图阈值以及团块包含的行人数量进行手工分析调整；同时模块还设置有人工智能自学习机制，能够通过对人工调整的參数进行学习，构造调整决策树，优化系统性能。激光发射器以及带滤光片摄像头的安放位置的选定是根据激光发生器以及带滤光片摄像头的安放的高度以及行人的平均高度确定，并通过调整激光发生器以及摄像头的仰角，减少产生的行人团块的重叠，从而确保视频采集系统高效、稳定地工作。上述乘客计数系统的工作流程为一、激光发射器发生激光束到客车的上下车区域上，摄像头接收反射的激光光束，同时过滤可见光，记录采集到的视频数据。ニ、在采集得到的乘客视频中，对视频中的可能影响分析的高亮噪声点进行去除，去噪之后的视频仅保留激光的反射点；再根据激光光束在视频中的投影，自动截取指定视频区域之上的激光光束，提取变化时候激光光束的高度特征信息；最后计算每ー个激光点在纵轴上的偏移量，从而得到的高度特征信息，并以时间坐标轴整合高度特征，生成高度图。三、对高度图中乘客的团块进行分析，确定乘客团块中四周的最值顶点位置，通过顶点位置计算块宽度，如块宽度大于I. 5倍正常人的肩宽或者高度，则提示该团块包含一个以上的乘客，需要对该团块进行特殊处理，分解出团块中的多个乘客；然后沿着横轴计算局部窗口中乘客块的平均垂直方向梯度；然后根据设定的阈值检测局部的梯度峰值。四、利用局部平均梯度，对包含多个乘客的候选团块在本模块中根据检测得到的局部波峰进行分割，并统计团块数目，得到乘客个数。五、辨别乘客越过激光光束的动作是上车还是下车，若一个乘客触屏到激光光束的时候，激光光束从下往上扫描到该乘客，则该乘客正在执行下车的动作，如激光光束从上往下扫描到该乘客，则该乘客正在执行上车的动作。实施例2如图2所示，ー种乘客计数方法，包括以下步骤I)环境部署将激光发射器以及摄像头放置于预定位置，并将摄像头连接视频采集卡；所述激光发射器发射的激光波长在800nm以上,有效角度为120°以上,摄像头带有可见光截止滤光片，使摄像头只接收激光的反射。激光发生器以及摄像头的角度根据长途客车上下车区域的大小決定。
2)乘客视频采集通过部署好的摄像头,采集包含激光线的乘客上下车视频；当乘客经过激光光束吋，带通滤波器的摄像头只接收激光的反射，激光反射光束的高度会发生变化，并由摄像头进行采集；3)视频数据处理如图3所示的视频数据处理模块的流程图，当视频采集系统模块开始采集乘客视频时，该模块根据预定的阈值对视频进行ニ值化处理，根据激光发生器的类型，对视频中像素点的灰度值做3*3或者1*5的平均，对可能影响系统有效性以及准确性的噪声外点进行排除，使得视频信息不受噪声影响。然后选取一定的高度阈值，提取高度大于该阈值的像素点并计算其高度，最后，以纵轴为时间轴，生成对应的高度图。4)视频数据分析如图4所示的视频数据分析模块的流程图，当往该模块输入高度图时，模块首先确定乘客团块中四周上下左右的最值顶点位置，通过顶点位置计算块宽度。然后根据乘客块的宽度是否大于I. 5倍正常人的宽度来判断是否需要对团块进行分解。如果需要进行分解，则沿着横轴计算局部窗口中乘客块的平均垂直方向梯度。对计算得到的乘客块的平均垂直方向梯度，根据设定的阈值检测局部的梯度峰值。最后根据得到的梯度峰值来对包含多个乘客的团块进行分割，并再一次确定分割完成的团块是否符合正常的宽度，如果符合则返回该单个乘客的高度图，否则则重复前一歩的处理过程。5)乘客计数根据团块分离的结果，计算指定时间内乘客数量。6)方向分析计算高度图乘客块中的高度变化趋势，从而确定激光光束对乘客的扫面方向,最终确定乘客行为的方向；所述分析激光光束对乘客的扫面方向的具体模式为，如检测到激光光束从下往上扫描到该乘客,则该乘客正在执行下车的动作；反之,如激光光束从上往下扫描到该乘客，则该乘客正在执行上车的动作。以上内容是结合具体的优选实施方式对本发明所作的进ー步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
权利要求
1.一种乘客计数系统，其特征在于包括依次连接的乘客视频采集模块、视频数据处理模块、视频数据分析模块、乘客计数模块、上下车方向识别模块； 所述乘客视频采集模块包括激光发射器、视频采集卡、摄像头，用于实现乘客上下车视频图像的采集； 所述视频数据处理模块用于实现视频图像中激光线高度的提取，并根据提取的高度信息生成对应的高度图； 所述视频数据分析模块用以对高度图中乘客的团块进行分析理解，分辨一个团块中是否包含多个乘客； 所述乘客计数模块用于计算上下车乘客的个数； 所述上下车方向识别模块用于分辨乘客的行为方向是上车还是下车。
2.根据权利要求I所述的乘客计数系统，其特征在于所述视频数据处理模块包括噪声去除模块、高度特征提取模块、高度图生成模块； 所述噪声去除模块对采集视频中的高亮噪声点进行去噪，去噪之后的视频仅保留激光特征； 所述高度特征提取模块首先根据预定的阈值对视频进行二值化处理，然后根据激光光束在视频中的投影，自动截取指定视频区域之上的激光光束，判定激光光束的高度是否发生了变化，并提取变化时候激光光束的高度特征信息； 所述高度图生成模块通过计算每一个激光点在纵轴上的偏移量，从而得到的高度特征信息，并以时间坐标轴整合高度特征，生成以行人团块为主要内容的高度图。
3.根据权利要求2所述的乘客计数系统，其特征在于所述视频数据分析模块包括对行人团块的块宽度计算模块、块梯度计算模块以及对梯度的波峰检测模块； 所述块宽度计算模块自动确定高度图中行人团块最左端以及最右端、最上端以及最下端的顶点位置，通过顶点位置计算块宽度，如块宽度大于I. 5倍正常人的肩宽或者高度，则模块将提示系统，该团块包含一个以上的乘客，需要对该团块进行特殊处理，分解出团块中的多个乘客； 所述块梯度计算模块沿着横轴计算局部窗口中行人团块的平均垂直方向梯度； 所述波峰检测模块对块梯度计算模块中计算得到的行人团块的平均垂直方向梯度，根据设定的阈值检测局部的梯度峰值。
4.根据权利要求3所述的乘客计数系统，其特征在于所述乘客计数模块利用局部平均梯度，包含多个乘客的候选团块在本模块中根据检测得到的局部波峰进行分割，并统计团块数目从而得到乘客个数。
5.根据权利要求4所述的乘客计数系统，其特征在于所述上下车方向识别模块的工作模式为，比对高度图中乘客团块上边缘的高度与下边缘的高度，如果大于一定的阈值，则说明激光光束从下往上扫描到该乘客，该乘客正在执行下车的动作；反之，如果上边缘的高度与下边缘的高度相比小于一定的阈值，则说明激光光束从上往下扫描到该乘客，该乘客正在执行上车的动作。
6.根据权利要求1-5中任一项所述的乘客计数系统，其特征在于所述的视频采集系统使用SOOnm以上波长激光发射器；所述摄像头为带有可见光截止滤光片的CCD摄像头；所述激光发射器为一字型或者星型。
7.根据权利要求6所述的乘客计数系统，其特征在于所述视频分析模块设置人工控制的接口，能够以人工介入的形式，对团块的大小，高度图阈值以及团块包含的行人数量进行手工分析调整；同时模块还设置有人工智能自学习机制，能够通过对人工调整的参数进行学习，构造调整决策树，优化系统性能。
8.根据权利要求7所述的乘客计数系统，其特征在于激光发射器以及带滤光片摄像头的安放位置的选定是根据激光发生器以及带滤光片摄像头的安放的高度以及行人的平均高度确定，并通过调整激光发生器以及摄像头的仰角，减少产生的行人团块的重叠，从而确保视频采集系统高效、稳定地工作。
9.一种乘客计数方法，其特征在于包括以下步骤 1)环境部署将激光发射器以及摄像头放置于预定位置，并将摄像头连接视频采集卡; 2)乘客视频采集通过部署好的摄像头，采集包含激光线的乘客上下车视频；当乘客经过激光光束时，激光反射光束的高度会发生变化，并由摄像头进行采集； 3)视频数据处理对采集到得视频数据信息进行噪声过滤，并根据设定的阈值对视频进行二值化处理，再根据激光光束在视频中的投影，自动截取指定视频区域之上的激光光束，并提取变化时候激光光束的高度特征信息，生成对应的高度图； 4)视频数据分析根据步骤3)中得到的高度图进行宽度检测、梯度检测，检测是否存在多个乘客混合的团块，如果存在，则通过波峰检测对多个乘客进行分离； 5)乘客计数根据团块分离的结果，计算指定时间内乘客数量； 6)方向分析计算高度图乘客块中的高度变化趋势，从而确定激光光束对乘客的扫面方向，最终确定乘客行为的方向。
10.根据权利要求9所述的乘客计数方法，其特征在于步骤I)中，所述激光发射器发射的激光波长在SOOnm以上，有效角度为120°以上，摄像头带有可见光截止滤光片； 步骤4)中，所述宽度检测为自动确定行人团块中最左端以及最右端、最上端以及最下端的顶点位置，通过顶点位置计算块宽度，如块宽度大于I. 5倍正常人的肩宽或者高度，则提示该团块包含一个以上的乘客；所述梯度检测为沿着横轴计算局部窗口中行人团块的平均垂直方向梯度；所述波峰检测为根据设定的阈值检测局部的梯度峰值，然后根据检测得到的局部波峰进行分割，即对多个乘客进行分离； 步骤6)中，所述分析激光光束对乘客的扫面方向的具体模式为，如检测到激光光束从下往上扫描到该乘客，则该乘客正在执行下车的动作；反之，如激光光束从上往下扫描到该乘客，则该乘客正在执行上车的动作。
全文摘要
本发明的一种乘客计数系统及方法，属于乘客数量的统计技术领域。本发明的第一个目的是提供一种乘客技术系统，包括依次连接的乘客视频采集模块、视频数据处理模块、视频数据分析模块、乘客计数模块、上下车方向识别模块；第二个目的是提供一种乘客计数方法，包括以下步骤环境部署、乘客视频采集、视频数据处理、视频数据分析、乘客计数、方向分析。本发明通过各模块的协同工作，克服了现有计算机视觉以及模式识别技术在人流拥挤或光照条件不佳的情况下，容易出现误差的缺点，可在任何自然条件下提供准确、实时和全天候的乘客计数。
文档编号G06K9/00GK102622578SQ20121002497
公开日2012年8月1日 申请日期2012年2月6日 优先权日2012年2月6日
发明者刘宁, 林宇, 蒋维娜 申请人:中山大学