基于自适应阈值的智能乘客流量自动统计方法
【专利摘要】本发明公开了一种基于自适应阈值的智能乘客流量自动统计方法，该方法包括以下步骤：通过监控设备实时采集一检测区域的视频序列，并对采集得到的视频序列提取前景运动目标；根据实际应用场景和摄像头到检测区域的距离，设置乘客流量检测框的位置和大小；基于视频信息和所述乘客流量检测框，通过非监督学习产生自适应阈值；采用基于几何学原理的方法对于所述乘客流量检测框进行乘客上车或下车行为的判定；根据判定结果和所述自适应阈值，对于客流量进行判定与统计。本发明简单而又高效，实时性和可移植性强，适用于智能客车客流量的自动统计。
【专利说明】基于自适应阈值的智能乘客流量自动统计方法 【技术领域】
[0001] 本发明涉及视频处理、图像处理等视频智能分析【技术领域】，特别是涉及一种基于 自适应阈值的智能乘客流量自动统计方法。 【背景技术】
[0002] 人流量自动统计是智能视频监测系统中一个重要的功能，它能有效地应用于商 场、公交车、地铁出入口等公共场所。智能公交是未来公共交通发展的必然模式，对公交客 车乘客流量的自动统计对实现公交的智能化有着重要的意义。
[0003] 目前已有的基于计算机视觉技术的人流量统计方法主要包括以下几类：
[0004] (1)基于人头或头肩检测和跟踪的方法。该方法在于有效地检测视频中的人头 或者头肩，并对其进行跟踪以达到统计人流量的目的。比如：申请号为201210208666. 7， 发明名称为"一种基于视频分析技术的人流量统计方法"， 申请人:为武汉烽火众智数字 技术有限责任公司的专利申请，根据对人头特征和人体局部特征的检测和识别进行人头 特征区域检测，并采用跟踪技术得到行人运动轨迹以判定行人的方向和流量；申请号为 PCT/CN2010/070607,发明名称为"人流量统计的方法及系统"， 申请人:为杭州海康威视软 件有限公司的专利申请，则采用并联的多类人头分类器检测各个人头，并分别对各个人头 进行跟踪形成人头目标运动轨迹，最后根据该运动轨迹方向进行人流量计数；申请号为 201210316862,发明名称为"基于智能视觉感知的电梯人流量统计方法及系统"， 申请人:为 电子科技大学的专利申请，根据提前建立的头肩模型库检测实时图像中的目标，并进行跟 踪以达到人流量统计的目的。该类方法需要提取人头或头肩的有效特征或者进行大量正反 样本的训练以产生有效的分类器，以实现准确的人头或头肩的检测，但其容易产生较高的 虚警率，而且需要跟踪技术获取目标运动轨迹，这大大增加了算法的运算量。
[0005] (2)基于人体分割的方法。该类方法对视频序列进行人体检测，需要人体的先验知 识，比如人体形状，边缘信息等，以统计行人流量。比如：申请号为201110423349,发明名称 为"一种基于多高斯计数模型的人流量统计方法"， 申请人:为重庆邮电大学的专利申请，利 用带人数标记的训练视频序列图像样本建立多高斯计数模型，然后基于该模型分析未知运 动目标区域中包含的行人个数，从而实现人流量统计；申请号为201110147358,发明名称 为"基于启发信息的行人流量统计方法"， 申请人:为杭州电子科技大学的专利申请，则采用 基于梯度方向直方图的方法进行行人检测，并通过若干检测结果与特定区域上的点的比值 关系产生权重，最后采用稀疏光流法确定运动矢量的大小和方向，以达到行人流量统计的 目的。该类方法不仅难以有效解决遮挡问题，而且对人体特征的检测运算量较大，难以实现 实时检测。
【发明内容】
[0006] 本发明的目的在于克服现有技术存在的缺点和不足，提供一种快速而又高效的基 于自适应阈值的智能乘客流量自动统计方法，该方法采用非监督学习的方法产生自适应阈 值来进行人数判定，以及采用基于几何学原理的方法进行乘客上下车的判定，并结合视频 处理技术，达到准确、实时地对智能公交乘客流量进行统计，最后再将乘客流量统计结果通 过有线或无线通讯设备实时反馈到公交调度中心和未到达的公交站台电子显示终端上，及 时为管理者和乘客提供实时的公交车载客信息。
[0007] 为了实现本发明的上述目的，本发明提供了一种基于自适应阈值的智能乘客流量 自动统计方法，该方法包括以下步骤：
[0008] 步骤1，通过监控设备实时采集一检测区域的视频序列，并对采集得到的视频序列 提取如景运动目标；
[0009] 步骤2,根据实际应用场景和摄像头到检测区域的距离，设置乘客流量检测框的位 置和大小；
[0010] 步骤3,基于视频信息和所述乘客流量检测框，通过非监督学习产生自适应阈值；
[0011] 步骤4,采用基于几何学原理的方法对于所述乘客流量检测框进行乘客上车或下 车行为的判定；
[0012] 步骤5,根据所述步骤4的判定结果和所述自适应阈值，对于客流量进行判定与统 计。
[0013] 本发明的有益效果在于：
[0014] (1)通过设置乘客流量检测框，可以缩小检测的范围，提高算法的效率；
[0015] (2)仅需获取检测框中的前景像素个数作为处理对象，而不需要进行复杂的识别 等操作，大大降低了算法的运算量，提高算法的实时性；
[0016] (3)对检测到的检测框中的前景像素个数进行非监督学习，进而产生自适应阈值， 用来区分一次经过检测框的人数，避免使用跟踪算法解决遮挡问题，进一步降低计算量；
[0017] (4)仅采用对检测框中的前景像素个数和检测框之间的几何学原理进行分析，即 可产生对乘客上车或下车事件的有效判定方法，提高了算法的速度和效率；
[0018] (5)通过无线传感器将流量统计结果发送到站台电子显示终端，增加了系统的实 用性。
[0019] 本发明简单易行，性能稳定，速度快，效率高，可移植性强，具有较强的实时性，适 用于智能公交客车的乘客流量统计。 【专利附图】
【附图说明】
[0020] 图1是本发明基于自适应阈值的智能乘客流量自动统计方法的流程图；
[0021] 图2根据本发明一实施例的乘客流量检测框设置示意图；
[0022] 图3根据本发明一实施例的乘客上车和下车判定的示意图；
【具体实施方式】 [0023] 图4根据本发明中基于自适应阈值的智能乘客流量自动统计方法实验仿真图。 【具体实施方式】 [0024]
[0025] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。
[0026] 本发明提出一种基于自适应阈值的智能乘客流量自动统计方法，该方法可用于公 共交通工具等乘客频繁出入的场所，为了方便起见，接下来以公交客车为例对于本发明进 行进一步的说明。
[0027] 图1为本发明基于自适应阈值的智能乘客流量自动统计方法的流程图。如图1所 示，所述方法包括如下步骤：
[0028] 步骤1，通过监控设备实时采集一检测区域的视频序列，并对采集得到的视频序列 提取如景运动目标；
[0029] 在本发明一实施例中，利用背景差分法结合形态学处理对采集得到的视频序列提 取前景运动目标，其中，背景差分法和形态学处理方法均为本领域技术人员熟知的图像处 理技术，在此不作赘述。
[0030] 在实际应用中，可选取公交客车的上车区域，比如前门区域作为乘客流量统计的 位置，监控摄像头可静止安装在公交客车内部前门区域的上方，并倾斜向下（不必完全垂 直向下）来提取客流信息，视频采集速度可设为25帧/秒。
[0031] 步骤2,根据实际应用场景和摄像头到检测区域的距离，设置乘客流量检测框的位 置和大小，其中，所述乘客流量检测框的位置设定在乘客进出的必经区域且所述乘客流量 检测框的长度大于乘客进出区域的宽度；
[0032] 图2为根据本发明一实施例的乘客流量检测框设置示意图，在本发明一实施例 中，在确保乘客流量统计效率的同时，尽可能的缩小检测范围，以提高检测速度，因此，乘客 流量检测框的长和宽在设置时需要满足以下约束条件：
[0033] i.检测框的宽度W满足：2Wh彡W彡3Wh ;
[0034] ii.检测框的长度L满足：L彡BC。
[0035] 其中，Wh为视频帧图像中圆型人头直径的估值，BC为检测区域的宽度，图2中，阴 影部分的矩形ABCD表示公交客车前门上车区域，BC为其宽度，位于中部的方框即为所设置 的乘客流量检测框。
[0036] 步骤3,基于视频信息和所述乘客流量检测框，通过非监督学习产生自适应阈值；
[0037] 所述步骤3进一步包括以下步骤：
[0038] 步骤31，统计前N帧图像中有乘客进入所述检测框时产生的非零前景像素值，得 到m(m〈N)个前景像素值；
[0039] 步骤32,采用K-means等聚类算法将前景像素值分为K类，取K类聚类中心值的均 值作为所述自适应阈值。
[0040] 对于公交客车，由于每次从前门上车的乘客最多为两个乘客，故K-means等聚类 算法中可将聚类数量K取为2。随着N的增大，不同乘客以不同方式上车的情况越来越全 面，数据容量m也越来越大，由聚类算法得到的阈值也就越来越适应乘客人数的判定。当 乘客进入检测框中产生的非零前景像素值大于该阈值时，则判定此次上车的乘客人数为2 人，否则为1人。
[0041] 步骤4,采用基于几何学原理的方法对于所述乘客流量检测框进行乘客上车或下 车行为的判定；
[0042] 考虑到实际公交客车的运营情况，在拥挤的情况下，客车前门也可能会存在乘客 下车的行为，所以为了精确统计公交客车乘客流量情况，需要对乘客上下车行为均进行判 定。
[0043] 所述步骤4进一步包括以下步骤：
[0044] 步骤41，将所述乘客流量检测框分成多个子区域；
[0045] 图3为根据本发明一实施例的乘客上车和下车判定示意图，如图3所示，在本发明 一实施例中，可使用线段和线段FG将矩形ABCD分成三个小的矩形，其中，矩形ABCD为 之前设置的乘客流量检测框。
[0046] 步骤42,计算所述子区域中乘客产生的前景目标像素面积；
[0047] 假设图3中椭圆代表由乘客产生前景目标，则图3中黑色部分分别表示为前景目 标进入到矩形AEHD和矩形FBCG产生的前景像素面积，分别命名为S1、S2或者S3、S4,如图 3A和图3B所示。
[0048] 步骤43,根据同一子区域中乘客产生的前景目标像素面积的变化来判断所述乘客 流量检测框中乘客的上车或下车行为。
[0049] 在本发明一实施例中，可根据位于所述乘客流量检测框上端部和下端部的两个子 区域中，乘客产生的前景目标像素面积的变化来判断乘客的上车或下车行为，即，假设乘客 通过乘客流量检测框的过程是由图3A所示的状态进入图3B所示的状态时，则通过下式来 判断乘客的上车或下车行为：
[0050]
【权利要求】
1. 一种基于自适应阈值的智能乘客流量自动统计方法，其特征在于，该方法包括以下 步骤： 步骤1，通过监控设备实时采集一检测区域的视频序列，并对采集得到的视频序列提取 前景运动目标； 步骤2,根据实际应用场景和摄像头到检测区域的距离，设置乘客流量检测框的位置和 大小； 步骤3,基于视频信息和所述乘客流量检测框，通过非监督学习产生自适应阈值； 步骤4,采用基于几何学原理的方法对于所述乘客流量检测框进行乘客上车或下车行 为的判定； 步骤5,根据所述步骤4的判定结果和所述自适应阈值，对于客流量进行判定与统计。
2. 根据权利要求1所述的方法，其特征在于，所述步骤1中，利用背景差分法结合形态 学处理对采集得到的视频序列提取前景运动目标。
3. 根据权利要求1所述的方法，其特征在于，所述步骤2中，所述乘客流量检测框的位 置设定在乘客进出的必经区域且所述乘客流量检测框的长度大于乘客进出区域的宽度。
4. 根据权利要求1所述的方法，其特征在于，所述步骤2中，所述乘客流量检测框的长 和宽满足以下约束条件： i. 检测框的宽度W满足：2Wh彡W彡3Wh ; ii. 检测框的长度L满足：L彡BC ; 其中，Wh为视频帧图像中圆型人头直径的估值，BC为检测区域的宽度。
5. 根据权利要求1所述的方法，其特征在于，所述步骤3进一步包括以下步骤： 步骤31，统计前N帧图像中有乘客进入所述乘客流量检测框时产生的非零前景像素 值，得到m个前景像素值，其中，m〈N ; 步骤32,采用聚类算法将前景像素值分为K类，取K类聚类中心值的均值作为所述自适 应阈值。
6. 根据权利要求1所述的方法，其特征在于，所述步骤4进一步包括以下步骤： 步骤41，将所述乘客流量检测框分成多个子区域； 步骤42,计算所述子区域中乘客产生的前景目标像素面积； 步骤43,根据同一子区域中乘客产生的前景目标像素面积的变化来判断所述乘客流量 检测框中乘客的上车或下车行为。
7. 根据权利要求6所述的方法，其特征在于，所述步骤43中，根据位于所述乘客流量检 测框上端部和下端部的两个子区域中，乘客产生的前景目标像素面积的变化来判断乘客的 上车或下车行为。
8. 根据权利要求1所述的方法，其特征在于，所述步骤5进一步包括以下步骤： 步骤51,将参数的取值初始化为0,所述参数至少包括：参数flag = false,参数up = true,乘客流量检测框中前景的最小像素值l〇W_piXel，乘客流量检测框中前景的最大像素 值high_pixel，视频当前巾贞检测框中的前景像素值current_Fgpixel和视频前一巾贞检测框 中的前景像素值last_pixel ; 步骤52,判断当前图像巾贞是否为视频序列的第一巾贞，若是，则令low_pixel = high_ pixel = current-Fgpixel ; 否则，如果 current_Fgpixel_last_Fgpixel> = 0,则令 up = true ;如果 current_ Fgpixel_low_pixel>Thresh，flag = false，up = true 三个条件均满足，其中，Thresh 表 示经验阈值，此时判断乘客进入乘客流量检测框，令flag = true，同时计算前景目标进 入乘客流量检测框上部子区域和下部子区域中的前景像素面积；当flag = true时，更 新 high_pixel 的值，使其取 high_pixel、current_Fgpixel 二者中的最大值；如果 high_ pixel_current_Fgpixel>Thresh，flag = true两个条件同时满足，此时判断乘客走出乘客 流量检测框，则令flag = false，up = false,再次计算前景目标进入乘客流量检测框上部 子区域和下部子区域中的前景像素面积，然后根据得到的前景像素面积结合所述步骤4的 判定结果，判定该前景经过乘客流量检测框时是属于上车事件还是下车事件； 步骤53,比较high_pixel与所述步骤3得到的自适应阈值，如果high_pixel值较大， 则对上述判定出的上车事件或者下车事件的流量计数值加2 ;否则，其流量计数值加1，即 统计得到客流量。
【文档编号】G06T7/20GK104239908SQ201410363764
【公开日】2014年12月24日 申请日期:2014年7月28日 优先权日:2014年7月28日
【发明者】孔庆杰, 王飞跃, 杨海滨, 熊刚, 朱凤华 申请人:中国科学院自动化研究所