专利名称：公交客流统计方法
技术领域：
本发明涉及运动目标检测与跟踪技术，特别是一种基于多阈值区域生长及光流法 的公交客流统计方法。
背景技术：
对于运动目标检测，传统方法主要有背景差法、帧差法和光流法。背景法主要应用 于背景变化不大或者变化较为缓慢的环境，在目标进入摄像机范围之前，提取背景图，目标 进入之后，用当前图像减去背景图，得到运动目标。背景更新是背景法的重点，目前主要有 单高斯和混合高斯背景模型法。公交车上由于每个站台环境不一样，而且受光线和遮挡影 响非常大，所以不适于采用背景差法。帧差法虽然受光线影响不大，但是在拥挤的时候，多 个乘客容易粘连在一起，如何将单独乘客分割出来是一个难题。考虑到即使拥挤的时候，乘 客的头部也很少靠在一起，所以以头部作为计数目标易于实现。目前有许多学者采用边缘 提取和Hough变化寻找人头，该方法计算量大，占用存储空间也较大。光流法在检测运动目标中具有其优势可以在不知道任何场景信息的情况下，检 测出运动目标。目前基于梯度的光流计算方法得到了广泛的应用。采用光流法进行运动物 体检测的问题主要在于光流法计算耗时，实时性和实用性都较差，纯粹采用光流法检测运 动目标不太实际，但是可以将光流计算方法和其他方法相结合来检测运动目标。
发明内容
为解决现有技术存在的问题，本发明提出了一种基于多阈值区域生长和光流法的 公交客流统计方法，通过安装在公交车上的摄像头实时捕捉乘客上下车图像，采用该方法 计算上下车人数。为解决上述技术问题，本发明的技术方案是一种公交客流统计方法，包括以下步骤首先通过两次大津阈值法得到两个阈值，较大阈值作为粗选值滤除不可能是头部 的区域，较小阈值作为头部平均灰度阈值；然后计算图像的方差，确定大小两个生长阈值Gm和Gn ；第一次采用G1^f图像进行区域生长，通过面积和平均灰度滤除不包含头部的区 域；对保留的区域，首先判断其是否包含上一帧中检测到的任何一个头部质心坐标， 若包含，则用步长为1，生长阈值从Gn到Gm的每个值对该区域进行区域生长，并通过归一化 匹配寻找与该头部最为相似的区域；对不包含上一帧中任何一个头部质心的区域，首先判断其圆度是否大于圆度阈 值，如果大于则直接认为是头部区域并保存；否则，对该区域用半径为R的圆对其作开运算，R表示平均头部大小，对得到的区 域判断其平均灰度阈值是否小于头部平均灰度阈值，并且圆度大于圆度阈值，如果符合则认为是头部并保存。否则取Gn再次进行区域生长，通过特征提取找到分离出来的头部区 域；用一数组保存每个头部质心的初始横坐标和在当前帧中的坐标；计算该图像的光流场，得到运动区域，将每个运动区域与区域生长法检测到的头 部作与运算，结果非空则删除，否则保留；对区域生长法检测到的头部和光流法检测到的头部分别和上一帧中采用其算法 检测到的头部进行最邻近匹配，更新每个头部的位置；判断每个头部是否越过计数线，如果是，计算其在计数线方向上走过的距离，如果 大于阈值则计数，否则不做处理。在第一次区域生长之后，判断每块区域是否包含上一帧图像检测到的某个头部的 质心，如果包含，通过一系列的生长阈值及归一化形状匹配，提取出和上一帧人头最为相似 的头部区域。对于戴帽子等特殊情形，采用光流法检测运动人体；光流法和区域生长算法综合 使用，分别计数。人为划定上下车两条计数线，当跟踪目标越过计数线时，判断目标在计数线方向 上走过的距离是否大于事先确定的阈值，大于则产生计数，否则不计数。与现有技术相比，本发明的有益效果可以是公交客流统计具有重要意义，通过记录各个站点的人流密集程度以及各条线路的 乘客流量，可以为公交站点的安排，公交车的调度以及公交线路的调整提供丰富的依据和 fn息ο本发明基于多阈值区域生长和光流法的公交客流统计算法以区域生长算法为主， 光流法为辅，通过归一化形状匹配，提高提取精度。以是否越过计数线和移动距离两个条件 判断是否产生计数，有效减少干扰对计数的影响。
具体实施例方式本发明方法采用区域生长算法将头部从背景中分割出来，再通过特征提取将头部 检测出来作为计数目标。区域生长算法采用两个阈值，阈值的选取与图像的方差成分段函 数关系。该分段函数是在统计分析大量图像之后确定的。在检测到一个头部之后，计算其质心的坐标。本算法假定每个头部其前一帧的质 心坐标包含于其在下一帧的区域内(摄像头的帧率在25帧以上基本成立)。所以在进行 完第一次区域生长算法之后，首先判断每块区域是否包含前一帧中检测到的某个头部的质 心，如果包含，则选取多个生长阈值多该区域进行区域生长，通过归一化的形状匹配法提取 出与上一帧头部最为相似的头部区域。对于戴帽子等其他特殊情况，本算法采用光流法作为辅助计数，在计算得到光流 图像之后，通过阈值选取光流较大的区域。通过将每个提取出来的光流区域和区域生长算 法已经检测到的头部区域进行与运算，避免重复计数。每个头部以及光流法检测到的运动区域(以下用运动目标简称)用一个三维数组 保存其信息，假定计数线以X坐标为基准，则该数组的第一个元素就是该运动目标第一次 检测到时的质心横坐标，第二及第三个元素是运动目标在当前图像中的质心的横坐标值和纵坐标值。当目标越过计数线的时候，判断目标在计数线方向上走过的距离，如果大于阈值 则产生计数，否则不计数。本方法的流程包括以下几个步骤1.摄像头捕捉第一帧灰度图像，作为光流法的初始图像。2.计算该图像的大津阈值Tl，对小于Tl的像素点再次求取其大津阈值T2，作为头 部的平均灰度阈值。3.求取小于Tl的像素点灰度方差，根据方差和生长阈值的分段函数得到相应的 两个生长阈值Gn^P Gn。4.以Gm*生长阈值对图像进行区域生长，选取面积合适，平均灰度小于Tl的区域 作为候选头部区域。5.对每个候选区域作如下操作首先判断其圆度是否大于圆度阈值，如果大于圆度阈值则认为该区域是头部，将 该区域保存下来。否则用一半径为R(以图像中出现的头部平均大小为准)的圆对其进行 开运算，对得到的区域，选择平均灰度小于T2，圆度大于阈值的区域作为头部区域保存。若 仍然无法得到一个头部区域，则对该区域进行第二次区域生长，生长阈值选择Gn，对得到的 区域用半径为R的圆对其进行开运算，然后选择平均灰度小于T2，圆度大于阈值的区域作 为头部区域保存。6.用一个数组保存每个头部区域的起始横坐标(以χ方向作为计数方向)以及在 当前帧中的质心坐标，即每个头部区域用三个数据保存其信息。7.摄像头捕捉第二帧图像，按步骤2、3、4对其处理，对得到的每个区域，判断其是 否包含上一帧中某个头部的质心，如果包含则用Gn到6111，步长为1的一系列生长阈值对该 区域进行区域生长，采用归一化匹配算法，寻找与该头部最相似的区域作为该头部在当前 帧中的位置和形状。8.对不包含上一帧任何头部质心的区域，按步骤5操作。9.求第二帧图像和第一帧图像的差图像，得到运动区域，通过开运算滤除微小运 动区域，计算包含运动区域的最小外接矩形REC。10.以第一帧图像作为参考图像计算REC区域内的光流场，选择光流大于阈值的 像素点作为运动点，并计算连通域，选择合适半径的圆对得到的连通域进行开运算，目的是 断开两个运动物体之间的微小连接。11.每个光流场连通域分别与采用区域生长算法得到的头部区域进行与运算。如 果不为空，则将该区域保存起来作为头部，否则删除。12.同样用一数组保存光流法检测到的头部位置信息。包括初始位置横坐标和在 当前帧的位置。用第二帧图像代替第一帧图像作为下一次光流法的参考图像。13.对区域生长法提取到的头部和光流法检测到的头部分别和上一帧各个算法得 到的头部进行最邻近匹配。更新每个头部在当前帧中的位置(初始横坐标值不变)。14.判断每个头部是否越过计数线，如果是，计算其在计数线方向上走过的距离， 如果大于阈值，则计数，并将该头部删除。否则不处理。15.摄像头继续拍摄图像，重复步骤2-13。以下通过具体的算法和公式对本发明加以详细说明。
1.在进行区域生长算法之前对图像进行分析，计算出头部的灰度阈值，采用大津 阈值法。第一步计算出图像的最大和最小灰度值，计算平均值 第二步以豆作为阈值，将图像分为两部分，分别计算两部分图像的平均灰度值島和 I2得到 若^'-!^〈O.OS(2)贝惊’为得到的大津阈值，否则令g~ =继续以蓉’作为阈值，重复第二步，直到⑵式成立，得到大津阈值。2.计算图像的灰度方差S，通过方差确定两个区域生长阈值Gm和Gn，这里只计算 灰度小于大津阈值像素点的方差，因为头部灰度值一般较小，所以灰度比大津阈值小的像 素点提供的信息比灰度较高的像素点提供的信息更为准确。生长阈值和方差的函数关系如 下Gm = 7，Gn = 4，S > 60Gm = 5，Gn = 3，40 彡 S 彡 60Gm = 4，Gn = 2，S < 403.区域生长算法的实现。本专利采用的区域生长算法如下从图像的左上角开 始，用一个3*3的模板将图像左上角的9个点覆盖，计算区域Rl的平均灰度gl，再将模板向 右移动3个像素，计算模板覆盖区域R2的灰度平均值g2，若gl-g2| < T (Τ 为阈值)则将Rl和R2域合并，记为区域Rl，计算其平均灰度值gl’，令gl = gl'否则不合并，继续移动模板到图像的最右边，采用相同的方法处理。然后将模板移 回到图像的最左边，同时向下移动3个像素，计算区域R3的平均灰度g3，若I gl-g3I < T则将Rl和R3合并，否则不合并。如此循环，直到模板覆盖完整个图像。4.本方法采用归一化的形状匹配计算两块区域的相似度，其计算过程如下首 先计算两块区域的汉明距离，即计算两块区域不同像素的个数，假设两块区域Regionl和 Region2，其汉明距离表示如下Distance = | Norm(Regionsl)& Regions2 | +|Regions2 & Norm(Regionsl) |其中Norm(Regionl)表示将Regionl移动到使其和Region2具有相同的质心的位 置。取绝对值表示计算像素个数，&表示进行与操作， 表示取反。得到两块区域的汉明距离之后，计算两块区域的相似度，计算公式为Similarity = I-Distance/(|Norm(Regionsl)|+|Regions2|)5.本专利采用改进的Horn-Schunck经典光流算法，该方法是基于图像梯度和像 素灰度值总和不变的思想。对于图像f(x，y)在t时刻点(i，j)的灰度值为f(i，j，t)，假设光流在χ轴方向的 分量为u(i，j)，在y轴方向的分量为v(i，j)，则经过At时间后，点(i，j)运动到(i+u*At， j+v* Δ t)处，该点灰度值为f (i+u* Δ t，j+v* Δ t，t+ Δ t)，在Δ t趋近于O的时候，可以认为f(i，j，t) = f(i+u*At，j+v*At，t+At)对该试进行泰勒展开，约去高阶项可以得到
令 令 则 (3)式可以改写为fxu+fyv+ft = 0 (4)其中 u, ν是待求的光流值，一个方程无法求出，但是根据一个物体产生的光流场在其区 域内是平滑均勻的，Horn-Schunck提出了光滑约束性条件 其中α是正则系数，代表了全局平滑项性的比例，α的大小一般取决于图像梯度 计算的精度。计算得到的u和ν，使得E最小。于是对E求取11和ν的偏导数，分别令其为 0，得到u和ν的迭代求解公式为 其中和分别表示点(i，j)相邻四个像素点的平均水平光流值和垂直光流 值大小。在迭代开始之前，即n = 0时，令光流初始值为W，0]，然后不断迭代，当 且 T为事先设定的阈值，一般取0. 01-0. 1之间，如果不能让迭代停止，再通过判断迭 代的次数让其终止，比如跌代100次之后停止。光流场计算的精度很大程度上取决于图像梯度计算的精度，所以在进行光流计算 之前，一般对图像就行滤波去噪处理。比如通过高斯滤波。光流法的局限在于其要求的计 算时间较长，所以在实时处理中，如何提高其计算速度，又不太大影响光流计算精度是首要 解决的问题。本方法通过两个改进的方法加快光流法的计算速度。(1)对图像进行尺度空间变换，减少需要计算的像素。拍摄得到的图片，假设大小 为M*N，通过尺度变换将图像尺度变为M/2*N/2，根据光流法计算的原理，在一个物体区域 内，其光流大小基本一致，所以该方法不会对光流计算精度产生较大影响。变换之后得到的 光流场，通过最邻近插值法尺度变换回M*N。(2)通过帧差法选择需要进行光流计算的区域。光流场计算的是运动的区域的速 度，所以对静止的物体和背景不需要进行计算。帧差法可以检测出运动物体的轮廓，通过填 充等算法从而检测出运动区域。对于由于光照或微小物体所产生的运动区域，通过开运算 将其滤除。以上所述仅为本发明的较佳实施例而已，并非用来限定本发明的实施范围。任何 所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与 润饰，因此本发明的保护范围应当视权利要求书所界定范围为准。
权利要求
一种公交客流统计方法，其特征在于包括以下步骤首先通过两次大津阈值法得到两个阈值，较大阈值作为粗选值滤除不可能是头部的区域，较小阈值作为头部平均灰度阈值；然后计算图像的方差，确定大小两个生长阈值Gm和Gn；第一次采用Gm对图像进行区域生长，通过面积和平均灰度滤除不包含头部的区域；对保留的区域，首先判断其是否包含上一帧中检测到的任何一个头部质心坐标，若包含，则用步长为1，生长阈值从Gn到Gm的每个值对该区域进行区域生长，并通过归一化匹配寻找与该头部最为相似的区域；对不包含上一帧中任何一个头部质心的区域，首先判断其圆度是否大于圆度阈值，如果大于则直接认为是头部区域并保存；否则，对该区域用半径为R的圆对其作开运算，R表示平均头部大小，对得到的区域判断其平均灰度阈值是否小于头部平均灰度阈值，并且圆度大于圆度阈值，如果符合则认为是头部并保存。否则取Gn再次进行区域生长，通过特征提取找到分离出来的头部区域；用一数组保存每个头部质心的初始横坐标和在当前帧中的坐标；计算该图像的光流场，得到运动区域，将每个运动区域与区域生长法检测到的头部作与运算，结果非空则删除，否则保留；对区域生长法检测到的头部和光流法检测到的头部分别和上一帧中采用其算法检测到的头部进行最邻近匹配，更新每个头部的位置；判断每个头部是否越过计数线，如果是，计算其在计数线方向上走过的距离，如果大于阈值则计数，否则不做处理。
2.根据权利要求1所述的公交客流统计方法，其特征在于在第一次区域生长之后，判 断每块区域是否包含上一帧图像检测到的某个头部的质心，如果包含，通过一系列的生长 阈值及归一化形状匹配，提取出和上一帧人头最为相似的头部区域。
3.根据权利要求1所述的公交客流统计方法，其特征在于对于戴帽子等特殊情形，采 用光流法检测运动人体；光流法和区域生长算法综合使用，分别计数。
4.根据权利要求1所述的公交客流统计方法，其特征在于人为划定上下车两条计数 线，当跟踪目标越过计数线时，判断目标在计数线方向上走过的距离是否大于事先确定的 阈值，大于则产生计数，否则不计数。
全文摘要
本发明公开了一种基于多阈值区域生长及光流法的公交客流统计方法，针对公交车这一特殊环境，以头部作为计数目标，动态采用两个阈值，通过两次区域生长算法及特征提取将头部和背景分离，生长阈值通过计算图像的方差确定，其和图像方差成分段函数关系。对于戴帽子等其他特殊情形，采用光流法检测运动人体作为计数目标。在图像中，人为划定上下车两条计数线，当跟踪的目标越过计数线，计算目标从第一次检测到的坐标到此时的坐标在计数线方向上移动的距离，如果该距离大于事先确定的阈值，则产生计数，否则不计数，有效减少干扰物体对计数产生的影响。
文档编号G07C9/00GK101908236SQ20101019521
公开日2010年12月8日 申请日期2010年6月8日 优先权日2010年6月8日
发明者徐建华, 戴曙光, 穆平安, 陈晓蓉 申请人:上海理工大学