专利名称：基于立体视觉的公交客流拥挤度采集方法
技术领域：
本发明是一种涉及用于公交客流拥挤度采集，具体地说是涉及一种基于立体视觉
的公交客流拥挤度采集方法。该方法采用立体视觉技术进行客流前景目标的提取、二维地 平面映射，以及场景拥挤度估计，尤其适用于公交车内及公交车站这类复杂场景中的客流 拥挤度采集。
背景技术：
城市公共交通系统是整个交通运输系统的重要组成部分，具有运输量大、集约化 经营、节省能源和道路空间、环境污染小等优点。国内外各大城市都相继提出了优先发展城 市公交、加快实现公共交通的信息化和智能化的策略。公共交通系统中及时准确地获取公 交客流数据，是公交管理部门合理安排公交线路、优化调度公交车辆、提高运营效率的最主 要依据，因此对公交客流数据统计方法的研究具有重大的实用价值。 公交系统的实时客流信息用于公交系统的实时调度和事后的分析统计，包括公交 车上的实时客流数量和公交站点的实时候客数量两类。公交车辆中的客流数量可以通过两 种方式进行采集，一种是通过装在车门处的客流计数装置的计数结果间接计算出公交车内 的乘客数量，另一种是对车厢内的客流密度进行估计以得到乘客数量。由于通过车门客流 计数间接计算车厢内的客流密度有累积误差，直接进行客流密度采集是一个更直接和有效 的方式。公交站点由于是一个开放的场合，因此更适合通过直接采集客流密度的方式获得 实时客流信息。 客流密度是由客流在特定区域中的数量决定的，由于在公交这种相对拥挤和遮挡 严重的场合，要对人数进行准确的计数非常困难，目前主要是通过视频图像处理的手段直 接对客流的密度或拥挤度进行估算。密度是指单位面积中的客流个数，拥挤度是密度的某 种线性变换，并将其转换到0-100 %的范围，较适合于公交系统的需求。在现有公交系统中， 客流拥挤度采集技术还没有得到应用。 目前基于视频的客流密度或拥挤度采集的手段主要分为基于像素统计和基于纹 理分析两大类，这两大类方法侧重于研究单目视频监控图像中前景目标分割后的密度估计 技术。针对基于视频的公交系统中客流拥挤度采集所面临的几大技术难点前景目标的分 割、透视效应的校正和目标遮挡重叠的处理，本专利基于双目立体视觉的技术进行拥挤度 采集。采用立体视觉技术可以较准确地确定和分割前景目标的位置及深度信息，再利用目 标三维信息将前景目标映射到实际的二维地平面上，以进行透视校正和目标遮挡分割，同 时提取二维映射平面上的前景目标的面积和边缘长度等特征信息，最终得到了准确的拥挤 度估计结果。
发明内容
本发明的目的在于针对现有公交客流密度采集技术存在的问题，提供一种基于立 体视觉的公交客流拥挤度采集方法，它适合在公交车箱内和车站的复杂场景中进行客流拥
5挤度采集，并保证消除严重的光照突变、阴影、透视畸变、遮挡等的影响。
为了达到上述目的，本发明的技术方案是 上述基于立体视觉的公交客流拥挤度采集方法，利用包括双目同步视频图像采集 模块、视差计算模块、前景目标生成模块、前景目标映射模块、拥挤度估计模块，上述基于立 体视觉的公交客流拥挤度采集方法包括如下步骤 (1)、用平行同步左、右摄像机获得左、右二个同步视频图像，由同步视频图像采集 模块处理获得左、右二个同步视频图像序列； (2)、由视差计算模块对上述同步视频图像序列计算出客流场景的视差图像，预存 背景视差图像； (3)、由前景目标生成模块根据场景的帧差运动特性判断当前帧类别，对背景帧视 差图像进行动态更新，对前景帧计算场景内的前景目标的视差图像； (4)、由前景目标映射模块对上述前景目标进行位置映射，得到前景目标的地平面 映射图像； (5)、由拥挤度估计模块对上述的映射图像进行目标特性的统计，根据目标的区域 和边缘特性获得拥挤度估计值； 重复循环执行步骤(1)到步骤(5)，完成实时的客流拥挤度采集。 本发明提出的基于立体视觉的公交客流拥挤度采集方法适用于诸如公交系统等
的复杂环境，能够很好地满足系统的实时性和准确性要求。 本发明与现有客流拥挤度采集技术相比较，具有如下特征和优点采用立体视觉 技术进行前景目标的分割，几乎不受光照变化及阴影的影响，提高了系统的抗干扰性；利用 目标的地平面映射方法提取出前景目标的两维平面位置，较好地解决了透视和遮挡重叠问 题；由目标的区域与边缘信息结合直接估计拥挤度。
图1是基于立体视觉的公交客流拥挤度采集方法的应用场景示意图。 图2是系统算法及软件实现的处理框图。 图3算法公式推导用的地平面背景上前景目标的映射图。
具体实施例方式
以下将结合附图对本发明的基于双行视差时空图的公交车客流自动计数方法及 其系统作进一步的详细描述。 如图1、2所示，基于立体视觉的公交客流拥挤度采集方法，利用包括双目同步视 频图像采集模块、视差计算模块B2、前景目标生成模块B3、前景目标映射模块B4、拥挤度估 计模块B5，其中，双目同步视频图像采集模块由现场双目立体摄像机A以及图像采集模块 Bl构成，视差计算模块B2包括视差图像计算及背景视差图像预存模块，前景目标生成模块 B3由前景目标的视差图像计算及背景视差图像更新模块构成。左、右摄像机A1、A2拍摄客 流场景，场景可以是公交车厢或公交车站等的小范围拥挤场合，在晚间配置红外LED灯实 现夜间照明补光。算法模块B1-B5对场景中任意设置的采集区域内的客流拥挤度进行估 计。
如图1 3所示，上述基于立体视觉的公交客流拥挤度采集方法，其特征在于该计 数方法包括如下步骤 (1)、用平行同步左、右摄像机Al、 A2拍摄左、右二个同步视频图像，由同步视频图 像采集模块处理获得左、右二个同步视频图像序列； (2)、由视差计算模块B2对上述同步视频图像序列计算出客流场景的视差图像， 预存背景视差图像； (3)、由前景目标生成模块B3根据场景的帧差运动特性判断当前帧类别，对背景 帧视差图像进行动态更新，对前景帧计算场景内的前景目标的视差图像；
(4)、由前景目标映射模块B4对上述前景目标帧和背景图像进行水平位置映射， 得到地平面映射图像； (5)、由拥挤度估计模块B5对上述的映射图像进行前景目标特性的统计，根据目 标的区域和边缘特性获得拥挤度估计值。 上述步骤(1)同步视频图像序列的采集。平行左、右摄像机安装在公交车驾驶员
头顶上部，或公交车站遮阳棚顶等高度2米以上的部位，两摄像机间隔5cm从2个位置俯视
拍摄同一客流场景。为适应客流的运动特性，左右摄像机必须行场同步。客流场景的采集
区域可以在画面中由人工设置成任意区域，安装后的摄像机俯视角度由常规摄像机标定方
法确定。为适应夜间拍摄，摄像机具有红外摄像功能，并设置红外LED灯补光。 上述步骤(2)客流场景的视差图像计算。正确的视差计算是整个方法的基础，只
须对客流采集区域进行计算，其具体方法为 采用归一化互相关的窗口匹配算法进行视差计算，对于CIF格式的352*288大小 的图像，初始窗口的高度、宽度分别取3行和15列。这样可以保持适度的匹配窗口内像素 数，既不至于造成视差的模糊，也不会出现较明显的视差噪声。 采用动态窗口法解决灰度均匀区域的视差计算问题。在视差匹配窗口内统计像素 的灰度方差，如果灰度方差小于某个门限Tgy，则将匹配窗口的宽度放大50% ，继续计算其 灰度方差并进行判断，最大可达到图像宽度的l/5。该方法可有效地消除均匀区域的视差误 匹配问题(如人头顶部、同色衣服等处的视差空洞)。 对归一化互相关NCC值进行三次样条插值，以得到亚像素级的视差计算结果。
上述步骤(3)前景目标的视差图像计算及背景视差图像更新。对运动图像的当前 帧进行视差计算后，根据场景的帧差运动特性判断当前帧是背景帧还是前景帧，对背景帧 的视差图像进行更新，对前景帧计算场景内的前景目标的视差图像； 背景视差图像的动态更新。为了适应场景背景和摄像机安装位置的某些细小变 化，以及得到更准确的背景视差值，背景视差图像需进行动态更新。首先计算实时灰度图像 的相邻帧帧差绝对值之和Sfd，如果该值小于某个门限Tfd，则判定场景是背景图像，进行背 景时间域的平滑更新，公式为 pb(t)=即b(t-l) + (l-a)Pb(t) (1) 其中pb(t)是t时刻更新后的背景视差图像帧，Pb(t)是t时刻的动态背景视差图 像。a是平滑系数，通常取O. 1。 如果Sfd大于门限Tfd，则判断为可能具有客流目标的前景图像帧。将当前帧的视 差与背景帧的视差进行比较，如对应像素的视差之差超过某个门限Td则判断该像素为前景像素，否则为背景像素。保留前景像素的视差值得到前景目标视差图像。门限Td取为l个 像素点间距。后续的密度估计则完全基于该前景目标视差图像。 上述步骤(4)生成前景目标的地平面映射图像。地平面上各个人是互相分开的， 但由于透视效应，在图像上就是相互重叠的，并且大小也有明显的差异。为了消除透视效应 和重叠的影响，根据前景图像的对应深度信息的视差将目标映射到二维地平面上，即计算 前景图像中的每一个前景像素点对应二维地平面的位置。如果在二维地平面中有映射点， 则表明该点上有前景目标，映射图像中该点取非零值，其余点则取值为零。称该映射后的图 像为二维平面映射图像，示意图如图附3所示。 假设背景场面是一个平面，0C是Y轴方向，摄像机安装位置为P，俯视角度为 a+P，其中P为摄像机在垂直方向的视角的一半，决定于镜头焦距尺寸和摄像机靶面大 小。a决定于安装角度，可通过摄像机标定方式确定。图中AC线是平面上的可成像区域。 当有一个实际物体EF站立在平面上时，E点在像面上的点决定了角度d|3 ，E点在摄像机所 拍摄的图像像素坐标中的垂直方向的位置为y，若像素坐标原点取在中央，对应于A至C区 间的图像高度为iH，则y禾P d|3的关系为M = ac tan(g * tan -) (2) dP植可正可负。有了 dP后，根据三角原理，0F/0D = PE/PD，而PE/PD就决定于 E、D点视差的比p。/Pe，可以得到 OF = OD*pD/pE = h tan ( a + p +d P ) pD/pE (3)
式中h是摄像机安装高度，pD可以通过A点的视差pA求得
尸j cos(a + " +柳 "、
pD = = ~~(4)
尸D cos(a) 这样就可得到OF = /i~^~~-、 〃、/p￡ (5) cos(a) 因而，只要知道了背景平面场景最下一行处的视差pa及两个角度a ， |3就可以根 据前景目标的视差求出其对应的平面上的垂直位置。 对于水平方向的位置映射，如果将A点对应行的水平位置保持不变，则对于其他 行的点，根据其相对A点所在的行至摄像机的距离PA，由透视原理就可以得到
. 尸E "、x'二"^7a:-^"X (6) 尸j 尸￡ 其中x， x'分别是图像像素坐标系映射前后水平位置(原点为图像中央)。
通过上面的映射关系，我们就可以将前景目标图像映射到二维平面图像上。
上述步骤(5)拥挤度估计。由于实际的场景并非是一个纯平面，将背景图像的密 度采集区域也映射到这个地平面上，将得到一个背景映射区域，实际的前景目标也会映射 到这个区域。如果在这个背景区域上全部都是客流目标，则目标覆盖率为100%，将这种情 况定义为100%拥挤度，把目标面积与背景区域面积之比定义为拥挤度。
该值在低密度时与人数成正比，但当有目标互相遮挡时，该值随人数上升将变得 缓慢上升，这是由目标遮挡覆盖所造成的。将在映射图中的前景目标边界长度作为另一个
8统计参数。定义改进的拥挤度为 S尸+ foe C = - (7) 其中Sf是映射图像中的前景目标面积，Se是边缘像素数，Sb是采集区域背景像素 总数，k是一个加权常数，经实验取值为3。当整个场景都是前景目标时，边缘像素为O，拥 挤度仍为100%。 拥挤度与实际的场景人数(对应客流密度)之间的关系并非完全线性，人数q和
拥挤度c之间的关系可用二次型多项式进行拟合，公式关系为 q = W+V2 (8) 三个系数可由实际场景的拥挤度和人数之间的实验值标定。 重复循环执行步骤1到步骤5，完成实时的客流拥挤度采集。
9
权利要求
一种基于立体视觉的公交客流拥挤度采集方法，其特征在于利用包括双目同步视频图像采集模块、视差计算模块、前景目标生成模块、前景目标映射模块、拥挤度估计模块，包括如下步骤(1)、用平行同步左、右摄像机拍摄左、右二个同步视频图像，由同步视频图像采集模块处理获得左、右二个同步视频图像序列；(2)、由视差计算模块对上述同步视频图像序列计算出客流场景的视差图像，预存背景视差图像；(3)、由前景目标生成模块根据场景的帧差运动特性判断当前帧类别，对背景帧视差图像进行动态更新，对前景帧计算场景内的前景目标的视差图像；(4)、由前景目标映射模块对上述前景目标进行位置映射，得到前景目标的地平面映射图像；(5)、由拥挤度估计模块对上述的映射图像进行目标特性的统计，根据目标的区域和边缘特性获得拥挤度估计值；重复循环执行步骤1到步骤5，完成实时的客流拥挤度采集。
2. 根据权利要求1所述的基于立体视觉的公交客流拥挤度采集方法，其特征在于，上 述步骤(2)计算客流场景的视差图像，预存背景视差图像，仅对客流采集区域进行计算，其 具体方法为采用归一化互相关的窗口匹配算法进行视差计算，对于CIF格式的352*288大小的图 像，初始窗口的高度、宽度分别取3行和15列；采用动态窗口法解决灰度均匀区域的视差计算问题，在视差匹配窗口内统计像素的灰 度方差，如果灰度方差小于门限Tgv，则将匹配窗口的宽度放大50%，继续计算其灰度方差 并进行判断，最大达到图像宽度的1/5 ;对归一化互相关NCC值进行三次样条插值，以得到亚像素级的视差计算结果。
3. 根据权利要求1所述的基于立体视觉的公交客流拥挤度采集方法，其特征在于，上 述步骤(3)背景视差图像进行动态更新，具体方法如下首先计算实时灰度图像的相邻帧帧差绝对值之和Sfd，如果该值小于门限Tfd，则判定场 景是背景图像帧，进行背景时间域的平滑更新，公式为<formula>formula see original document page 2</formula> (1)其中，^(t)是t时刻更新后的背景视差图像，pb(t)是t时刻的动态背景视差图像，a 是平滑系数，通常取O. 1;如果Sfd大于门限Tfd，则判断为可能具有客流的前景图像帧，将当前帧的视差与背景帧 的视差进行比较，如对应像素的视差之差超过门限Td，则判断该像素为前景像素，否则为背 景像素，保留前景像素的视差值得到前景目标视差图像，门限L取为l个像素点间距，后续 的密度估计则完全基于该前景目标视差图像。
4. 根据权利要求1所述的基于立体视觉的公交客流拥挤度采集方法，其特征在于，上 述步骤(4)具体方法如下根据前景图像的视差信息将目标映射到二维地平面上，即计算前景图像中的每一个前 景像素点对应二维地平面的位置，如果在二维地平面中有映射点，则表明该点上有前景目 标，映射图像中该点取非零值，其余点则取值为零，称该映射后的图像为二维地平面映射图像；假设地面背景场面是一个平面，0C是Y轴方向，摄像机安装位置为P，俯视角度为 a+P，其中P为摄像机在垂直方向的视角的一半，决定于镜头焦距尺寸和摄像机靶面大 小，a决定于安装角度，通过摄像机标定方式确定。当有一个实际物体EF站立在平面上 时，E点在像面上的点决定了角度d|3 ，图3中AC线是平面上的可成像区域，E点在摄像机 所拍摄的图像像素坐标中的垂直方向的位置为y，若原点取在中央，像素坐标上的图像高度 iH对应于A至C的区间，则y和d 13的关系为<formula>formula see original document page 3</formula>d 13值可正可负，根据三角原理，0F/0D = PE/PD，而PE/PD就决定于E、D点视差的比pD/OF = 0D*pD/pE = h tan ( a + p +d P ) pD/pE (3) 式中h是摄像机安装高度，pD通过A点的视差pA求得<formula>formula see original document page 3</formula>这样就得到^sin(" + " 々E (5) cos(or)因而，根据背景平面场景最下一行处的视差PA及两个角度a ， |3就可以根据前景目标 的视差求出其对应的平面上的垂直位置；对于水平方向的位置映射，如果将A点对应行的水平位置保持不变，则对于其他行的 点，根据其相对A点所在的行至摄像机的距离PA，由透视原理就可以得到 ,尸五 A "、其中x， x'分别是图像像素坐标系映射前后水平位置，原点取为图像中央。
5.根据权利要求1所述的基于立体视觉的公交客流拥挤度采集方法，其特征在于，上 述步骤(5)具体方法如下将背景图像的密度采集区域也映射到地平面上，得到一个背景映射区域，实际的客流 前景目标也会映射到这个区域，把目标面积与背景区域面积之比定义为拥挤度，如果在这 个背景区域上全部都是客流目标，则目标覆盖率为100%，将这种情况定义为100 %拥挤 度，拥挤度在低密度时与人数成正比，但当有目标互相遮挡时，由目标遮挡覆盖造成该值随 人数上升将变得缓慢上升；将在映射图中的前景目标的边界长度作为另一个统计参数，定义改进的拥挤度为 々+foe其中Sf是映射图像中的前景目标面积，Se是边缘像素数，Sb是采集区域背景像素总 数，k是一个加权常数，取值为3，当整个场景都是前景目标时，边缘像素为0，拥挤度仍为100% ;拥挤度与实际的场景人数之间的关系并非完全线性，人数q和拥挤度c之间的关系用二次型多项式进行拟合，公式关系为q = ko+lqc+k^c2 (8)三个系数由实际场景的拥挤度和人数之间的实验值标定c
全文摘要
本发明涉及一种基于立体视觉的公交客流拥挤度采集方法，包括如下步骤(1)、用平行同步左、右摄像机获得左、右二个同步视频图像，由同步视频图像采集模块处理获得左、右二个同步视频图像序列；(2)、由视差计算模块对上述同步视频图像序列计算出客流场景的视差图像，预存背景视差图像；(3)、由前景目标生成模块根据场景的帧差运动特性判断当前帧类别，对背景帧视差图像进行动态更新，对前景帧计算场景内的前景目标的视差图像；(4)、由前景目标映射模块对上述前景目标进行位置映射，得到前景目标的地平面映射图像；(5)、由拥挤度估计模块对上述的映射图像进行目标特性的统计，根据目标的区域和边缘特性获得拥挤度估计值；重复循环执行步骤(1)到步骤(5)，完成实时的客流拥挤度采集。
文档编号G06T7/00GK101714293SQ20091020124
公开日2010年5月26日 申请日期2009年12月16日 优先权日2009年12月16日
发明者周静, 唐利, 官远智, 方标新, 朱秋煜, 江毅凭, 陆克澎, 陈岳川, 韩锦成 申请人:上海交通投资信息科技有限公司