本发明属于图像处理技术领域，特别涉及一种车门状态关联的双目图像公交客流计算方法。
背景技术：
公交车是人们出行的重要公共交通工具。通过对其客流量的统计，我们可以了解到每个时间段、每路公交车、每个车站等的人流量，利用这些数据进行智能调度，让公共资源得到更充分的利用，客流统计的精确度直接影响到智能交通系统的运作和公交运营效益。通过显示当前乘客人数状态及变化情况，公交站场可以对人数较多的情况采取预防突发事件的措施等等。
现有的客流统计技术主要手段有称重统计、单目图像统计和双目图像统计，其中双目图像技术由于其在单目二维图像的基础上增加了立体高度(距离)信息而最为准确，但双目客流在公交应用中仍存在一些问题，致使其客流统计准确率仍有一些误差。
现有的基于双目图像识别的客流统计技术，其算法在公交应用上时一般存在如下问题：
(1)开门时，背景环境中已存在的较高物体(如车门)，乘客识别时被误识别成人头，容易被误判为和人头移动一样，导致上下客流误计。
(2)车内乘客在识别区域晃动会造成上/下车误判，容易引起误计。
(3)拥挤状况下可能存在某乘客刚上车还没有发生位移时车门就关闭的情况，出现上车漏记。
技术实现要素：
针对以上问题，本发明旨在提供一种环境适应性强，公交车门开关带来的客流计数误差小的车门状态关联的双目图像公交客流计算方法。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种车门状态关联的双目图像公交客流计算方法，包括如下步骤：
s1、获取背景图像，所述背景图像为在车门打开或关闭以及无乘客时采集的图像；
s2、获取双目原始图像，根据背景图像对双目原始图像进行图像预处理得到双目图像；所述图像预处理至少包括通过车门联动进行开、关门背景下的双背景消除；
s3、对预处理后的双目图像进行视差深度估计，得到深度图；
s4、提取深度图中符合人头特征的区域，并将其作为疑似人头区域；
s5、将疑似人头区域进行人头特征匹配和车门状态关联的运动轨迹追踪，将符合条件的疑似人头区域确定为人头区域，并对人头区域对应的乘客进行上下车计数。
进一步的，步骤2中所述“通过车门联动进行开、关门背景下的双背景消除”具体包括：先判断车门开关状态；如果车门状态为开门，则调用开门状态下的背景图像深度图进行背景消除；如果车门状态为关门，则调用关门下的背景图像深度图进行背景消除。
更进一步的，所述步骤s5中“将疑似人头区域进行人头特征匹配和车门状态关联的运动轨迹追踪，将符合条件的疑似人头区域确定为人头区域”具体包括如下步骤：
s51、选取当前帧的某个疑似人头区域，结合前一帧进行分析，判断前一帧中是否存在同一匹配的疑似人头区域，如果存在，则进入步骤s53，如果不存在，则进入步骤s52；
s52、将疑似人头区域确定为新增人头区域，并记录该新增人头区域对应乘客的乘客信息；
s53、将疑似人头区域确定为人头区域，并将前一帧人头区域所记录的乘客信息赋予当前帧人头区域对应的乘客；
s54、计算步骤s53中所述乘客前一帧与当前帧的位移，并判断是否符合上车或下车条件，如果符合则进入步骤s55，如果不符合则进入步骤s56；
s55、记录并更新乘客上车或下车信息；
s56、继续分析当前帧其它疑似人头区域。
作为一种改进，所述步骤s54中上车条件具体如下：乘客上车行为发起在车外；在开门状态下第一次出现的乘客可以判定为上车；进一步的，乘客需要满足从车外到车内的位移条件，并越过预设的判定线；最终，该乘客需要至少存在n帧，少于n帧的判定为噪声。
作为一种改进，所述步骤s54中下车条件具体如下：乘客下车行为是发起在车内；并且下车行为发生在车门打开的状态下，车门关闭时不进行下车判定；进一步的，乘客需要满足从车内到车外的位移条件并彻底消失；最终，该乘客需要至少存在n帧，少于n帧的判定为噪声。
作为进一步的改进，在上车的判定过程中采用关门延时计数法，所述关门延时计数法具体为在判断车门状态为关门后，在预设时间内继续对乘客进行运动轨迹追踪，超过预设时间后停止；在预设时间内若符合条件后判定为上车并进行计数；其中所述车门状态通过与门磁开关进行关联获取。
具体的，所述深度估计步骤包括：采用基于图割的全局匹配算法和亮度边缘分割方法，对双目图像中的每个像素确定视差，并根据视差得到深度图，具体包括如下步骤：
s31、采用基于图割的视差估计算法将视差深度估计转换为最小全局匹配误差的求解；
s32、为每个像素设置一个最小视差值作为初值；
s33、循环遍历所有的视差值，每次循环进行一次图割，将所有像素分为两部分，一部分维持原视差不变，一部分赋予新的视差；
s34、对每个像素进行计算，如果原视差下的匹配误差小于赋予新视差后的匹配误差，则将该像素的视差更新为新视差，反之则维持原视差不变；
s35、提取图像边缘，依据边缘图像对平滑函数进行修正，之后根据图割结果再次更新像素视差，降低平滑误差；
s36、重复步骤s32—s35，直到所有视差值都遍历完毕；得到最优视差向量，为每个像素分配合适的视差。
进一步的，所述步骤s4中“提取深度图中符合人头特征的区域”具体包括如下步骤：
s41、第一次遍历深度图，判断是否存在视差高于预设阈值的区域，若存在则进入步骤s44，若不存在则进入步骤s42；
s42、第二次遍历深度图，判断是否存在视差明显高于周围像素的区域，若存在则进入步骤s44，若不存在则进入步骤s43；
s43、利用灰度图优化方法确定人头区域的形状，将亮度存在明显突变的区域舍弃；
s44、判断步骤s41和步骤s42中所述区域是否符合人头特征，若如何则进入步骤s47，若不符合则进入步骤s45；
s45、将步骤s43剩下的区域和步骤s44中标记的的怀疑区域进行重新确认，判断是否存在亮度变化均匀的黑色区域，如果存在则进入步骤s46，如果不存在进入步骤s48；
s46、判断步骤s45中所述区域是否符合人头特征，如果存在则进入步骤s47，如果不存在，则进入步骤s48；
s47、将步骤s44和步骤s46中所述区域定为疑似人头区域，并记录相关信息；
s48、将步骤s45和步骤s46中所述区域确定为非目标区域。
再者，计算疑似人头区域大小和形状，并与现实人头特征进行匹配，将面积过大、过小或形状非类圆形的不相符区域进行舍弃。
具体的，所述图像预处理步骤还包括对双目原始图像进行双目校正、下采样、无效区域裁剪和降低对比度处理中的一种或几种
本发明一种车门状态关联的双目图像公交客流计算方法，通过对双目摄像机采集得到的双目图像进行深度估计，采用基于图割的全局匹配算法和亮度边缘分割技术，为双目图像中的每个像素确定视差；并根据视差制作的深度图进行判断，首先将局部视差较大的区域和大于某一绝对阈值的区域作为疑似头部区域，然后将疑似头部进行人头特征匹配以及运动轨迹追踪，对符合条件的人头区域进行上下车计数。
本发明在原有的双目图像公交客流计算方法的基础上通过结合车门联动进行开、关门背景下的双背景消除处理技术，减少了公交车门开关带来的客流多计误差；通过采用车门状态关联的运动轨迹追踪方法，减少了在图像识别区域附近来回晃动造成的上/下客流多计误差。
本发明方法环境适应性明显增强，减少了公交车门开关带来的客流计数误差；并且对较矮乘客和拥挤人群状况提高识别的准确率；同时还保证了公交移动客流的识别准确性，大大的提高客流统计的准确率，具有较高的实用价值，适合广泛推广。
附图说明
图1为一种车门状态关联的双目图像公交客流计算方法整体流程示意图；
图2为一种车门状态关联的双目图像公交客流计算方法步骤s3的流程示意图；
图3为一种车门状态关联的双目图像公交客流计算方法步骤s4的流程示意图；
图4为一种车门状态关联的双目图像公交客流计算方法步骤s5的流程示意图。
具体实施方式
以下结合图1至图4具体说明本发明提供的一种车门状态关联的双目图像公交客流计算方法和装置。
如图1所示，本发明提供一种车门状态关联的双目图像公交客流计算方法，包括如下步骤：
s1、获取背景图像，所述背景图像为在车门打开或关闭以及无乘客时采集的图像；其中还包括对背景图像进行深度估计得到各点视差，记录下背景环境中已存在的较高物体(如车门)，避免环境物体在乘客识别时被误识别成人头。
s2、获取双目原始图像，所述双目原始图像为双目摄像机拍摄的没有经过处理的图像；根据背景图像对双目原始图像进行图像预处理得到双目图像；所述图像预处理步骤包括对双目原始图像进行双背景消除、双目校正、下采样、无效区域裁剪和降低对比度处理中的一种或几种。
其中，所述双背景消除是指通过车门联动进行开、关门背景下的双背景消除。
具体包括：分别采集车门打开和关闭、且无乘客经过的情况下的背景视差图像，并保存；判断车门开关状态；如果车门状态为开门，则调用开门状态下的背景图像深度图进行背景消除；如果车门状态为关门，则调用关门下的背景图像深度图进行背景消除，从而得到更准确的视差图。
s3、对预处理后的双目图像进行视差深度估计，得到深度图；具体的，通过采用基于图割的全局匹配算法和亮度边缘分割方法，对双目图像中的每个像素确定视差，并根据视差得到深度图。
如图2所示，所述步骤s3具体包括：
s31、采用基于图割的视差估计算法将视差深度估计转换为最小全局匹配误差的求解；
具体推算过程如下，利用基于图割的视差估计算法将视差估计问题转换为某匹配准则与约束条件下求解最小全局匹配误差的问题：
dopt＝argmin{ed+λes}
d为由当前视图中所有像素的视差组成的向量,dopt表示最优视差向量。ed表示所有像素匹配误差的总和：
mi(di)为第i个像素在视差为di时的匹配误差，通常表示为：
mi(di)＝|il(x,y)-ir(x-di,y)|
其中，il(x,y)和ir(x-di,y)表示左视图和右视图中相应像素点的亮度值。罚函数es代表平滑误差，
|di-dj|为相邻两像素之间视差的差异,λ为该罚函数的系数。
s32、为每个像素设置一个最小视差值作为初值；
s33、循环遍历所有的视差值，每次循环进行一次图割，将所有像素分为两部分，一部分维持原视差不变，一部分赋予新的视差；像素是否被赋予新的视差取决于像素匹配误差ed和平滑误差es的计算结果。
s34、对每个像素进行计算，如果原视差下的匹配误差小于赋予新视差后的匹配误差，则将该像素的视差更新为新视差，反之则维持原视差不变。
s35、提取图像边缘，依据边缘图像对平滑函数进行修正，之后根据图割结果再次更新像素视差，降低平滑误差；
s36、重复步骤s32—s35，直到所有视差值都遍历完毕；得到最优视差向量，为每个像素分配合适的视差。
s4、提取深度图中符合人头特征的区域，并将其作为疑似人头区域；
如图3所示，所述步骤s4具体包括如下步骤：
s41、第一次遍历深度图，判断是否存在视差高于预设阈值的区域，若存在则进入步骤s44，若不存在则进入步骤s42；即首先把高度明显较高乘客筛选出来，即将视差大于某阈值的区域选出来作为疑似人头区域；
s42、第二次遍历深度图，判断是否存在视差明显高于周围像素的区域，若存在则进入步骤s44，若不存在则进入步骤s43；由于单一阈值难以准确筛选出各种身高的乘客，对某些身高较矮的乘客，可能在图中显示的视差较小，但该乘客的头部仍然应该在局部区域属于较高的物体(高于地面以及该乘客自己的肩部)，所以将局部视差较大的区域也筛选出来作为疑似的人头区域。
s43、利用灰度图优化方法确定人头区域的形状，将亮度存在明显突变的区域舍弃；
s44、判断步骤s41和步骤s42中所述区域是否符合人头特征，若如何则进入步骤s47，若不符合则进入步骤s45；
s45、将步骤s43剩下的区域和步骤s44中标记的的怀疑区域进行重新确认，判断是否存在亮度变化均匀的黑色区域，如果存在则进入步骤s46，如果不存在进入步骤s48；
s46、判断步骤s45中所述区域是否符合人头特征，如果存在则进入步骤s47，如果不存在，则进入步骤s48；
s47、将步骤s44和步骤s46中所述区域定为疑似人头区域，并记录相关信息；
s48、将步骤s45和步骤s46中所述区域确定为非目标区域。
进一步，计算疑似人头区域大小和形状，并与现实人头特征进行匹配，将面积过大、过小或形状非类圆形的不相符区域进行舍弃。由于某些区域面积过大可能是由于多个人头挤在一起未能良好区分而导致的，所以对因为面积过大而被排除掉的区域，需要再进行一轮筛选，如果该区域的亮度值中存在符合人头特征的黑色圆形区域，也将该区域重新确认为人头区域。
s5、将疑似人头区域进行人头特征匹配和车门状态关联的运动轨迹追踪，将符合条件的疑似人头区域确定为人头区域，并对人头区域对应的乘客进行上下车计数。
如图4所示，具体包括如下步骤：
s51、选取当前帧的某个疑似人头区域，结合前一帧进行分析，判断前一帧中是否存在同一匹配的疑似人头区域，如果存在，则进入步骤s53，如果不存在，则进入步骤s52；之所以对当前帧的每个人头，从前一帧中找到与之匹配的头部区域，由于两帧之间时间间隔非常短，因此找寻匹配人头时以距离最近作为主要判定标准，另外以形状、面积、平均亮度作为辅助标准；
s52、将疑似人头区域确定为新增人头区域，并记录该新增人头区域对应乘客的乘客信息；对新增人头区域，记录其第一次出现时的位置信息。对出现在车外的乘客，只进行上车判定，对出现在车内的乘客，只进行下车判定；
s53、将疑似人头区域确定为人头区域，并将前一帧人头区域所记录的乘客信息赋予当前帧人头区域对应的乘客；
s54、计算步骤s53中所述乘客前一帧与当前帧的位移，并判断是否符合上车或下车条件，如果符合则进入步骤s55，如果不符合则进入步骤s56；对匹配到的之前存在过的头，记录其运行轨迹，当其越过上/下车判定线时进行上/下车判定；
整个上/下车的判定过程，需要算法与门磁开关紧密配合，结合乘客识别结果和车门开关情况共同判定。另外，为了避免对上/下车行为的误判，只有当乘客的运动同时符合下列多个条件时才能正式判定为上/下车。
由于本发明方法与门磁开关紧密配合，即开门开始识别计数，关门结束识别计数，但为了避免拥挤状况下可能存在某乘客刚上车还没有发生位移时车门就关闭的情况；因此本发明在上车的判定过程中采用关门延时计数法，所述关门延时计数法具体为在判断车门状态为关门后，在预设时间内继续对乘客进行运动轨迹追踪，超过预设时间后停止；在预设时间内若符合条件后判定为上车并进行计数；其中所述车门状态通过与门磁开关进行关联获取。
其中，所述步骤s54中上车条件具体如下：乘客上车行为一定是发起在车外；并且只有在开门状态下第一次出现的乘客可以判定为上车；进一步的，乘客需要满足从车外到车内的位移条件，并越过预设的判定线；最终，该乘客需要至少存在n帧，少于n帧的判定为噪声。
其中，所述步骤s54中下车条件具体如下：乘客下车行为是发起在车内；并且下车行为发生在车门打开的状态下，车门关闭时不进行下车判定；进一步的，乘客需要满足从车内到车外的位移条件并彻底消失；最终，该乘客需要至少存在n帧，少于n帧的判定为噪声。
s55、记录并更新乘客上车或下车信息；
s56、继续分析当前帧其它疑似人头区域。
本发明经上车实际测试结果表明，本发明对乘客上下车行为的总体识别准确率能稳定在90％以上。当客流稀疏、乘客有秩序上下车时，识别率在95％以上；当高峰时段、乘客拥挤时，识别率仍能够保持在85％以上。乘客光头、戴帽子或扎鞭子等情况对识别结果没有影响。
本发明在现有技术的基础上主要采用车门联动进行开、关门背景下的双背景消除、车门开关状态联动运动轨迹追踪和关门延时计数等方法。其中，
1)结合车门联动进行开、关门背景下的双背景消除处理技术，即分别采集车门打开和关闭、且无乘客经过的情况下的背景视差图像，并保存。开门后，开始获取双目图像视差图后根据车门的开关状态进行不同背景消除，从而得到更准确的视差图；该方法减少了公交车门开关带来的客流多计误差。
2)采用车门状态关联的运动轨迹追踪方法，在轨迹跟踪和乘客识别计数过程中需要结合车门的开关状态区分真正的上下车乘客；该方法减少了在图像识别区域附近来回晃动造成的上/下客流多计误差。
3)通过采用关门后延时计数处理技术，即关门后，延时一段时间的乘客轨迹跟踪，再结束乘客上下车统计；修正了刚上车还没有发生位移时车门就关闭的情况，减少了拥挤状况下的上车客流统计漏计误差。
本发明一种车门状态关联的双目图像公交客流计算方法，通过采用车门联动进行开、关门背景下的双背景消除、车门开关状态联动运动轨迹追踪方法的基础上，对双目摄像机采集得到的双目图像进行深度估计，为双目图像中的每个像素确定视差；并根据视差制作的深度图进行判断，首先将局部视差较大的区域和大于某一绝对阈值的区域作为疑似头部区域，然后将疑似头部进行人头特征匹配以及运动轨迹追踪，对符合条件的人头区域进行上下车计数。
本发明在原有的双目图像公交客流计算方法的基础上通过结合车门联动进行开、关门背景下的双背景消除处理技术，减少了公交车门开关带来的客流多计误差；通过采用车门状态关联的运动轨迹追踪方法，减少了在图像识别区域附近来回晃动造成的上/下客流多计误差。
本发明方法环境适应性明显增强，减少了公交车门开关带来的客流计数误差；并且对较矮乘客和拥挤人群状况提高识别的准确率；同时还保证了公交移动客流的识别准确性，大大的提高客流统计的准确率，具有较高的实用价值，适合广泛推广。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。