本发明属于视频图像分析和人工智能领域，涉及一种基于视频分析来动态地进行客流统计的装置和方法。
背景技术：
很多场合需要对人的数量进行统计。例如，机场、车站、码头、银行、危险场所、工作区域等常需要统计进入、走出、停留在监控画面中行人的个数，以保证工作及生产场所的安全，同时也可进行考勤统计。而超市、商场、购物中心这样的商业设施还可以根据客流统计的结果，动态地安排工作人员，提高服务质量，并控制成本提升业绩。此外，城市化的推进对公共交通事业的需求，也要求基于大规模的市民出行和客流基础数据进行公共交通的规划优化、设计和调整。
随着计算机图像分析技术的迅猛发展，利用视频图像分析来对人流、客流进行统计的技术得到了推进。例如，在公共交通工具车门附近安装摄像头，采集乘客上下车行为视频，然后通过视频图像技术检测乘客流量统计的方法已经实现。
例如，专利文献1(cn104156983a)提供了一种基于视频图像处理的公交客流统计方法，其利用安装在公交车车顶垂直方向的摄像头采集到的视频进行处理，具体来说，对所选取的各帧视频图像进行预处理，获取各帧视频图像中每一个前景的轮廓；利用一些视频图像，训练乘客目标检测分类器，得到强分类器；在进行客流统计时，利用训练后得到的强分类器在不同的尺寸位置空间上，对前景提取后的当前帧视频图像窗口遍历，如果该窗口被判别为乘客目标，则记录位置和当前尺度，否则丢弃；建立一个乘客目标链，用于存储所有的乘客目标；采surf算法对每相邻两帧视频图像进行surf特征提取和特征点匹配；区分情况进行乘客目标链更新，从而实现乘客目标的跟踪。
根据专利文献1的技术，在人体衣服颜色与背景颜色相似、背景中有类似人体轮廓的物体、天气或光照变化等情况下，仍能够进行公交客流统计，在减小乘客目标误检概率的同时，还降低了公交客流统计的成本。
另外，非专利文献1(丛杨；龚海峰；朱松纯；唐延东.flowmosaicking:real-timepedestriancountingwithoutscene-specificlearning.见：ieee.cvpr:2009ieeeconferenceoncomputervisionandpatternrecognition,vols1-4,newyork,2009,1093-1100)公开了一种不采用检测和跟踪这两个步骤来统计客流的方法。该方法的思想是，当行人穿越给定的侦测线时，将移动的人群视作流体流，计算侦测线上的流速场，在采集的视频的每一帧中使用速度作为厚度，将穿过侦测线的薄片裁切下来累积成块，最终对每个块估计行人数。
非专利文献1提出的方法对于流速场估计做出了改进。在传统的光流场中，速度通过最小化由iso-brightness和smoothness约束项组成的能量函数来求解，其中iso-brightness约束是指移动前后的同一像素点应该具有相同的亮度值，smoothness约束是指相邻的像素应该具有相似的速度。为了提高鲁棒性，非专利文献1在此进一步加入了两种约束项，其中，考虑到行人不会移动得过快，加入了slowmotion约束，考虑到大多数情况下行人的移动较为匀速而不会有突然的加速，加入了temporalsmoothness约束。另外，还对传统的iso-brightness约束进行了改进，原本仅两帧之间的iso-brightness会被考虑，而非专利文献1改进为考虑多帧来建立约束项。
根据非专利文献1的方法，通过将移动的人群视作流体流，将loi和roi问题统一在一起基于流速场估计模型和离线学习统计人数，无需进行特定场景的学习，能够获得较高的准确率。
技术实现要素：
发明要解决的技术问题
不过，如上所述，在专利文献1这样的技术中，客流的统计需要经过检测和跟踪这两个步骤。由于这样的两个步骤都存在一定的误差，因此最终的客流统计的准确率将会受到两个步骤的准确率共同的影响，在准确率提高方面存在改进的余地。
相对的，非专利文献1无需经过检测和跟踪这样两个步骤就能够进行客流统计。对于给定的图像，计算特定区域的光流，该区域的光流的总和显示出了区域中目标的总体的移动状态。这样，在给定的时间段中，光流的总和就与通过该区域的对象的数量之间存在着一定的关联。
不过，光流法作为一种常用的运动估计方法存在一定的局限性，例如，如果视频中各像素点与邻域像素点的灰度值存在差异，则这种情况下应用光流法可以得到较准确的结果，但在实际应用于客流统计领域的情况下，由于采集到的视频中例如人的头部及身体等部分，整体的颜色非常接近甚至于相同，在使用光流法对这样的图像进行运动估计时，无法准确地判断运动像素点间的对应关系，进而无法给出准确的运动信息。
此外，由于拍摄视频的摄像头的安装位置、角度的差异，在其采集到的图像中，即使是运动速度相同的像素，它们在现实空间中对应的对象的实际运动速度也可能是不同的，即，像素的运动可能无法准确地代表现实空间中的人的运动。
为解决这样的问题，本发明的目的在于提供一种无需进行检测和跟踪就能够简单地对人数进行统计的客流统计装置和方法，从视觉上直观感受人群运动的角度出发，解决传统光流法存在的问题，基于时间和空间上的特征来准确地对客流人数进行统计。
解决问题的技术手段
上述目的可通过以下技术方案实现。
本发明提供一种客流统计装置，根据外部的摄像元件拍摄的视频对客流进行统计，其包括：关注区域设定部，在所述视频的图像中设定规定的关注区域；运动信息计算部，对所述视频中的每一帧图像的所述关注区域的全部像素计算运动信息；前景区域判断部，根据所述运动信息计算部计算出的所述运动信息，在所述视频的每一帧图像的所述关注区域内判断由其中运动的前景像素构成的前景区域；纹理计算部，在所述视频的每一帧图像的所述关注区域内，计算所述前景区域的纹理信息；运动信息校正部，利用所述纹理信息校正所述运动信息而得到校正运动信息；和客流统计部，对于给定期间的所述视频，根据所述校正运动信息计算全部帧图像的所述关注区域内的所述前景像素的位移和，基于该位移和计算客流量。
此外，本发明提供一种客流统计方法，根据摄像元件拍摄的视频对客流进行统计，其包括：关注区域设定步骤，在所述视频的图像中设定规定的关注区域；运动信息计算步骤，对所述视频中的每一帧图像的所述关注区域的全部像素计算运动信息；前景区域判断步骤，根据所述运动信息计算步骤计算出的所述运动信息，在所述视频的每一帧图像的所述关注区域内判断由其中运动的前景像素构成的前景区域；纹理计算步骤，在所述视频的每一帧图像的所述关注区域内，计算所述前景区域的纹理信息；运动信息校正步骤，利用所述纹理信息校正所述运动信息而得到校正运动信息；和客流统计步骤，对于给定期间的所述视频，根据所述校正运动信息计算全部帧图像的所述关注区域内的所述前景像素的位移和，基于该位移和对客流进行统计得到客流量。
发明效果
根据本发明，能够提供一种无需进行检测和跟踪就能够简单地对人数进行统计的客流统计装置和方法，从视觉上直观感受人群运动的角度出发，解决传统光流法存在的问题，基于时间(速度等)和空间(纹理等)上的特征来准确地对客流人数进行统计。
附图说明
图1是表示安装了本发明的客流统计装置100的客车101的示意图。
图2示意性地表示摄像机104、105拍摄到的视频中的一帧图像200。
图3(a)～图3(e)示意性地表示本发明的客流统计思想，其中，图3(a)表示在图2所示的图像200中设定规定的关注区域r，图3(b)～图3(e)表示不同时刻下乘客穿过关注区域r的状态。
图4示意性地表示关注区域r中各像素的权重w(x,y)的含义之第一示例。
图5示意性地表示关注区域r中各像素的权重w(x,y)的含义之第二示例。
图6(a)表示本发明的客流统计装置100的结构框图。
图6(b)表示纹理计算部605的结构之一例。
图7表示本发明的客流统计方法的流程。
具体实施方式
下面参照附图对本发明的具体实施方式进行说明。
以下实施方式中，在提及要素的数字等(包括个数、数值、量、范围等)的情况下，除了特别明确说明的情况和从原理上明显限定为特定数字的情况之外，并不限定于该特定数字，可为特定数字以上或以下。
另外，在以下的实施方式中，其结构要素(包括步骤要素等)除了特别明确说明的情况和从原理上明显理解为是必须的情况之外，都不一定是必须的，并且也可以包括说明书中未明确提及的要素，这无需明言。
同样地，在以下的实施方式中，在提及结构要素等的形状、位置关系等时，除了特别明确说明的情况和从原理上明显地理解为并不可行的情况之外，包括实质上与其形状等近似或类似的要素。这对于上述数值和范围也同样。例如，下文作为示例说明的是将本发明的客流统计装置用于对客车等车辆的客流量进行统计的情况，但本发明的客流统计装置的应用不限于此，可以用于机场、车站、码头、银行、危险场所、工作区域的人流统计。
图1是表示安装了本发明的客流统计装置100的客车101的示意图。如图1所示，在客车101的车门102、103上方各自安装有一个摄像机104、105，摄像机104、105分别以一定角度从上向下采集相应的车门处上下车的乘客的视频数据，采集到的数据经有线或无线方式传递到客流统计装置100。图1中客流统计装置100示意性地表示在车顶，当然可以设置在客车101的任意部位。
摄像机104、105从车门上方向下方进行拍摄，摄像机拍摄的角度以拍摄到的视频尽可能地覆盖所有上下车的乘客为宜。
图2示意性地表示摄像机104、105拍摄到的视频中的一帧图像200。图中的椭圆形状201～205等示意性地表示从上方看来的乘客区域，箭头示意性地表示乘客的移动方向。
本发明的客流统计装置100基于摄像机104、105拍摄的由图2所示的一帧图像200的集合构成的视频，对人群的运动信息进行分析，进而估计客流量。
下面对本发明的技术思想进行说明。
图3(a)～图3(e)示意性地表示本发明的客流统计思想，其中，图3(a)表示在图2所示的图像200中设定规定的关注区域r，图3(b)～图3(e)表示不同时刻下乘客穿过关注区域r的状态。
如图3(a)所示，本发明在摄像机104、105拍摄的图像200中设定规定的关注区域r，如后文描述的那样，将乘客穿过该关注区域r的运动信息与客流的数量n相关联。
图中该关注区域r为矩形形状，且为了方便起见而将矩形的宽度表示得较宽，但事实上矩形的宽度约为数个像素，优选5～10个像素，并且其延伸方向优选与客流的平均移动方向垂直或接近垂直，例如可以呈80～90度的夹角。另外，图中该关注区域r在x方向的长度与图像200的宽度相同，但不限于此，可以小于图像200的宽度，只要能够覆盖存在乘客的运动的范围即可。
图3(b)～图3(e)中以乘客区域201为例示意性地利用4帧图像表示乘客穿过关注区域r的过程中的状态。其中，为方便起见，图中仅表示了乘客区域201，但当然也可以同时存在其它的穿过该关注区域r的乘客，例如图2中记载的乘客区域204可以从相反的方向与乘客区域201同时穿过关注区域r。另外需要说明的是，本说明书提到的“运动信息”指的是像素的运动速度信息(包括速度的大小和方向)，其可以采用公知的任何方法获得，例如，可以与非专利文献1同样地采用光流法计算像素的速度，并且既可以仅通过iso-brightness和smoothness约束项求解速度，也可以为了提高鲁棒性而加入slowmotion约束和temporalsmoothness约束。
首先，在图3(b)中，在时刻t0时关注区域r中无乘客穿过，该区域的全部像素的运动信息均为零。这时，令关注区域r内各像素的坐标为(x，y)，各像素的速度为(x,y,t0)，则短时间δt内，每个像素的位移可表示为v(x,y,t0)δt，这里的δt可以理解为视频相邻帧之间的时间差。其中，时刻t0、t1、t2……表示每帧图像对应的时刻，不过如图3(d)、3(e)那样，有时为方便起见省去一些帧的介绍。
这样，在t0时刻下，关注区域r中所有像素在当前时刻至下一帧之间的运动(δt时间的位移)为0。
接着，在图3(c)中，在时刻t1时开始有乘客进入关注区域r，乘客区域201开始与关注区域r重叠，该区域中仅与乘客区域201重叠的、运动着的像素即前景像素具有运动信息。此时，这些前景像素的位移可以表示为图中所示的矩形区域s1＝∑x,yv(x,y,t1)δt，这里的∑x,y表示对前景像素求和。
然后，在图3(d)中，在时刻t4时乘客区域201与关注区域r的重叠面积最大，此时关注区域r内的前景像素的位移为图中的矩形区域s4＝∑x,yv(x,y,t4)δt。
最后，在图3(e)中，在时刻t8时，乘客区域201即将离开关注区域r，此时关注区域r内的前景像素的位移为图中的矩形区域s8＝∑x,yv(x,y,t8)δt。
这样，通过对所有的矩形区域s0～s8求和，就能够求出在乘客区域201通过关注区域r的期间中该关注区域r内前景像素的总位移。于是，一定时间τ内的关注区域r中所有前景像素的运动信息之和s表示如下。
(式1)
其中，为方便起见上式中以
发明人发现，该计算出的位移和s与时间τ内实际穿过关注区域r的乘客数量n相关，即存在下式。
(式2)
即，只要求得了二者之间的系数α，并通过例如光流法得到关注区域r中的每个像素的任意时刻的速度，就能够得到客流量。而关于系数α，例如能够利用一部分预先采集的历史视频作为训练集，以线性回归的方法进行训练来求得。
然而，如上所述由于光流法存在一定的局限性，其估计得到的速度可能并不非常准确，这样如果令系数α为常数进行训练，则最终估计得到的客流量n相对于真实值存在较大的误差。
对此，发明人经深入研究发现，系数α与关注区域r内的运动着的前景像素构成的前景区域的特征相关，在假定α为常数进行线性回归的情况下，若前景区域的细节丰富则回归求得的α较小，而在前景区域的细节缺失的情况下回归求得的α较大。同时，发明人还发现，在关注区域r内的前景区域的细节丰富的情况下，上述式2能够得到相对准确的计数，而在前景区域的细节缺失的情况下，上述式2得到的计数的误差则较大。
为此，发明人在上式2中进一步考虑前景像素的细节t(t)对运动信息v(x,y,t)进行第一校正，得到下式。
(式3)
其中，细节t(t)由前景区域的纹理信息表示，纹理的多少存在多种表达的方式，可以采用本领域常用的方法计算，这里并没有任何的限定。例如，可以使用高通滤波的方法来计算关注区域r内的前景区域的纹理特征，具体而言，由于纹理特征的丰富程度可以由边缘信息的多少表示，因此可以利用例如canny边缘检测算子计算图像的边缘二值图像，进而计算边缘二值图像的边缘和来表示前景区域的纹理信息。
于是，通过对运动信息进行第一校正，考虑了前景区域的细节t(t)，上述式3中的系数β可以为常数。这样，能够利用一部分预先采集的视频作为训练集，以线性回归的方法进行训练来求得系数β。这种情况下，光流法估计运动信息的局限性得到了一定的解决，基于上述式3进行客流统计的准确率得到提高。
另外，发明人进一步研究发现，还可以对关注区域r的各像素分别赋予不同的权重w(x,y)以进一步进行校正。图4示意性地表示关注区域r中各像素的权重w(x,y)的含义。在图4中，摄像机104所拍摄的图像200在现实空间中示意性地表示为区域400，该区域400在现实空间中并不是平面而是示意性地表示为阶梯面，其中的区域r’对应于图2、图3(a)～图3(e)中所示的关注区域r。
对于区域r’中的两个位置a和b，由于它们各自距离摄像机104的距离la＞lb，因此在通过图像分析(如上述光流法)得到图像200中像素a与像素b的速度相同的情况下，现实空间中位置a和b处的前景对象(例如行人)的速度具有va＞vb的关系。即，通过图像分析得到的像素的运动信息不能完全代表现实空间中的前景对象的运动速度，因此，关注区域内不同像素点对于客流的统计而言具有不同的重要性。
另外，此处为便于理解，图4给出了将区域400表示为阶梯面的情况，但不限于此，例如图5所示，在摄像机104的设置方向偏向某一方向时，与图4的情况同样的，对于区域r”中的两个位置c和d，在通过图像分析得到图像200中像素c与像素d的速度相同的情况下，现实空间中位置c和d处的前景对象的速度满足vd＞vc。
为此，为了体现不同像素点对客流计数结果的不同重要性，根据关注区域r中各像素在现实空间中的位置与摄像机104的距离，对各像素设定权重w(x,y)来对运动信息进行第二校正，以消除上述图4、图5的情况所可以导致的误差。这里，各像素在现实空间中的位置与摄像机的距离可采用测量距离的现有的常用方法，例如可以另外设置距离传感器等，测量摄像机拍摄范围内与关注区域对应的区域内的各位置与摄像机之间的距离，根据测量得到的距离对关注区域内的对应像素设定权重w(x,y)。例如，权重可以与距离的平方成正比。通常，摄像头的安装位置及角度固定后，其拍摄的图像中各像素对应的权重不再改变。
在考虑权重进行了第二校正的基础上，上述式3进一步改进如下。
(式4)
这样，与上述式3同样地，利用一部分预先采集的视频作为训练集，以线性回归的方法进行训练来求得系数β。这种情况下，光流法估计运动信息的局限性得到了一定的解决，并且因摄像机的设置等引起的误差也得到消除，基于上述式4进行客流统计的准确率进一步提高。
以上对本发明的客流统计的技术思想进行了说明，下面对本发明的实施方式进行说明。首先，参照图6(a)对本发明的客流统计装置100的结构进行说明。
本发明的客流统计装置100包括关注区域设定部601、运动信息计算部602、前景区域判断部603、权重计算部604、纹理计算部605、运动信息校正部606、回归参数获取部607、客流统计部608。
其中，外部的摄像机拍摄的视频经图示的接口输入到关注区域设定部601。通过关注区域设定部601如图3(a)所示在视频的图像中设定规定的关注区域r，该关注区域可以是在摄像机首次安装后由用户直接设定的。
运动信息计算部602利用光流法等常用的方法对输入的视频的每一帧图像在关注区域r内的全部像素计算运动信息，即计算每个像素的速度信息v(x,y,t)。
前景区域判断部603根据运动信息计算部602计算出的运动信息，判断各帧图像在关注区域r中的运动前景像素，以这些前景像素构成的区域作为前景区域。
权重计算部604基于从外部的传感器等得到的距离等信息，计算关注区域中每个像素的权重w(x,y)，并根据前景区域判断部603判断出的前景区域，得到前景区域内的每个像素的权重。
纹理计算部605根据前景区域判断部603判断出的前景区域，对每个帧的前景区域计算纹理信息t(t)。
其中，纹理计算部605的结构可以如图6(b)所示，包括二值图像计算部609和求和计算部610。在该二值图像计算部609中利用例如边缘检测算子对前景区域计算边缘二值图像，进而在求和计算部610中计算边缘二值图像的边缘和来表示前景区域的纹理信息。
运动信息校正部606根据从权重计算部604得到的每帧的前景区域内的每个像素的权重w(x,y)，和从纹理计算部605得到的每帧的前景区域的纹理信息t(t)，对运动信息计算部602计算出的运动信息v(x,y,t)进行校正而得到校正运动信息v(x,y,t)·w(x,y)/t(t)。这里，如上文所述，根据纹理计算部605的输出进行上述第一校正，根据权重计算部604的输出进行上述第二校正。当然，此处虽然同时表示了权重计算部604和纹理计算部605，但也可以只设置它们中的一者。
回归参数获取部607用于得到上述式4(或式3)中的系数β作为回归参数。这里，在摄像机104首次安装的情况下，利用该摄像机104预先拍摄一段预定时间的视频，以该视频作为训练集进行训练，通过线性回归的方法计算得到回归参数。
此外，在对现有的摄像机104应用本发明的客流统计装置100的情况下，可以利用其拍摄的历史视频进行训练来获取回归参数。
在计算出回归参数后，回归参数获取部607保存该回归参数以供客流统计部608使用，这样，回归参数一旦已经计算出来，之后无需再次计算。
客流统计部608用于对客流进行统计，具体而言，针对输入的一定时间的视频，利用运动信息校正部606给出的每一帧图像的校正后的运动信息和从回归参数获取部607获取到的回归参数，应用上述式4(或式3)计算客流量。
接下来对本发明的客流统计方法的流程进行说明。图7是表示本发明的客流统计方法的流程图。
在步骤s701中，在例如摄像机104采集的视频的图像中设定规定的关注区域r，该关注区域可以是在摄像机首次安装后由用户直接设定的。
然后，在步骤s702中，利用光流法等常用的方法对采集到的视频的每一帧图像的关注区域r内的全部像素计算运动信息，即计算每个像素的速度信息v(x,y,t)。
接着，在步骤s703中，根据计算出的运动信息判断各帧图像的关注区域r中运动着的前景像素，以这些前景像素构成的区域作为前景区域。
在步骤s704中，基于从外部的传感器等得到的距离等信息，计算关注区域中每个像素的权重w(x,y)，从而对于每一帧得到其前景区域内的每个像素的权重。
然后，在步骤s705中对每个帧的前景区域计算纹理信息t(t)。在计算纹理信息时，可以如上所述利用例如边缘检测算子计算图像的边缘二值图像，进而计算边缘二值图像的边缘和来表示前景区域的纹理信息。
接着，在步骤s706中，基于计算出的每帧的前景区域内的每个像素的权重w(x,y)，和每帧的前景区域的纹理信息t(t)，对步骤s702计算出的运动信息v(x,y,t)进行校正而得到校正运动信息v(x,y,t)·w(x,y)/t(t)。这里，同样地也可以仅使用权重和纹理信息中的一者。
然后，在步骤s707中，判断回归参数是否已计算出，如果是则读取已经计算出的回归参数，前进到步骤s708，如果没有，例如在摄像机首次安装的情况下，前进到步骤s709，利用摄像机预先拍摄一段预定时间的视频，以该视频作为训练集进行训练，通过线性回归的方法计算得到回归参数。
之后，在步骤s708中，对于所输入的一定时间的视频，利用步骤s706得到的每一帧图像的前景区域各像素的校正后的运动信息和步骤s707或s709得到的回归参数，应用上述式4(或式3)计算客流的数量。
这样，根据本发明，针对以光流法进行运动估计时存在的问题，基于前景区域的纹理信息和权重对运动信息进行校正，从而能够实现更加精确的客流统计。
以上对本发明的优选实施方式进行了说明，但本发明并不限定于上述实施方式，可在不脱离其思想的范围内进行各种变更。
此外，本发明并不限定于上述实施方式，还包含各种变形例。并且，上述实施方式是为了使本发明简单易懂而进行的详细说明，并非限定必须具备所说明的全部的结构。
此外，对于参照图6说明的客流统计装置100的各结构，它们的一部分或者全部可以由硬件构成，也可以通过由处理器执行存储器上的程序来实现。此外，控制线和信息线只表示了说明上所需要的部分，未必表示了产品上的全部控制线和信息线。实际上也可以理解为大致全部的结构都彼此连接。
另外，上文针对线性回归的情况进行了说明，但只要考虑了关注区域r中的前景像素的细节特征，采用二次回归也同样能够得到准确性的提高。
工业利用性
本发明的客流统计装置优选应用于公共交通工具上，但并不限定于此，可以应用于所有需要对客流进行统计的场合，特别适用于人员混杂且移动方向较为混乱的例如机场、车站、码头、超市、商场、购物中心等。