专利名称：基于视频信号分析的对象计数方法与装置的制作方法
技术领域：
本发明涉及一种基于视频信号分析的对象计数(object counting)方法与装置。
背景技术：
对象计数是通过特定装置，计算进出一区域或跨越一计数线的对象数量。其应用范围广泛，例如在大楼、道路、商场或大众运输系统等环境，可通过对象计数即时掌握进出特定区域的人数或车辆数，作为进出建筑物的人数控制、道路上的车流量控制或衡量公共设施的使用率等。常见的对象计数方法有闸门计数器、红外线感应器、视频信号分析方法。闸门计数器的技术是当对象通过闸门时，推动旋转栏杆来驱动计数器；此技术可精确计算对象通过的数量，当对象通过闸门时，要降低速度。红外线感应器的技术是在出入口的侧向架设红外线感应器，利用对象通过时遮断红外线的特性来估计对象数量；当对象并排进出时，对象彼此遮蔽的情况会使对象计数产生误差。视频信号分析的技术是利用摄影机拍摄计数区域，并运用对象检测(object detection)及对象追踪(object tracking)方法标示出对象所在的座标，以判断其轨迹(trajectory)是否进出一区域或跨越一计数线；在对象检测时，对象计数容易受光源的影响，并且在多对象追踪时，对象遮蔽或合并分离等情况也容易产生误判。基于视频信号分析的相关技术通常先将摄影装置架设在场景正上方俯视取像，然后使用各种不同的影像辨识与处理技术来达成对象计数。使用面积估测法的技术是先检测出画面中异动像素，并标记出对象所在区域，再搭配对象追踪而得知对象触发一跨线事件时，再统计该对象所占面积来估测出对象数量。例如，相关文献中的一技术是对画面中对象进行追踪，当一对象进入一计数区域后，搭配对象位移像素在影像中X、Y方向的投影量来估测对象计数。相关文献中的另一技术如图1所示，将一待测影像110利用影像前处理(imagepreprocessing)与特征撷取(feature extraction)切割成有多个网格(grid)的影像120后，辅以多种机器学习方法来分析对象数量与网格的关联性，待对象跨线时，如标号130所示，依网格的异动信息来判定是否有任一对象在影像120中，来估测出对象数量。相关文献中的另一技术于对象跨线时，以一演算法将对象切割为近似面积的多个区域，来估测出跨线的对象数量。使用模板比对(template matching)法的相关技术先定义对象模板，以模板比对方式叠合出对象所在区域，并追踪对象的移动轨迹来判定方向及跨线事件是否发生，以达成对象计数。相关文献中的一技术利用影像边缘信息建立局部行人模板，当有人员进入场景时，利用相似度比对的方式确认是否为行人并计算其数量。相关文献中的另一技术则利用头部形状(圆、椭圆)与颜色信息，进行对象检测与追踪。相关文献中的技术有的是以多边形模板逼近画面中前景物区域，有的使用凸(convex)多边形模板逼近画面中对象区块。为避免对象计数的准确性受到异动区域外形的影响，有些相关文献中的技术以事先训练的对象检测分类器自影像中检测出包含特定对象的部位，例如撷取肤色区域、头部区域、或人脸区域等，并辅以对象追踪及相似度比对，判定是否有触发跨线事件并统计对象数量。使用光流法的相关技术是以对象移动时产生的特征点，使用大量的运算来算出两帧影像的移动向量，再通过移动向量包含的速度与方向信息来统计对象数量。例如一篇相关文献中的技术以光流峰值来判定行人经过的数量，如图2中箭头210、220、230所指之处，有三处光流峰值，并判定有三个行人经过。为了有效解决行人间彼此遮蔽的问题，有些相关文献中的技术是使用多支摄影机以不同角度取像的方式，并利用摄影位置的几何关系来计算行人之间的对应关系，进而推估行人跨线的方向与数量；有些相关文献中的技术则使用双摄影机取得影像深度(depth)信息，来判断通过的人数。也有市售产品使用热影像作为取像来源，来提升对象检测及追踪的准确度。在对象计数的应用技术中，如何能够不需使用特定的对象模板、不需明确检测画面中的独立对象、以及不需复杂的对象标记与追踪程序，而能在多对象并排或对向跨线的场景中，也可以正常地进行对象计数，且能达到高准确度，是非常值得研究与发展的。
发明内容
本发明的目的在于提供一种无需特定的对象模板、无需明确检测画面中的独立对象、无需复杂的对象标记与追踪程序的基于视频信号分析的对象计数方法与装置。本发明所揭露的一实施例是关于一种基于视频信号分析的对象计数方法，此方法包含:接取视频信号来源以取得待处理的一个或多个画面的数据，参照此一个或多个输入画面，设定多个参数、计算一参考点、及计算一取样对照表；于每一输入画面上，根据此多个参数、此参考点、及此取样对照表，撷取出一取样影像以得到该取样影像上的异动像素信息，并计算多条管线上的异动量以判定此多条管线上的对象状态；以及根据一参考对象的信息、及此多条管线上的对象状态，进行此参考对象的对象计数以得出一对象数。本发明所揭露的一实施例是关于一种基于视频信号分析的对象计数装置，此装置包含一对象计数模块(object counting module)、以及一计算机可读取媒体(computer-readable medium)。此对象计数模块在一个或多个计算机系统的控制下来执行:参照此一个或多个输入画面，设定多个参数、计算一参考点、及计算一取样对照表；于每一输入画面上，根据此多个参数、此参考点、及此取样对照表，撷取出一取样影像以得到该取样影像上的异动像素信息，并计算多条管线上的异动量以判定此多条管线上的对象状态；以及根据一参考对象的信息、及此多条管线上的对象状态，进行此参考对象的对象计数以得出一对象数。此计算机可读取媒体用来储存所述计算的结果。以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
图1是一示意图，说明使用面积估测法来估测对象计数的技术；图2是一示意图，说明使用光流法来来估测对象计数的技术；图3A是根据本发明的一实施例，说明一基于视频信号分析的对象计数方法的一示意图3B是根据本发明的一实施例，说明图3A的对象计数方法的运作；图4是根据本发明一实施例，基于视频信号分析的对象计数装置的一方框示意图；图5是根据本发明一实施例，说明对象计数的一室内应用场景的一示意图；图6是根据本发明一实施例，说明一俯视计数画面以及在此画面上进行参数设定;图7是根据本发明一实施例，说明另一侧视计数画面以及在此画面上进行参数设定;图8A、图8B、及图8C是根据本发明一实施例，说明取样点计算的一示意图；图9是根据本发明一实施例，一 23X 16取样影像的位移检测结果的范例；图10是以图9为例，算出各管线的异动像素总量以及闸门线的上下区域异动像素
的差异量；图11是根据本发明一实施例，判定在时间点t时，管线i的对象状态的流程图；图12A与图12B是根据本发明一实施例，搭配总量临界值及差异量临界值，来标示符合临界值条件的管线；图13是根据本发明一实施例，对未定状态的管线进行修补的一流程图；图14是以图12B算出的Di(t)的范例来修补管线的对象状态后的结果；图15是根据本发明一实施例，对静止状态的管线进行修补的一流程图；图16是以图15的范例经过静止管线修补后的结果；图17是根据本发明一实施例，于时间点t、t+l、t+2、t+3、t+4、t+5、及t+6，一包含移动对象的序列取样影像范例；图18是根据本发明一实施例，以图17为例，经由位移检测、管线异动量计算及管线状态判定后，得出的各管线状态值；图19是根据本发明一实施例，以图18为例，算出各管线的状态变化值。其中，附图标记110待测影像120有多个网格的影像130依网格的异动信息来判定是否有任一对象在影像210、220、230 光流峰值300对象计数方法310对象计数设定312参数设定314参考点计算316取样对照表计算320即时对象计数322影像取样324位移检测326管线异动量计算328管线状态判定
330对象计数340参照此一个或多个输入画面，设定多个参数、计算一参考点、及计算一取样对照表345于每一输入画面上，根据此多个参数、此参考点、及此取样对照表，撷取出一取样影像以得到该取样影像上的异动像素信息，并计算多条管线上的异动量以判定此多条管线上的对象状态350根据一参考对象的信息、及此多条管线上的对象状态，进行此参考对象的对象计数以得出一对象数402视频信号来源410对象计数模块420计算机系统430计算机可读取媒体440输出装置500 门510 人员520摄影机装置530可视范围540虚拟直线600计数画面610A、610B 门墙620 人员630虚拟闸门线640A、640B—组平行线650 管线660取样点700场景画面710 车辆720行驶轨道730A、730B路径参考线740虚拟闸门线750 管线760取样点800影像画面810闸门线820取样区域830取样影像905闸门线910闸门线的上方区域920闸门线的下方区域
Mf管线i的异动像素总量MP管线i的闸门线的上、下方区域异动像素的差异量Di (t)时间点t时管线i的对象状态Tmotion异动像素的总量临界值Tdiff异动像素的差异量临界值1110对象为静止的状态1120对象于闸门线上方的状态1130对象于闸门线下方的状态1140对象为未定的状态S对象为静止的状态T对象于闸门线上方的状态B对象于闸门线下方的状态U对象为未定的状态1310在时间点t时，当一管线上的对象状态为未定时，以此管线为中心，由近而远逐次搜寻对象于闸门线上方或下方的管线1320 一旦搜寻到，则未定状态的原管线的对象状态被替换为被搜寻到的管线的对象状态1330对于在时间点t没有完成修补的未定状态的管线，则参照其前一时间点t-1的管线状态进行修补1510Di (t)被替换为 TOP1520Di (t)被替换为 BOTTOMTOP 等于 TBOTTOM 等于 BCl (t)第i条管线的状态变化值
具体实施例方式下面结合附图对本发明的结构原理和工作原理作具体的描述:在本发明的基于视频信号分析的对象计数的实施例中，是对计数线附近区域进行取样数据的统计分析，并于计数线上定义多条平行于对象行进方向的取样管线(tube)，利用统计管线上的异动状态来进行对象计数。根据本发明实施例，在视频信号画面中，此对象计数包含对象计数设定与即时对象计数。对象计数设定可于离线(offline)状态下进行，即时对象计数可于在线(online)状态下进行。图3A是根据本发明一实施例的一示意图，说明一基于视频信号分析的对象计数方法。参考图3A，对象计数方法300接取例如来自视频信号装置、影音文件或网络串流等视频信号来源，以取得待处理的一个或多个输入画面，可分为对象计数设定310与即时对象计数320。在对象计数设定310中，于此一个或多个输入画面，进行参数设定312、参考点计算314、以及取样对照表计算316。在即时对象计数320中，于输入画面上进行影像取样322、位移检测324、管线异动量计算326、管线状态判定328、以及对象计数330。在影像取样322中，根据所建构的取样对照表，自输入画面中建构出取样影像。在位移检测324中，检测此取样影像中各像素的异动状态。在管线异动量计算326中，统计此多条管线的各管线上的异动量。在管线状态判定328中，判定取样影像中，对象于各管线上相对应的状态类别，以确认输入画面是否可能包含对象。在对象计数330中，通过判定出的各管线上相对应的状态类别的变化，推算出跨越此闸门线的对象数量。闸门线是画面中一直线的起点与终点，用来计数；在计数画面中，可以取近似一待测对象大小的区域作为一参考对象，此参考对象的信息例如可包含对象宽度(width)与对象深度(cbpth)信息，可定义对象宽度为场景中对象平行于虚拟闸门线的长度(单位为像素)，对象深度为场景中对象垂直于虚拟闸门线的长度(单位为像素)；路径参考线是用来判断对象行进方向的直线，可定义为场景中平行于对象行进方向的直线。以下图5与图6将举两个应用场景的范例来说明参考对象及前述这些定义。承上述，图3B是根据本发明的一实施例，说明图3A的对象计数方法的运作。参考图3B，参照此一个或多个输入画面，设定多个参数、计算一参考点、及计算一取样对照表(步骤340)。于每一输入画面上，根据此多个参数、此参考点、及此取样对照表，撷取出一取样影像以得到该取样影像上的异动像素信息，并计算多条管线上的异动量以判定此多条管线上的对象状态(步骤345)。并且，根据一参考对象的信息、及此多条管线上的对象状态，进行此参考对象的对象计数以得出一对象数(步骤350)。结合此对象计数方法，图4是根据本发明一实施例，基于视频信号分析的对象计数装置的一方框示意图。参考图4，此对象计数装置可包含一对象计数模块(objectcounting module) 410、以及一计算机可读取媒体(computer-readable medium) 430 此对象计数装置接取视频信号来源402以取得画面数据，对象计数模块410在一运算平台，例如一个或多个计算机系统420的控制下，根据上述第三B图的对象计数方法的运作，计算出跨越闸门线的对象数量。计算机系统420可将对象计数模块410计算的结果储存至计算机可读取媒体430或输出至一输出装置(output device) 440,例如外接屏幕。视频信号来源402例如是来自撷取装置(capture device)、影音文件或网络串流等的视频信号或影像输A (video or image input)。对象计数模块410例如是于一个或多个计算机系统420中可执行的程序指令集。对象计数模块410例如可在一个或多个计算机系统420中的一个或多个实体中央处理单元(physical CPU)上执行。承上述，举两个应用场景的范例来说明对象计数设定310。图5是根据本发明一实施例，说明对象计数的一室内应用场景的一示意图。图5的室内应用场景中含一门500及一人员510。一摄影机装置520架设于一室内顶部，并以一可视范围530俯拍地面，其拍摄的影像如图6所示的画面。图6是根据本发明一实施例的示意图，说明一俯视计数画面以及在此画面上进行参数设定。图6中，俯视计数画面600包含门墙610A与610B、以及一人员，欲计算人员进出门500的数量，则于计数画面600中标示一虚拟闸门线630用来计算跨越该线的人员数目，虚拟闸门线630对应于图5实际应用场景中地面的一虚拟直线540。在计数画面600中，取一近似待测对象大小的区域作为参考对象，例如取人员620作为参考对象，此参考对象的对象宽度与对象深度如图中所示。并且,于画面600中，标示出两条与人员620行进方向平行的路径参考线，此两条路径参考线用来判断对象的行进方向，例如是门墙侧面所构成的一组平行线640A与640B，一条路径参考线可表示为一起点座标及一终点座标，或可表示为一点座标搭配一斜率值。为统计对象移动状态，于虚拟闸门线630上，定义出数条于场景中垂直于虚拟闸门线630的管线，一管线650是由多个取样点660构成，所有管线的取样点的集合构成一取样影像。以另一户外场景画面700为例，图7是根据本发明一实施例的示意图，说明一侧视计数画面以及在此画面上进行参数设定。场景画面700中一车辆710于行驶轨道720上，车辆710可视为参考对象并取其宽度及深度值，于行驶轨道720上可标示出两条于场景中平行的路径参考线730A与730B，并定义一条虚拟闸门线740用来计数。在场景画面700中，虚拟闸门线740上可定义出数条于场景中垂直于虚拟闸门线740的管线750，其中一管线是由多个取样点760构成，所有管线的取样点的集合构成一取样影像。在参考点计算314中，参考点是画面上两条路径参考线的交点，也可称为消失点(vanishing point),用来作为取样点计算的参考。令两条路径参考线L1与LyL1的起点座标与终点座标分别为(X11, Yn)与(x12，yi2) L2的起点座标与终点座标分别为(x2i，Υ2 )与(χ22> yd，则参考点Pv的座标(χν，yv)可由两线交点的计算方式、或是由斜率及点座标计算得知。当摄影机拍摄方向垂直于地面时，则路径参考线是画面上平行的两线，也就是说，其交点是无限远的一消失点。此情况可用两极大数值作为参考点座标也无需计算参考点。根据取样对照表计算316后，可得出多条管线的取样点的集合建构成取样对照表，例如自图6或图7的场景画面中闸门线的两侧选取许多像素以构成取样影像，其宽度与高度分别为Nt个像素及Np个像素。也就是说，Nt是虚拟闸门线上的管线总数，Np是一管线上取样点的数量。取样影像上任一行(column)的像素就是一管线的取样数据。图8A、图SB、及图SC是根据本发明一实施例，说明取样点计算的一示意图。在图8A的一影像画面800中，L1与L2是一画面的两条路径参考线、闸门线810的起点为Ps(xs，ys)，终点为PE(xE，yE)。Pv(xv，yv)是计算出的参考点，并构成两条区域参考线，分别为
权利要求
1.一种基于视频信号分析的对象计数方法，其特征在于，该方法包含: 接取视频信号来源以取得待处理的一个或多个输入画面，参照该一个或多个输入画面，设定多个参数、计算一参考点、及计算一取样对照表；以及 于该每一输入画面上，根据该多个参数、该参考点、及该取样对照表，撷取出一取样影像以得到该取样影像上的异动像素信息，并计算多条管线上的异动量以判定该多条管线上的对象状态；以及 根据一参考对象的信息、及该多条管线上的对象状态，进行该参考对象的对象计数以得出一对象数。
2.根据权利要求1所述的基于视频信号分析的对象计数方法，其特征在于，该视频信号来源来自一个或多个视频信号装置、一个或多个影音文件、及一个或多个网络串流的前述三者的其中任一组合 。
3.根据权利要求1所述的基于视频信号分析的对象计数方法，其特征在于，该多个参数设定至少包含设定一闸门线、参考对象信息、及一个或多条路径参考线。
4.根据权利要求3所述的基于视频信号分析的对象计数方法，其特征在于，该方法还包含:于该闸门线上，定义平行于对象行进方向的该多条管线，并且每一管线是由多个取样点构成，该多条管线的取样点的集合建构成该取样对照表。
5.根据权利要求3所述的基于视频信号分析的对象计数方法，其特征在于，计算多条管线上的异动量包含计算在该多条管线的每一条管线上的异动像素总量以及该闸门线的上、下方区域异动像素的差异量。
6.根据权利要求5所述的基于视频信号分析的对象计数方法，其特征在于，该方法利用一异动像素的总量临界值Tnrotim及一差异量临界值Tdiff，来判定在一时间点时每一管线上的对象状态，并且一管线上的对象状态分为静止状态、对象于闸门线上方状态、对象于闸门线下方状态、以及未定状态。
7.根据权利要求1所述的基于视频信号分析的对象计数方法，其特征在于，该参考对象信息包含对象宽度与对象深度信息。
8.根据权利要求6所述的基于视频信号分析的对象计数方法，其特征在于，该方法还包含对未定状态的管线进行修补，其中在一时间点t，当一管线上的对象状态为未定时，以该管线为中心，由近而远逐次搜寻对象状态为对象于闸门线上方状态或对象于闸门线下方状态的管线，一旦搜寻到，则该未定状态的管线的对象状态被替换为被搜寻到的管线的对象状态，对于在该时间点t没有完成修补的未定状态的管线，则参照其前一时间点t-Ι的管线状态进行修补。
9.根据权利要求8所述的基于视频信号分析的对象计数方法，其特征在于，该方法还包含对静止状态的管线进行修补，其中在一时间点t，当一管线上的对象状态为静止时，如果最靠近该静止状态的管线的两条管线的对象状态都是对象于闸门线上方状态或者都是M对象于闸门线下方状态，则将该静止状态的管线的对象状态修改为最靠近的该两条管线的对象状态。
10.根据权利要求9所述的基于视频信号分析的对象计数方法，其特征在于，该方法进行该参考对象的对象计数还包含: 根据修补后的该多条管线上的对象状态，于多个时间点的每一时间点，算出该多条管线的每一管线上的状态变化值，以统计出一个或多段具有相同变化值的连续管线的数量；以及 根据该参考对象的宽度信息及统计出的该一个或多段的连续管线的数量，计算出该一个或多段的每一段跨越该闸门线的对象数量，以得出该对象数。
11.根据权利要求6所述的基于视频信号分析的对象计数方法，其特征在于，该判定在一时间点时每一管线上的对象状态还包含: 在该时间点时，当该管线上的异动像素总量小于Tnrotim时，该管线上的对象状态判定为静止状态； 在该时间点时，当该管线上的异动像素总量大于等于Tnrotim，并且该管线上的闸门线的上、下方区域异动像素的差异量大于等于Tdiff时，该管线上的对象状态判定为对象于闸门线上方状态； 在该时间点时，当该管线上的异动像素总量大于等于Tnrotim，并且该管线上的闸门线的上、下方区域异动像素的差异量小于等于-Tdiff时，该管线上的对象状态判定为对象于闸门线下方状态；以及 在该时间点时，当该管线上的异动像素总量大于等于Tmtrtim并且该管线上的闸门线的上、下方区域异动像素的差异量大于-Tdiff时，该管线上的对象状态判定为未定的状态。
12.一种基于视频信号分析的对象计数装置，其特征在于，该装置包含: 一对象计数模块，在一个或多个计算机系统的控制下来执行: 参照一个或多个输入画面，设定多个参数、计算一参考点、及计算一取样对照表； 于每一输入画面上，根据该多个参数、该参考点、及该取样对照表，撷取出一取样影像以得到该取样影像上的异动像素信息，并计算多条管线上的异动量以判定此多条管线上的对象状态；及 根据一参考对象的信息、及该多条管线上的对象状态，进行该参考对象的对象计数以得出一对象数；以及 一计算机可读取媒体，用来储存所述计算的结果。
13.根据权利要求12所述的基于视频信号分析的对象计数装置，其特征在于，该对象计数模块是在该一个或多个计算机系统中可执行的程序指令集，并且在该一个或多个计算机系统中的一个或多个实体中央处理单元上执行。
14.根据权利要求12所述的基于视频信号分析的对象计数装置，其特征在于，该多个参数至少包含一闸门线、参考对象信息、以及一个或多条路径参考线。
15.根据权利要求12所述的基于视频信号分析的对象计数装置，其特征在于，该多条管线近乎垂直于该闸门线，并且平行于对象行进方向。
16.根据权利要求12所述的基于视频信号分析的对象计数装置，其特征在于，该多条管线的每一管线是由多个取样点构成，该多条管线的取样点的集合建构成该取样对照表。
17.根据权利要求12所述的基于视频信号分析的对象计数装置，其特征在于，该对象计数模块计算的结果储存至该计算机可读取媒体或输出至一外接装置。
18.根据权利要求12所述的基于视频信号分析的对象计数装置，其特征在于，该装置自一个或多个视频信号装置、一个或多个影音文件、及一个或多个网络串流的前述三者的任一组合中，接取视频信号来源以取得该一个或多个画面。
全文摘要
一种基于视频信号分析的对象计数方法与装置，基于视频信号分析的对象计数方法可接取视频信号来源以取得待处理的一个或多个画面的数据。参照此一个或多个输入画面，设定多个参数、计算一参考点、及计算一取样对照表。于每一输入画面上，根据此多个参数、此参考点、及此取样对照表，撷取出一取样影像以得到该取样影像上的异动像素信息，并计算多条管线上的异动量以判定此多条管线上的异动状态。并且根据一设定的参考对象的信息、及此多条管线上的异动状态，统计各管线的方向性并依触发管线的数量推算出对象数量。发明还提供一种基于视频信号分析的对象计数装置，包含一对象计数模块以及一计算机可读取媒体。
文档编号G06T7/20GK103164706SQ20111043876
公开日2013年6月19日 申请日期2011年12月19日 优先权日2011年12月8日
发明者李国征, 蔡洛纬, 洪邦展 申请人:财团法人工业技术研究院