一种基于多视角贝叶斯网络的多视角行人检测方法
【专利摘要】本发明提出了一种基于视角贝叶斯网络模型的行人检测方法及装置，可以对多个摄像头监控的人群比较密集的场景进行行人检测和定位。不仅适用于前景提取效果较好的场景，也适用于前景提取效果不佳但可以通过行人检测器进行检测的场景。本发明的方法包括单视处理步骤、基平面映射步骤、多视角融合步骤和逆映射以及最终检测结果输出步骤。
【专利说明】—种基于多视角贝叶斯网络的多视角行人检测方法
【技术领域】
[0001]本发明属于计算机视觉【技术领域】，涉及监控视频行人检测分析方法，具体涉及一种基于多视角贝叶斯网络模型(Mult1-view Bayesian Network,MvBN)的行人检测方法，以及实现该方法的装置。
【背景技术】
[0002]随着监控摄像头广泛的应用于人们生活的方方面面，监控视频数据呈现爆炸式的增长。行人检测是其他监控视频分析最重要的步骤之一，该步骤为其他监控视频分析应用，如目标跟踪，、事件监测等提供基础。检测的准确度直接影响到其他监控视频分析应用。多视角行人检测相对于普通的单视角行人检测来说，能够更有效的处理因为遮挡而造成的误检漏检等现象。并且多视角行人检测不仅能够检测出行人在图像中的位置，而且可以定位出行人在监控场景里的真实位置。
[0003]基于多视角的行人检测方法核心在于如何有效的融合多个视角的单视检测信息。现有的多视角行人检测方法，多是针对将单视检测信息投影到地面上，然后直接进行简单的融合。这种简单的融合策略在行人比较稀疏和摄像头摆放位置较高时有比较好的效果，但在行人比较密集的时候，由于缺少进一步细致的分析，检测结果较差。
[0004]CN101144716A号中国发明专利申请“一种多视角运动目标检测，定位与对应方法”提出了一种利用多视角信息的运动目标检测和定位的方法。该方法首先提取各个视角的前景检测信息，在空间中快速的进行目标的三维重建，然后在垂直方向地面投影，通过检测峰的位置得到目标。该方法仅是将多个视角的前景信息通过投影在地面上进行简单的融合，并没有考虑这种融合方法在行人比较密集时所产生的错误结果。并且，该方法只利用了前景信息，而没有利用单视角的纹理特征。
[0005]CN1941850A号中国发明专利申请“多摄像机下基于主轴匹配的行人跟踪方法”提出了一种基于主轴匹配的行人跟踪方法。包括步骤:对序列图像进行运动检测；提取人的主轴特征；进行单摄像机下的跟踪；依据主轴匹配函数建立主轴匹配对；融合多视角信息对跟踪结果进行优化更新。该方法需要在单视前景的联通区域求取主轴，对前景要求比较高，鲁棒性不足。并且，该方法也只是利用前景信息，而没有利用纹理特征。因此在前景特征提取不准确的场景里(比如光照变化强烈等)，该方法的处理效果会大打折扣。
[0006]外文文献“Mult1-camera Pedestrian Detection with a Mult1-view BayesianNetwork Model” (发表于 BMVC 2012, Proceedings of the British Machine VisionConference, Peixi Peng, Yonghong Tian, Yaoweiffang, Tiejun Huang, 2012)提出了一种基于MvBN的多视行人检测方法，该文献中只能利用单视前景检测，不能在单视检测中既可采用单视前景检测的检测结果，也可采用行人检测器的检测结果。
【发明内容】
[0007]针对现有技术的局限性，本发明提出了一种基于视角贝叶斯网络模型(MvBN)的行人检测方法及装置，可以对多个摄像头监控的人群比较密集的场景进行检测和定位行人。不仅适用于前景提取效果较好的场景，也适用于前景提取效果不佳但可以通过行人检测器进行检测的场景。
[0008]为实现上述目的，本发明采用如下技术方案:
[0009]一种基于多视角贝叶斯网络模型(MvBN)的多视角行人检测方法，其步骤如下:
[0010]单视处理步骤:对输入的多摄像机监控视频，分别利用前景分析或行人检测得到单个摄像头中的检测结果。
[0011]基平面映射步骤:利用摄像机参数，建立基平面与各摄像机图像平面间的映射关系，将单个摄像头的检测结果映射到基平面。
[0012]多视角融合步骤:利用多视贝叶斯网络，在基平面上融合多个视角的检测信息；
[0013]逆映射以及最终检测结果输出步骤:将基平面上的检测结果映射到各个图像空间中去，并且输出最终结果。
[0014]根据本发明进一步的发明目的，单视处理步骤中，分别对每个视角单独的进行检测。本方法中，单视检测输出既可以是前景图的检测结果，也可以是由行人检测器得到的检测结果。
[0015]根据本发明进一步的发明目的，基平面映射步骤中，包括如下子步骤:
[0016]a)根据摄像机参数建立基平面世界坐标系和各个视角图像坐标系的映射关系。
[0017]b)将基平面离散成一系列位置点。
[0018]c)计算每个位置点对应图像的矩形框。
[0019]根据本发明进一步的发明目的，多视角融合步骤包括如下子步骤
[0020]a)将各个视角的单视检测信息融合在基平面上，筛选出可能存在行人的位置。
[0021]b)建立多视角贝叶斯网络(MvBN)对筛选出来的位置进行分析，计算每个位置存在行人的概率。
[0022]根据本发明进一步的发明目的，逆映射步骤中，根据MvBN的计算结果，将概率大于阈值的位置点作为最终输出点，输出这些位置的世界坐标。同时，将这些位置点映射到各个视角图像坐标上，输出在图像里的位置。
[0023]根据本发明的另一个发明目的，本发明提出一种基于上述方法的MvBN多视行人检测装置，有如下模块:
[0024]单视处理模块，用于产生所有单个视角里的检测信息。
[0025]基平面映射模块，用于建立基平面和图像平面的映射关系，并且离散化基平面
[0026]多视角融合模块，用于融合多个视角的单视检测信息，计算每个位置上行人存在的概率。
[0027]逆映射模块，用于将基平面的检测结果投影到各个视角中，然后输出结果。
【专利附图】
【附图说明】
[0028]图1是基于MvBN的多视行人检测装置的组成结构图；
[0029]图2是单视检测模块框架图；
[0030]图3是基平面映射模块示意图；
[0031]图4是多视角融合模块示意图；[0032]图5是逆映射模块框架图；
[0033]图6是基于实施例1的实验结果示意图；
[0034]图7是基于实施例2的实验结果示意图。
【具体实施方式】
[0035]根据应用场景的不同，本说明书中提出了两种具体实施例，并配合附图，对本发明做详细的说明。但是本领域的技术人员根据本说明书中所记载的内容，完全能够在不付出创造性的劳动的情况下，进行变换、更改、替换、改进，因此本发明的内容不受实施例的限制，任何相应的变换、更改、替换、改进均在本发明的保护范围之内。
[0036]实施例1:
[0037]本实施例基于室外监控场景。在室外环境中，光照变化，行人阴影以及被风吹动的树等都会给单视前景检测带来很多误差。因此，在本实施例中，利用单视行人检测器的检测结果作为单视输出。
[0038]图1是本实施例的基于MvBN的多视行人检测装置的组成结构图。基于MvBN的多视行人检测装置包括:
[0039]单视检测模块，用于产生所有单个视角里的检测信息；
[0040]基平面映射模块，用于建立基平面和图像平面的映射关系，并且离散化基平面；
[0041]多视角融合模块，用于融合多个视角的单视检测信息，计算每个位置上行人存在的概率；
[0042]另外，在本说明书中，多视角、多视、多摄像头所指代的含义相同，下文中不再区分。其中，如图1所示，从单视检测模块输入的是单视的检测结果，从基平面映射模块输入的是各个视角和基平面之间的映射关系，用来建立各个单视角检测结果的关系。
[0043]逆映射模块，用于将基平面的检测结果投影到各个视角中，然后输出结果。所述结果是指基平面上的检测结果在各个视角平面上的映射结果。
[0044]参照图2，图2a为本实施例的单视检测模块。首先独立的输入各个视角获得的监控图像，分别对各个视角利用行人检测器(此处检测器为现有技术，根据本发明的实施方式，采用了两种检测器，一种是前景检测，一种是利用图像特征检测)进行单视检测，输出每个视角的检测结果。根据本发明的一个实施例，检测结果在监控图像中以一系列矩形框的形式呈现，这些矩形框中所包围的则为检测到的对象。
[0045]参照图3，图3为本实施例的基平面映射模块。首先将地面离散成若干个位置点。利用基平面和图像平面的映射关系，将每个位置点映射到各个视角中去，每个地面上的位置点在各个视角里有对应的矩形框。
[0046]参照图4，图4为本实施例的多视角融合模块。本模块有如下两个子模块:a)参照图4 (a)，为本模块的位置筛选子模块。所述位置筛选子模块相当于一个预处理模块，去除掉不可能存在行人的地方。位置筛选子模块通过一些规则去除一些不可能存在行人的位置点。所述规则的判断方法为:对每一个地面位置，如果这个位置点在每个视角里对应的矩形框与单视检测输出的检测结果重叠度都太低(重叠度就是指矩形框的重叠度，检测结果就是一个矩形框)，则删除这个位置点。
[0047]b)参照图4(b，c),为本模块的多视角贝叶斯网络推理和学习子模块，该模块能够实现如下功能:
[0048]多视角贝叶斯网络推理和学习子模块的工作流程对应于图4b和图4c，其中图4b对应下列步骤1-3，图4c对应下列步骤4-5:
[0049]1.为每个视角建立单视贝叶斯网络(SBN)。在单视贝叶斯网络中，每一个位置点在这个视角中对应的矩形框作为节点。如果位置A在这个视角里遮挡了位置B，在该单视贝叶斯网络中，则位置A是位置B的父节点。
[0050]2.将多个单视贝叶斯网络融合为多视角贝叶斯网络，地面上位置点对应一个节点，与每个单视贝叶斯网络中对应的矩形框联系在一起。
[0051]3.引入“主观节点猜想状态”(SSNS)参数，计算出地面上每个位置点基于SSNS的检测概率值。计算方法如下:
【权利要求】
1.一种基于多视角贝叶斯网络的多视角行人检测方法，其特征在于，所述方法包括如下步骤: 单视处理步骤，所述单视处理步骤包括针对输入的通过多个摄像头获得的监控视频，分别利用前景分析和/或行人检测得到所述多个摄像头中的单个摄像头中的检测结果； 基平面映射步骤，所述基平面映射步骤包括利用摄像头参数，建立基平面与所述各个摄像头的图像平面间的映射关系，将所述单个摄像头的检测结果映射到所述基平面； 多视角融合步骤，所述多视角融合步骤包括利用多视贝叶斯网络，在所述基平面上融合多个视角的检测信息； 逆映射以及最终检测结果输出步骤，所述逆映射以及最终检测结果输出步骤包括将所述基平面上的检测结果映射到所述各个图像平面空间中去，并且输出最终结果。
2.根据权利要求1所述的基于多视角贝叶斯网络模型的多视角行人检测方法，其特征在于，在所述单视处理步骤中，分别对每个视角单独进行检测。
3.根据权利要求1或2所述的基于多视角贝叶斯网络模型的多视角行人检测方法，其特征在于，在所述基平面映射步骤中，还包括如下步骤: a)根据所述摄像头参数建立基平面世界坐标系和各个视角图像坐标系的映射关系； b)将所述基平面离散成一系列位置点； c)计算每个所述位置点对应图像的矩形框。
4.根据权利要求1-3所述的基于多视角贝叶斯网络模型的多视角行人检测方法，其特征在于，所述多视角融合步骤，还包括如下步骤: a)将所述多视角中的各个视角的单视检测信息融合在基平面上，筛选出可能存在行人的位置； b)建立多视角贝叶斯网络，分析所述已筛选出来的位置，计算每个位置存在行人的概率。
5.根据权利要求1-4所述的基于多视角贝叶斯网络模型的多视角行人检测方法，其特征在于，在所述逆映射步骤中，根据多视角贝叶斯网络的计算结果，将概率大于阈值的位置点作为最终输出点，输出这些位置的世界坐标，并且将这些位置映射到所述多个视角中的各个视角图像坐标上，输出其在所述各个视角图像中的对应位置。
6.一种基于多视角贝叶斯网络的多视角行人检测装置，所述装置包括: 单视处理单元，所述单视处理单元用于针对输入的通过多个摄像头获得的监控视频，分别利用前景分析和/或行人检测得到所述多个摄像头中的单个摄像头中的检测结果； 基平面映射单元，所述基平面映射单元用于利用摄像头参数，建立基平面与所述各个摄像头的图像平面间的映射关系，将所述单个摄像头的检测结果映射到所述基平面； 多视角融合单元，所述多视角融合单元用于利用多视贝叶斯网络，在所述基平面上融合多个视角的检测信息； 逆映射以及最终检测结果输出单元，所述逆映射以及最终检测结果输出单元用于将所述基平面上的检测结果映射到所述各个图像平面空间中去，并且输出最终结果。
【文档编号】G06K9/00GK103729620SQ201310680608
【公开日】2014年4月16日 申请日期:2013年12月12日 优先权日:2013年12月12日
【发明者】田永鸿, 彭佩玺, 王耀威, 黄铁军 申请人:北京大学