基于运动目标检测的全景拼接联动方法及装置制造方法
【专利摘要】本发明提供了一种基于运动目标检测的全景拼接联动方法及装置，通过全景拼接获取一幅大视野的全景画面，而后调整视野、建立球机与全景拼接摄像机的位置映射关系后对全景画面中感兴趣区域进行运动目标检测，在检测到运动目标后自动根据映射关系触发对应球机跟踪感兴趣区域目标实现联动，从而避免远距离情况下看不清全景画面中的运动目标（人脸、车牌等），减少了监控人员的工作量，给操控者提供了一个完整的、大视野、高分辨率的连续画面，更接近人眼观察的视角，避免监控时各画面间来回切换。
【专利说明】基于运动目标检测的全景拼接联动方法及装置
【技术领域】
[0001]本发明涉及视频处理【技术领域】，尤其是指一种基于运动目标检测的全景拼接联动方法及装置。
【背景技术】
[0002]在监控系统快速发展的今天，系统规模越来越大，监控点越来越多，工作人员面对越来越多的监控图像已无暇顾及，随着监控范围的不断扩大，需要对整座桥梁、机场，很长一段公路或者高层建筑进行监控，大多数摄像机的视场达不到这样大的监控范围，因此对大视场视频监控的要求逐渐增多，逐渐形成了一种高端需求。视频全景拼接作为一种解决方案，也得到了越来越多的关注。随之而来的视频监控系统将扮演着重要的角色。
[0003]到目前为止，常见的监控设备有2种，第一种是枪机，采用枪机对准某个场景进行监控，不足之处是当监控场景较多时，需要在各场景间来回切换，当视频路数较多、切换频繁时，监控人员容易疲倦，且人的注意力只能集中在部分画面上；第二种是球机，球机监控通过转动球机对周围区域监控，但缺点是球机视野有限，同一时间只能监控一个场景，这样仍然会漏掉部分重要信息。
[0004]在目标跟踪环节，若单是依靠球机，不论是通过手动控球或自动跟踪目标方式其跟踪效果受很多因素影响，容易发生跟踪失败或目标切换，且跟踪过程中，监控画面视野集中在跟踪目标附近，容易漏掉其它重要信息。若是依靠枪机，目标容易出现在多个画面中，画面间切换影响监控人员对视频信息的捕捉，而且枪机安装方向固定，监控场景不会随着目标而改变，较容易丢失跟踪目标。且在视频监控中，经常由于目标距离较远，导致目标(人脸、车牌等)的检测识别正确率较低。
【发明内容】
[0005]本发明的目的在于克服了上述缺陷，提供一种基于运动目标检测的全景拼接联动方法及装置。
[0006]本发明的目的是这样实现的:一种基于运动目标检测的全景拼接联动方法，它包括步骤，
[0007]A)、在监控点设置球机与全景拼接摄像机，设置过程中全景拼接摄像机采用水平/垂直/水平垂直拼接方式，通过调整各镜头方向实现全景画面拼接；
[0008]B)、调整全景拼接摄像机的视野，使之全景拼接画面中视野覆盖设置的球机视野；
[0009]由于球机可以水平360度、水平向下旋转，理论上球机能覆盖的视野是大于全景拼接摄像机的，但是球机无法覆盖水平以上的视野，因此需要本步骤调整全景拼接摄像机是希望全景画面的视野都在水平以下，球机转动后能覆盖。
[0010]C)、标定球机与全景拼接摄像机,建立球机与全景拼接摄像机的位置映射关系；
[0011]D)、待全景拼接画面中设置感兴趣区域后，对该感兴趣区域进行运动目标检测；[0012]E)、当检测到运动目标，对应运动目标标记跟踪框，根据跟踪框参数控制球机调整、聚焦拍摄跟踪目标图像；
[0013]上述步骤中，所述步骤C后还包括判断是否标定成功，是则继续，否则调整球机的画面使之与全景拼接摄像机未拼接前的各原始画面中心对齐后转回步骤C的步骤；
[0014]上述步骤中，所述步骤F中，跟踪框参数包括跟踪框大小、跟踪框位置信息；
[0015]上述步骤中，所述步骤F后还包括对球机图像进行特征检测并提取特征而后识别的步骤；
[0016]上述步骤中，所述步骤中特征检测包括人脸、车牌特征检测；
[0017]上述步骤中，所述步骤中识别通过将提取的特征与数据库中数据对比进行识别。
[0018]本发明还涉及一种基于运动目标检测的全景拼接联动装置，它包括:
[0019]拼接设置模块，用于在监控点设置球机与全景拼接摄像机，设置过程中全景拼接摄像机采用水平/垂直/水平垂直拼接方式，通过调整各镜头方向实现全景画面拼接，而后转到调整模块；
[0020]调整模块，用于调整全景拼接摄像机的视野，使之全景拼接画面中视野覆盖设置的球机视野，而后转到标定模块；
[0021]标定模块，用于标定球机与全景拼接摄像机，建立球机与全景拼接摄像机的位置映射关系，而后转到设置模块；
[0022]设置模块，用于待全景拼接画面中设置感兴趣区域后，对该感兴趣区域进行运动目标检测，而后转到运动检测模块；
[0023]运动检测模块，用于当检测到运动目标，对应运动目标标记跟踪框，根据跟踪框参数控制球机调整、聚焦拍摄跟踪目标图像；
[0024]上述中，所述标定模块具体包括，
[0025]播放单元，用于播放全景拼接摄像机的未拼接原始视频和球机视频，而后转到选择原始视频单兀；
[0026]选择原始视频单元，用于不重复的选择全景拼接摄像机的一个未拼接原始视频而后转到特征点选择单元；
[0027]特征点选择单元，用于通过输入设备在选择的未拼接原始视频中不重复的选择一个特征点，记录该特征点的坐标转到分组记录单元；
[0028]分组记录单元，用于标出球机视频中画面的中心，通过操控使球机画面中心落到选择原始视频单元所选择的特征点上，将此时的球机水平倾角值、球机垂直倾角值及球机缩放倍率值对应特征点的坐标分组记录，转到重复单元；
[0029]重复单元，用于重复步骤特征点选择单元、标定记录单元至少6次而后转到标定单元；
[0030]标定单元，用于对每组记录中的球机水平倾角值、球机垂直倾角值及匹配点坐标采用最小二乘法拟合出二次曲面系数，将该二次曲面系数作为标定系数连同选择原始视频单元中选择的拼接原始视频的标识符及分组记录单元中操控的球机的标识符对应保存完成映射关系建立，而后转到全景重复单元；
[0031]全景重复单元，用于重复步骤选择原始视频单元、特征点选择单元、分组记录单元、重复单元及标定单元，直至完成全景拼接摄像机的所有未拼接原始视频的映射关系建立；
[0032]上述中，所述标定模块具体包括，
[0033]操控单元，用于操控使球机画面与全景拼接摄像机的各未拼接原始视频中心一致而后转到特征提取单元；
[0034]特征提取单元，用于提取各未拼接原始视频的一帧图像，对该图像提取sift/surf/harris特征点，然后特征匹配、匹配对采用最小二乘法计算出透视变换矩阵而后转到边缘估计单元；
[0035]边缘估计单元，用于通过透视变换矩阵对各未拼接原始视频估计其4个边缘角点的球机水平倾角值及球机垂直倾角值而后转到球机对位单元；
[0036]球机对位单元，用于不重复的选择全景拼接摄像机的一个未拼接原始视频，将其坐标变化范围等分成多份，分别根据每份的球机水平倾角值及球机垂直倾角值控制球机到达相应位置而后转到匹配单元；
[0037]匹配单元，用于球机每到达一个位置，对此时的未拼接原始视频和球机画面进行特征提取并匹配，若匹配点满足阈值则保存相应坐标和球机此时的球机水平倾角值及球机垂直倾角值而后转到标定单元；
[0038]标定单元，用于重复球机对位单元、匹配单元，直至完成全景拼接摄像机的所有未拼接原始视频的映射关系 建立；
[0039]上述中，所述标定单元转到手动修正单元,所述手动修正单元用于查看自动标定的匹配对，若存在误差则参考球机对位单元、匹配单元手动控球调整球机，获取至少6个匹配点，将匹配点的坐标及球机的球机水平倾角值、球机垂直倾角值及球机缩放倍率值对应分组记录，对每组记录中的球机水平倾角值、球机垂直倾角值及匹配点坐标采用最小二乘法拟合出二次曲面系数，将该二次曲面系数作为标定系数连同选择的拼接原始视频的标识符及?呆控的球机的标识符对应保存完成映射关系建立;
[0040]上述中，所述运动检测模块的联动具体有下述单元实现，
[0041]跟踪框中心点计算单元，用于根据跟踪框信息，计算跟踪框的中心点坐标而后转到全景区域定位单元；
[0042]全景区域定位单元，用于根据跟踪框中心点坐标值定位其在全景拼接画面中所属的区域而后转到区域判断单元；
[0043]区域判断单元，用于判断上述区域是否位于全景拼接摄像机中的重叠区域，否则获取区域的信息而后执行坐标计算单元，是则执行比较坐标计算单元；
[0044]坐标计算单元，用于根据区域对应序号的拼接逆变换计算得到跟踪框中心点所在未拼接原始视频中的坐标位置，而后转到球机联动单元；
[0045]比较坐标计算单元，用于比较跟踪框中心点坐标值与重叠的两个未拼接原始视频的中心点的距离，根据距离最近的区域对应序号的拼接逆变换计算得到跟踪框中心点所在未拼接原始视频中的坐标位置，而后转到球机联动单元；
[0046]球机联动单元，用于根据跟踪框中心点所在未拼接原始视频的映射关系，以跟踪框中心点的坐标位置获取对应的球机水平倾角值及球机垂直倾角值而后转到球机执行单元;
[0047]球机执行单元，根据球机水平倾角值及球机垂直倾角值驱动球机调整。[0048]本发明的有益效果在于首先通过全景拼接获取一幅大视野的全景画面，而后调整视野、建立球机与全景拼接摄像机的位置映射关系后对全景画面中感兴趣区域进行运动目标检测，在检测到运动目标后自动根据映射关系触发对应球机跟踪感兴趣区域目标实现联动，从而避免远距离情况下看不清全景画面中的运动目标(人脸、车牌等)，减少了监控人员的工作量，可手动选择全景画面中感兴趣区域实现球机联动，给操控者提供了一个完整的、大视野、高分辨率的连续画面，更接近人眼观察的视角，避免监控时各画面间来回切换。
【专利附图】
【附图说明】
[0049]下面结合附图详述本发明的具体结构
[0050]图1为本发明的联动拼接示意图；
[0051]图2为本发明的水平拼接全景画面示意图；
[0052]图3为本发明的第一实施例方法流程图；
[0053]图4为本发明的垂直拼接全景画面示意图；
[0054]图5为本发明的第二实施例方法流程图；
[0055]图6为本发明的水平垂直拼接全景画面示意图；
[0056]图7为本发明的第三实施例方法流程图。
【具体实施方式】
[0057]为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
[0058]本发明提供了一种基于运动目标检测的全景拼接联动方法，它包括步骤，
[0059]A)、在监控点设置球机与全景拼接摄像机，设置过程中全景拼接摄像机采用水平或垂直或水平垂直拼接方式，通过调整各镜头方向实现全景画面拼接；
[0060]B)、调整全景拼接摄像机的视野，使之全景拼接画面中视野覆盖设置的球机视野；
[0061]C)、标定球机与全景拼接摄像机,建立球机与全景拼接摄像机的位置映射关系；
[0062]D)、待全景拼接画面中设置感兴趣区域后，对该感兴趣区域进行运动目标检测；
[0063]E)、当检测到运动目标，对应运动目标标记跟踪框，根据跟踪框参数(通常是通过跟踪框参数计算相应的pan、tilt和zoom)控制球机调整、聚焦拍摄跟踪目标图像。
[0064]本方法首先将相互间存在重叠部分的视频序列进行空间匹配对准结合曝光融合后形成一幅包含各视频序列信息的大视角高分辨率的连续图像，而后建立球机和全景拼接摄像机之间映射关系，从而当操作人员直接在全景拼接画面中点击或框选区域后，全景摄像机和球机之间可实现联动，即根据映射关系控制相应位置的球机调整、聚焦至该定位区域。进一步的，操作人员还可在全景拼接画面中设置感兴趣区域，系统自动对该区域中是否出现运动物体进行检测，一旦拼接画面中出现运动如车辆、行人等目标时，系统就会联动的控制球机快速聚焦定位该区域目标，从而使得操作人员可看清全景拼接画面中看不清的部分(人脸、车牌等)，有利于捕捉更多细节信息。由此整个监控方法借由全景拼接画面联动个体球机的方式，给操控者提供了一个完整的、大视野、高分辨率的连续画面，更接近人眼观察的视角，避免监控时各画面间来回切换。同时使用球机配合，在全景画面中分析到运动目标时，调用球机快速聚焦定位该目标。解决了原有方法中多视频画面间频繁切换，导致监控人员注意力分散，且长时间查看多路视频易疲倦，同时在全景画面中目标所占像素较少，导致看不清目标(人脸、车牌等)的关键信息的缺陷。
[0065]作为一实施例，上述步骤C具体包括，
[0066]Cl)、播放全景拼接摄像机的未拼接原始视频和球机视频；
[0067]C2)、不重复的选择全景拼接摄像机的一个未拼接原始视频；
[0068]C3)、通过鼠标或触摸等输入设备在选择的未拼接原始视频中不重复的选择一个特征点i，记录该特征点在画面中的x/y轴坐标pt[i].X，pt[i].y ；
[0069]C4)、标出球机视频中画面的中心，通过操控使球机画面中心落到步骤C2所选择的特征点上，将此时的球机水平倾角值、球机垂直倾角值及球机缩放倍率值对应特征点的坐标分组记录；
[0070]上述操控一般为手动操控，而球机水平倾角值、球机垂直倾角值及球机缩放倍率值则在球机内分别对应有球机水平倾角函数pan[i]、球机的垂直倾角函数tilt[i]、缩放倍率函数zoom[i]，当调整到位后，读取上述函数的值即可。
[0071]C5)、重复步骤C3、C4至少6次；
[0072]即从全景拼接摄像机的未拼接原始视频中不重复的选择6个特征点并对每个特
征点操控球机视频的画面的 中心对准特征点记录--对应的球机水平倾角值、球机垂直倾
角值及球机缩放倍率值。
[0073]C6)、对每组记录中的球机水平倾角值、球机垂直倾角值(即至少6组的pan_a[i]、tilt_a[i], i>=6)及匹配点坐标(即pt[i].x, pt[i].y)采用最小二乘法拟合出二次曲面系数，将该二次曲面系数作为标定系数连同步骤C2中选择的拼接原始视频的标识符及步骤C4中?呆控的球机的标识符对应保存完成标定。
[0074]上述采用最小二乘法拟合出二次曲面系数拟合实际上是:
[0075]1、建立球机水平倾角值与原始视频坐标X、y之间的关系；
[0076]2、建立球机垂直倾角值与原始视频坐标X、y之间的关系。
[0077]上述建立球机与未拼接原始视频的关系原理:
[0078]假设球机的PT值和匹配对坐标满足下面关系:
[0079]pan=al*X~2+a2*XY+a3*Y~2+a4*X+a5*Y+a6
[0080]tilt=bl*X~2+b2*XY+b3*Y~2+b4*X+b5*Y+b6
[0081]在获取到6组以上匹配对后，即pan、tilt和(X、Y)已知的情况下,计算al、a2、a3、a4、a5、a6 ( 二次曲面系数)
[0082]bl、b2、b3、b4、b5、b6 (二次曲面系数)
[0083]此处，全景拼接摄像机的各未拼接原始视频来自于独立的枪机，而I个枪机通常有一个MAC地址，因此标识符可直接采用其MAC地址，而球机(全景半球)通常只有一个MAC地址，因此为了区分，可采用MAC+通道作为标识符，对应保存后即完成对本次选定的未拼接原始视频和球机的标定工作(即建立映射关系)。
[0084]C7)、重复步骤C2-C6，直至完成全景拼接摄像机的所有未拼接原始视频的映射关
系建立。
[0085]通过上述技术方案的介绍可看出，本实施例提供的是一种适用于手动标定的方案。该方案的优点在于选点的精度较高，但缺点则是使用起来较为不方便，且选点较麻烦。
[0086]为了克服上实施例手动标定的缺陷，本专利提供一种自动标定的实施例，同样是对应步骤C具体包括步骤:
[0087]Cl)、操控使球机画面与全景拼接摄像机的各未拼接原始视频中心一致；
[0088]本步骤的操控通常是通过手动控球使各球机画面与对应全景拼接摄像机的各未拼接原始视频中心一致，即未拼接画面中心参照物在球机画面中心。
[0089]C2)、提取各未拼接原始视频的一巾贞图像,对该图像提取sift/surf/harris特征点，然后特征匹配、匹配对采用最小二乘法计算出透视变换矩阵；
[0090]C3)、通过透视变换矩阵对各未拼接原始视频估计其4个边缘角点的球机水平倾角值及球机垂直倾角值；
[0091]C4)、根据未拼接原始视频PT坐标的变化范围等分成多份(一般至少16份以上)，分别根据每份的球机水平倾角值及球机垂直倾角值控制球机到达相应位置；
[0092]C5)、球机每到达一个位置，对此时的未拼接原始视频和球机画面进行特征提取并匹配，若匹配点满足阈值则保存相应坐标和球机此时的球机水平倾角值及球机垂直倾角值；
[0093]C6)、重复步骤C4-C5，直至完成全景拼接摄像机的所有未拼接原始视频的映射关
系建立。
[0094]本实施例的优点在于操作简便，缺点则精度相对手动要低，且使用时，球机画面要和未拼接趣面中心一致。在自动标定中添加手动修正后可达较闻精度。
[0095]为了解决上述精度不足的问题，进一步的，在一实施例中，上述自动标定方法中步骤C5后还包括手动修正的步骤,包括:
[0096]查看自动标定的匹配对，若存在误差则参考步骤C4、C5手动控球调整球机，获取至少6个匹配点，将匹配点的坐标及球机的球机水平倾角值、球机垂直倾角值及球机缩放倍率值对应分组记录，对每组记录中的球机水平倾角值、球机垂直倾角值及匹配点坐标采用最小二乘法拟合出二次曲面系数，将该二次曲面系数作为标定系数连同选择的拼接原始视频的标识符及操控的球机的标识符对应保存完成映射关系建立。
[0097]在一实施例中，所述步骤E中的联动具体包括步骤，
[0098]E1)、根据跟踪框信息，计算跟踪框的中心点坐标；
[0099]E2)、根据跟踪框中心点坐标值定位其在全景拼接画面中所属的区域；
[0100]E3)、判断上述区域是否位于全景拼接摄像机中的重叠区域，否则获取区域的信息而后执行步骤E4，是则执行步骤E5 ；
[0101]E4)、根据区域对应序号的拼接逆变换计算得到跟踪框中心点所在未拼接原始视频中的坐标位置；
[0102]E5)、比较跟踪框中心点坐标值与重叠的两个未拼接原始视频的中心点的距离，根据距离最近的区域对应序号的拼接逆变换计算得到跟踪框中心点所在未拼接原始视频中的坐标位置；
[0103]E6)、根据跟踪框中心点所在未拼接原始视频的映射关系，以跟踪框中心点的坐标位置获取对应的球机水平倾角值及球机垂直倾角值。
[0104]E7 )、根据球机水平倾角值及球机垂直倾角值驱动球机调整。[0105]以图1为例，它包含4副原始图像，图中Al、A2、A3、A4是非重叠区域，B1、B2、B3是重叠区域，通过一定的融合规则，消除拼接接缝，在计算拼接参数的时候，每个区域在全景图中的坐标是已知的。
[0106]假定通过上述步骤El后，计算跟踪框的中心点坐标为(Pt.X, pt.y)。
[0107]在后续判断时，如果坐标(pt.x，pt.y)属于Al区域，通过对应Al的投影逆变换法贝U，按照拼接的逆过程执行，如果(Pt.X, Pt.y)属于A2、A3、A4区域，执行对应序号的逆变换，计算出原始图像中的坐标位置(mpt.X, mpt.y)；
[0108]而如果坐标(pt.x,pt.y)属于BI区域，那么需判定该点到原始图像I中心点的距离dl、原始图像2中心点的距离d2，距离哪个近，就采用对应序号的投影逆变换法则，计算出原始图像中的坐标位置(mpt.X, mpt.y)；
[0109]最后,根据前面标定保存的结果,读取对应标识符的pan_a[6]和tilt_a[6],
[0110]然后根据公式:
[0111]PAN (需要调整的球机水平倾角值)=pan_a[I] *X~2+pan_a[2] *XY+pan_a[3]Y"2+pan_a[4]*X+pan_a[5]*Y+pan_a[6](此处XY为跟踪目标框的中心位置)
[0112]同理使用tilt_a[6]计算TILT (需要调整的球机垂直倾角值)。
[0113]作为一实施例，上述步骤C后还包括判断是否标定成功，是则继续，否则调整球机的画面使之与全景拼接摄像机未拼接前的各原始画面中心对齐后转回步骤C的步骤。
[0114]本实施例中的判断标定是否成功很重要，通过增加这个过程，使得后续在操作全景画面时确保了球机可以完成枪球联动的效果。
[0115]而本步骤中的标定是否成功的判断，最简单的方式是依靠人工判断，通过标定过程中球机与拼接前单画面逐一标定，每标定完一个单画面，可通过点击单画面场景A，查看球机是否能响应到A，以此判断标定成功和标定的精度。
[0116]作为一实施例，上述步骤E中，跟踪框参数包括跟踪框大小、跟踪框位置信息。
[0117]现有视频监控中的跟踪框多为矩形，因此，对应分析一般获取跟踪框大小、跟踪框位置信息，这两个信息可通过矩形的左上、右下点特征来描述。而参数的获取方式分为手动和自动，手动方式比如鼠标在拼接全景画面中画矩形，自动获取则是通过在拼接全景画面中增加运动目标检测，运动目标检测常见的方法有帧间差法、背景差法、光流法等，跟踪框的参数主要依赖于运动目标的位置和大小。
[0118]而跟踪框大小、跟踪框位置信息的作用主要是供后续计算球机响应pan(水平视场角)、tilt (垂直视场角)、zoom (缩放倍数)这3个指令参数。
[0119]作为一实施例,上述步骤E后还包括步骤F,
[0120]F)、对球机图像进行特征检测并提取特征而后识别。
[0121]通过增加这个步骤，当检测到运动目标并通过球机聚焦定位后抓拍运动目标获取图像后，系统进一步会自动根据特征对图像进行检测以提取特征，进一步的进行后期对应识别。由于特征的提取是根据设定的特征而启动的，因此识别可以更有针对性，从而有效提高识别率。
[0122]较佳的，上述的特征检测包括人脸、车牌特征检测。其中人脸是针对监控中人物身份的最有效信息，而车牌则是区分车辆的有效信息，因此这两种特征可分别获取人物、车辆的信息，以便后续识别。[0123]较佳的，上述步骤中识别通过将提取的特征与数据库中数据对比进行识别。采用与数据库比对的方式可最快的确保识别比对的时间和准确度。
[0124]作为一实施例，步骤E中当检测运动目标时，还需要判断目标个数是否大于1，即只有当运动目标个数不为O时，球机才会响应到目标区域抓拍，否则球机不动，该处判别是需要的，目标个数多于I个时，可以通过目标框大小、目标框中心距离球机位置等排序，逐一抓拍。
[0125]实施例一:
[0126]本实施例方法如图3所示，
[0127]A)、在摄像机安装过程中，全景拼接摄像机采用水平拼接方式，安装过程中使得全景拼接摄像机的各画面间有部分重叠区域，从而尝试拼接，若拼接不成功，则调整全景拼接摄像机的各镜头方向，增大重叠部分直至可实现全景画面拼接。得到的全景画面如图2所示，由多个单独的沿水平方向的画面拼接构成的长条形全景画面。
[0128]B)、调整全景拼接摄像机的视野，使全景拼接画面中的视野球机都能覆盖。
[0129]C)、摄像机标定,建立球机和全景拼接摄像机的位置间的映射关系；
[0130]D)、判断标定是否成功，是则继续步骤，否则调整球机，使球机的画面与全景拼接摄像机未拼接前的各原始画面中心对齐到基本一致；
[0131]此处一致的调整可通过选定全景拼接摄像机的未拼接单画面的中心某个物体作为参照物(一棵树、一辆静止的车等)，然后调整球机，使该参照物也在球机画面中心即可。
[0132]E)、在全景拼接画面中设置感兴趣区域，并在感兴趣区域中添加运动目标检测等视频分析功能；
[0133]F)、当感兴趣区域分析到运动目标时，根据跟踪框位置、大小等计算出相应的参数，球机响应调整至运动目标处抓拍并跟踪一段时间；
[0134]G)、对球机抓拍保存的图片可以通过人脸、车辆检测、提取出人脸、车牌等，然后通过识别技术与人脸、车牌库对比，识别可疑目标。
[0135]实施例二:
[0136]本实施例方法如图5所示，
[0137]A)、在摄像机安装过程中，全景拼接摄像机采用垂直拼接方式，安装过程中使得全景拼接摄像机的各画面间有部分重叠区域，从而尝试拼接，若拼接不成功，则调整全景拼接摄像机的各镜头方向，增大重叠部分直至可实现全景画面拼接。得到的全景画面如图4所示，由多个单独的沿垂直方向的画面拼接构成的长条形全景画面。
[0138]B)、调整全景拼接摄像机的视野，使全景拼接画面中的大部分视野球机都能覆盖。
[0139]C)、摄像机标定,建立球机和全景拼接摄像机的位置间的映射关系；
[0140]D)、判断标定是否成功，是则继续步骤，否则调整球机，使球机的画面与枪机的画面中心基本一致；
[0141]E)、在全景拼接画面中设置感兴趣区域，并在感兴趣区域中添加运动目标检测等视频分析功能；
[0142]F)、当感兴趣区域分析到运动目标时，根据跟踪框位置、大小等计算出相应的参数，球机响应调整至运动目标处抓拍并跟踪一段时间；
[0143]G)、对球机抓拍保存的图片可以通过人脸、车辆检测、提取出人脸、车牌等，然后通过识别技术与人脸、车牌库对比，识别可疑目标。
[0144]实施例三:
[0145]本实施例方法如图7所示，
[0146]A)、在摄像机安装过程中，全景拼接摄像机采用水平垂直拼接方式，安装过程中使得全景拼接摄像机的各画面间有部分重叠区域，从而尝试拼接，若拼接不成功，则调整全景拼接摄像机的各镜头方向，增大重叠部分直至可实现全景画面拼接。得到的全景画面如图6所示，由多个单独的按网格分布的沿水平、垂直方向的画面拼接构成的大场景全景画面。
[0147]B)、调整全景拼接摄像机的视野，使全景拼接画面中的大部分视野球机都能覆盖。
[0148]C)、摄像机标定,建立球机和全景拼接摄像机的位置间的映射关系；
[0149]D)、判断标定是否成功，是则继续步骤，否则调整球机，使球机的画面与枪机的画面中心基本一致；
[0150]E)、在全景拼接画面中设置感兴趣区域，并在感兴趣区域中添加运动目标检测等视频分析功能；
[0151]F)、当感兴趣区域分析到运动目标时，根据跟踪框位置、大小等计算出相应的参数，球机响应调整至运动目标处抓拍并跟踪一段时间；
[0152]G)、对球机抓拍保存的图片可以通过人脸、车辆检测、提取出人脸、车牌等，然后通过识别技术与人脸、车牌库对比，识别可疑目标。
[0153]本发明还涉及一种基于运动目标检测的全景拼接联动装置，它包括:
[0154]拼接设置模块，用于在监控点设置球机与全景拼接摄像机，设置过程中全景拼接摄像机采用水平/垂直/水平垂直拼接方式，通过调整各镜头方向实现全景画面拼接，而后转到调整模块；
[0155]调整模块，用于调整全景拼接摄像机的视野，使之全景拼接画面中视野覆盖设置的球机视野，而后转到标定模块；
[0156]标定模块，用于标定球机与全景拼接摄像机，建立球机与全景拼接摄像机的位置映射关系，而后转到设置模块；
[0157]设置模块，用于待全景拼接画面中设置感兴趣区域后，对该感兴趣区域进行运动目标检测，而后转到运动检测模块；
[0158]运动检测模块，用于当检测到运动目标，对应运动目标标记跟踪框，根据跟踪框参数控制球机调整、聚焦拍摄跟踪目标图像。
[0159]作为一实施例,上述中,所述标定模块具体包括，
[0160]播放单元，用于播放全景拼接摄像机的未拼接原始视频和球机视频，而后转到选择原始视频单兀；
[0161]选择原始视频单元，用于不重复的选择全景拼接摄像机的一个未拼接原始视频而后转到特征点选择单元；
[0162]特征点选择单元，用于通过输入设备在选择的未拼接原始视频中不重复的选择一个特征点，记录该特征点的坐标转到分组记录单元；
[0163]分组记录单元，用于标出球机视频中画面的中心，通过操控使球机画面中心落到选择原始视频单元所选择的特征点上，将此时的球机水平倾角值、球机垂直倾角值及球机缩放倍率值对应特征点的坐标分组记录，转到重复单元；[0164]重复单元，用于重复步骤特征点选择单元、标定记录单元至少6次而后转到标定单元；[0165]标定单元，用于对每组记录中的球机水平倾角值、球机垂直倾角值及匹配点坐标采用最小二乘法拟合出二次曲面系数，将该二次曲面系数作为标定系数连同选择原始视频单元中选择的拼接原始视频的标识符及分组记录单元中操控的球机的标识符对应保存完成映射关系建立，而后转到全景重复单元；
[0166]全景重复单元，用于重复步骤选择原始视频单元、特征点选择单元、分组记录单元、重复单元及标定单元，直至完成全景拼接摄像机的所有未拼接原始视频的映射关系建立。
[0167]作为一实施例,上述中,所述标定模块具体包括，
[0168]操控单元，用于操控使球机画面与全景拼接摄像机的各未拼接原始视频中心一致而后转到特征提取单元；
[0169]特征提取单元，用于提取各未拼接原始视频的一帧图像，对该图像提取sift/surf/harris特征点，然后特征匹配、匹配对采用最小二乘法计算出透视变换矩阵而后转到边缘估计单元；
[0170]边缘估计单元，用于通过透视变换矩阵对各未拼接原始视频估计其4个边缘角点的球机水平倾角值及球机垂直倾角值而后转到球机对位单元；
[0171]球机对位单元，用于不重复的选择全景拼接摄像机的一个未拼接原始视频，将其坐标变化范围等分成多份，分别根据每份的球机水平倾角值及球机垂直倾角值控制球机到达相应位置而后转到匹配单元；
[0172]匹配单元，用于球机每到达一个位置，对此时的未拼接原始视频和球机画面进行特征提取并匹配，若匹配点满足阈值则保存相应坐标和此时的球机水平倾角值及球机垂直倾角值而后转到标定单元；
[0173]标定单元，用于重复球机对位单元、匹配单元，直至完成全景拼接摄像机的所有未拼接原始视频的映射关系建立。
[0174]作为一实施例,上述中，所述标定单元转到手动修正单元,所述手动修正单元用于查看自动标定的匹配对，若存在误差则参考球机对位单元、匹配单元手动控球调整球机，获取至少6个匹配点，将匹配点的坐标及球机的球机水平倾角值、球机垂直倾角值及球机缩放倍率值对应分组记录，对每组记录中的球机水平倾角值、球机垂直倾角值采用最小二乘法拟合出二次曲面系数，将该二次曲面系数作为标定系数连同选择的拼接原始视频的标识符及?呆控的球机的标识符对应保存完成映射关系建立。
[0175]作为一实施例，上述中，所述运动检测模块的联动具体有下述单元实现，
[0176]跟踪框中心点计算单元，用于根据跟踪框信息，计算跟踪框的中心点坐标而后转到全景区域定位单元；
[0177]全景区域定位单元，用于根据跟踪框中心点坐标值定位其在全景拼接画面中所属的区域而后转到区域判断单元；
[0178]区域判断单元，用于判断上述区域是否位于全景拼接摄像机中的重叠区域，否则获取区域的信息而后执行坐标计算单元，是则执行比较坐标计算单元；
[0179]坐标计算单元，用于根据区域对应序号的拼接逆变换计算得到跟踪框中心点所在未拼接原始视频中的坐标位置，而后转到球机联动单元；
[0180]比较坐标计算单元，用于比较跟踪框中心点坐标值与重叠的两个未拼接原始视频的中心点的距离，根据距离最近的区域对应序号的拼接逆变换计算得到跟踪框中心点所在未拼接原始视频中的坐标位置，而后转到球机联动单元；
[0181]球机联动单元，用于根据跟踪框中心点所在未拼接原始视频的映射关系，以跟踪框中心点的坐标位置获取对应的球机水平倾角值及球机垂直倾角值而后转到球机执行单元;
[0182]球机执行单元，根据球机水平倾角值及球机垂直倾角值驱动球机调整。
[0183]作为一实施例，上述标定模块通过判断模块转到定位模块，所述判断模块，用于判断是否标定成功，是则转到设置模块，否则调整球机的画面使之与全景拼接摄像机的画面中心对齐后转回标定|吴块。
[0184]作为一实施例，上述运动检测模块拍摄跟踪目标图像后转到识别模块，识别模块用于对球机图像进行特征检测并提取特征而后识别。
[0185]作为一实施例，上述运动检测模块中，跟踪框参数包括跟踪框大小、跟踪框位置信息；所述识别模块的识别通过将提取的特征与数据库中数据对比进行识别；识别模块中特征检测包括人脸、车牌特征检测。
[0186]需要说明的是，如前述3种拼接方式如图2、图4、图6，目前常见的是水平拼接方式，主要用于监控高速公路、广场、仓库等，垂直拼接方式可用于楼宇、桥梁等监控场景，当监控场景是飞机场等特别大的地方时，单独的水平和垂直拼接方式都满足不了需求，此时就要考虑采用水平垂直拼接方式。
[0187]以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的【技术领域】，均同理包括在本发明的专利保护范围内。
【权利要求】
1.一种基于运动目标检测的全景拼接联动方法，其特征在于:它包括步骤， A)、在监控点设置球机与全景拼接摄像机，设置过程中全景拼接摄像机采用水平/垂直/水平垂直拼接方式，通过调整各镜头方向实现全景画面拼接； B)、调整全景拼接摄像机的视野，使之全景拼接画面中视野覆盖设置的球机视野； C)、标定球机与全景拼接摄像机，建立球机与全景拼接摄像机的位置映射关系； D)、待全景拼接画面中设置感兴趣区域后，对该感兴趣区域进行运动目标检测； E)、当检测到运动目标，对应运动目标标记跟踪框，根据跟踪框参数控制联动球机调整、聚焦拍摄跟踪目标图像。
2.如权利要求1所述的基于运动目标检测的全景拼接联动方法，其特征在于:所述步骤C具体包括， Cl)、播放全景拼接摄像机的未拼接原始视频和球机视频； C2)、不重复的选择全景拼接摄像机的一个未拼接原始视频； C3)、通过输入设备在选择的未拼接原始视频中不重复的选择一个特征点，记录该特征点的坐标； C4)、标出球机视频中画面的中心，通过操控使球机画面中心落到步骤C2所选择的特征点上，将此时的球机水平倾角值、球机垂直倾角值及球机缩放倍率值对应特征点的坐标分组记录； C5)、重复步骤C3、C4至·少6次； C6)、对每组记录中的球机水平倾角值、球机垂直倾角值采用最小二乘法拟合出二次曲面系数，将该二次曲面系数作为标定系数连同步骤C2中选择的拼接原始视频的标识符及步骤C4中操控的球机的标识符对应保存完成映射关系建立； C7)、重复步骤C2-C6，直至完成全景拼接摄像机的所有未拼接原始视频的映射关系建立。
3.如权利要求1所述的基于运动目标检测的全景拼接联动方法，其特征在于:所述步骤C具体包括， Cl)、操控使球机画面与全景拼接摄像机的各未拼接原始视频中心一致； C2 )、提取各未拼接原始视频的一帧图像，对该图像提取sif t/surf/harris特征点,然后特征匹配、匹配对采用最小二乘法计算出透视变换矩阵； C3)、通过透视变换矩阵对各未拼接原始视频估计其4个边缘角点的球机水平倾角值及球机垂直倾角值； C4)、不重复的选择全景拼接摄像机的一个未拼接原始视频，将其坐标变化范围等分成多份，分别根据每份的球机水平倾角值及球机垂直倾角值控制球机到达相应位置；C5)、球机每到达一个位置，对此时的未拼接原始视频和球机画面进行特征提取并匹配，若匹配点满足阈值则保存相应坐标和球机此时的球机水平倾角值及球机垂直倾角值；C6)、重复步骤C4-C5，直至完成全景拼接摄像机的所有未拼接原始视频的映射关系建立。
4.如权利要求3所述的基于运动目标检测的全景拼接联动方法，其特征在于:所述步骤C5后还包括手动修正的步骤,包括: 查看自动标定的匹配对，若存在误差则参考步骤C4、C5手动控球调整球机，获取至少6个匹配点，将匹配点的坐标及球机的球机水平倾角值、球机垂直倾角值及球机缩放倍率值对应分组记录，对每组记录中的球机水平倾角值、球机垂直倾角值采用最小二乘法拟合出二次曲面系数，将该二次曲面系数作为标定系数连同选择的拼接原始视频的标识符及操控的球机的标识符对应保存完成映射关系建立。
5.如权利要求1所述的基于运动目标检测的全景拼接联动方法，其特征在于:所述步骤E中的联动具体包括步骤， EI)、根据跟踪框信息，计算跟踪框的中心点坐标； E2)、根据跟踪框中心点坐标值定位其在全景拼接画面中所属的区域； E3)、判断上述区域是否位于全景拼接摄像机中的重叠区域，否则获取区域的信息而后执行步骤E4，是则执行步骤E5 ； E4)、根据区域对应序号的拼接逆变换计算得到跟踪框中心点所在未拼接原始视频中的坐标位置； E5)、比较跟踪框中心点坐标值与重叠的两个未拼接原始视频的中心点的距离，根据距离最近的区域对应序号的拼接逆变换计算得到跟踪框中心点所在未拼接原始视频中的坐标位置； E6)、根据跟踪框中心点所在未拼接原始视频的映射关系，以跟踪框中心点的坐标位置获取对应的球机水平倾角值及球机垂直倾角值； E7 )、根据球机水平倾角值及球机垂直倾角值驱动球机调整。
6.一种基于运动目标检测的全景拼接联动装置，其特征在于:它包括， 拼接设置模块，用于在监控点设置球机与全景拼接摄像机，设置过程中全景拼接摄像机采用水平/垂直/水平垂直拼接方式，通过调整各镜头方向实现全景画面拼接，而后转到调整模块； 调整模块，用于调整全景拼接摄像机的视野，使之全景拼接画面中视野覆盖设置的球机视野，而后转到标定模块； 标定模块，用于标定球机与全景拼接摄像机，建立球机与全景拼接摄像机的位置映射关系，而后转到设置模块； 设置模块，用于待全景拼接画面中设置感兴趣区域后，对该感兴趣区域进行运动目标检测，而后转到运动检测模块； 运动检测模块，用于当检测到运动目标，对应运动目标标记跟踪框，根据跟踪框参数控制球机调整、聚焦拍摄跟踪目标图像。
7.如权利要求6所述的基于运动目标检测的全景拼接联动装置，其特征在于:所述标定模块具体包括， 播放单元，用于播放全景拼接摄像机的未拼接原始视频和球机视频，而后转到选择原始视频单元； 选择原始视频单元，用于不重复的选择全景拼接摄像机的一个未拼接原始视频而后转到特征点选择单元； 特征点选择单元，用于通过输入设备在选择的未拼接原始视频中不重复的选择一个特征点，记录该特征点的坐标转到分组记录单元； 分组记录单元，用于标出球机视频中画面的中心，通过操控使球机画面中心落到选择原始视频单元所选择的特征点上，将此时的球机水平倾角值、球机垂直倾角值及球机缩放倍率值对应特征点的坐标分组记录，转到重复单元； 重复单元，用于重复步骤特征点选择单元、标定记录单元至少6次而后转到标定单元； 标定单元，用于对每组记录中的球机水平倾角值、球机垂直倾角值采用最小二乘法拟合出二次曲面系数，将该二次曲面系数作为标定系数连同选择原始视频单元中选择的拼接原始视频的标识符及分组记录单元中操控的球机的标识符对应保存完成映射关系建立，而后转到全景重复单元； 全景重复单元，用于重复步骤选择原始视频单元、特征点选择单元、分组记录单元、重复单元及标定单元，直至完成全景拼接摄像机的所有未拼接原始视频的映射关系建立。
8.如权利要求6所述的基于运动目标检测的全景拼接联动装置，其特征在于:所述标定模块具体包括， 操控单元，用于操控使球机画面与全景拼接摄像机的各未拼接原始视频中心一致而后转到特征提取单元； 特征提取单元，用于提取各未拼接原始视频的一帧图像，对该图像提取sift/surf/harris特征点，然后特征匹配、匹配对采用最小二乘法计算出透视变换矩阵而后转到边缘估计单元； 边缘估计单元，用于通过透视变换矩阵对各未拼接原始视频估计其4个边缘角点的球机水平倾角值及球机垂直倾角值而后转到球机对位单元； 球机对位单元，用于不重复的选择全景拼接摄像机的一个未拼接原始视频，将其坐标变化范围等分成多份，分别根据每份的球机水平倾角值及球机垂直倾角值控制球机到达相应位置而后转到匹配单元； 匹配单元，用于球机每到达一个位置，对此时的未拼接原始视频和球机画面进行特征提取并匹配，若匹配点满足阈值则保存相应坐标和球机此时的球机水平倾角值及球机垂直倾角值而后转到标定单元； 标定单元，用于重复球机对位单元、匹配单元，直至完成全景拼接摄像机的所有未拼接原始视频的映射关系建立。
9.如权利要求8所述的基于运动目标检测的全景拼接联动装置，其特征在于:所述标定单元转到手动修正单元，所述手动修正单元用于查看自动标定的匹配对，若存在误差则参考球机对位单元、匹配单元手动控球调整球机，获取至少6个匹配点，将匹配点的坐标及球机的球机水平倾角值、球机垂直倾角值及球机缩放倍率值对应分组记录，对每组记录中的球机水平倾角值、球机垂直倾角值采用最小二乘法拟合出二次曲面系数，将该二次曲面系数作为标定系数连同选择的拼接原始视频的标识符及操控的球机的标识符对应保存完成映射关系建立。
10.如权利要求6所述的基于运动目标检测的全景拼接联动装置，其特征在于:所述运动检测模块的联动具体有下述单元实现， 跟踪框中心点计算单元，用于根据跟踪框信息，计算跟踪框的中心点坐标而后转到全景区域定位单元； 全景区域定位单元，用于根据跟踪框中心点坐标值定位其在全景拼接画面中所属的区域而后转到区域判断单元；区域判断单元，用于判断上述区域是否位于全景拼接摄像机中的重叠区域，否则获取区域的信息而后执行坐标计算单元，是则执行比较坐标计算单元； 坐标计算单元，用于根据区域对应序号的拼接逆变换计算得到跟踪框中心点所在未拼接原始视频中的坐标位置，而后转到球机联动单元； 比较坐标计算单元，用于比较跟踪框中心点坐标值与重叠的两个未拼接原始视频的中心点的距离，根据距离最近的区域对应序号的拼接逆变换计算得到跟踪框中心点所在未拼接原始视频中的坐标位置，而后转到球机联动单元； 球机联动单元，用于根据跟踪框中心点所在未拼接原始视频的映射关系，以跟踪框中心点的坐标位置获取对应的球机水平倾角值及球机垂直倾角值而后转到球机执行单元；球机执行单元，根据 球机水平倾角值及球机垂直倾角值驱动球机调整。
【文档编号】H04N5/232GK103716594SQ201410008471
【公开日】2014年4月9日 申请日期:2014年1月8日 优先权日:2014年1月8日
【发明者】魏园波, 彭俊, 林小晖, 周玉龙 申请人:深圳英飞拓科技股份有限公司