三维监控系统中基于三维重构的交互式标定方法和装置的制造方法
【技术领域】
[0001]本发明涉及计算机视觉、图像处理等技术领域，尤其涉及一种三维监控系统中基于三维重构的交互式标定方法以及装置。
【背景技术】
[0002]目前，三维监控系统是智能监控系统中的一个前沿研究方向。三维监控系统将大量监控设备的视频画面实时嵌入到统一的参考背景模型中，整合所有的监控画面信息，形成对监控态势的整体认知和自由视角观察。相比传统的二维监控系统，监控人员无需面对数十甚至上百台监控屏幕，便能够快速获取摄像机的确切位置和监视内容，与现场环境建立对应。三维监控系统可支持多摄像机协同的高层智能分析，如目标检测与跟踪、异常事件检测等，在智能交通、智能安防、智能社区等领域中前景广阔。在三维监控系统的建立过程中，标定摄像机在三维参考背景模型中的位置姿态是核心环节。
[0003]相关技术中，对于标定问题，其中一种是采用基于传感器的方法(如GPS、惯性导航、姿态传感器等)，这类方法依赖专门设备且精度不高。另外一种是基于计算机视觉的自动标定方法，该方法通常要求监控图象间有足够的重叠视场，利用运动匹配或特征匹配的方法标定摄像机间的相对位姿。若将上述标定方法直接用于匹配摄像机图像与参考背景模型图像时，常因为二者差异过大或缺乏对应目标运动信息而失败。
[0004]然而，已有的三维监控系统多采用交互式标定的方法，逐一建立每个摄像机与参考背景模型的对应关系，结合几何计算得到摄像机的位姿。但是，这种方法工作量大(如正比于摄像机数量)，且仅适合静态摄像机，无法处理摄像机扰动和主动相机(Pan-Tilt-Zoom，PTZ)的运动。
【发明内容】
[0005]本发明的目的旨在至少在一定程度上解决上述的技术问题之一。
[0006]为此，本发明的第一个目的在于提出一种三维监控系统中基于三维重构的交互式标定方法。该方法通过一次性离线采集场景图像并进行三维重构，然后加入简单的人工标定点(如I 4个点)便可以在线自动标定多个目标摄像机并将其监控画面嵌入至参考背景模型中，能够实现直观、方便和统一的三维视频监控效果。
[0007]本发明的第二个目的在于提出一种三维监控系统中基于三维重构的交互式标定
目.ο
[0008]为了实现上述目的，本发明第一方面实施例的三维监控系统中基于三维重构的交互式标定方法，包括:获取参考背景模型以及监控视频，并采集多个场景图像，并将所述监控视频对应的多个监控摄像机连接起来，其中，所述多个场景图像中至少一个场景图像与所述监控视频的现场有重叠部分;根据所述多个场景图像进行三维重构以生成场景的三维特征点云，并将所述三维特征点云嵌入至所述参考背景模型;估计所述监控视频的当前帧姿态，并进行监控摄像机的自动标定；以及计算所述当前帧姿态到所述参考背景模型的单应变换，并将图像投影嵌入至所述参考背景模型。
[0009]根据本发明实施例的三维监控系统中基于三维重构的交互式标定方法，可快速自动地估计多个摄像机在参考背景模型中的位姿，并能够克服图像运动(如扰动或者主动相机等)带来的影响;不同于传统的人工逐一标定目标摄像机的复杂交互方式，通过引入了三维特征点云作为中间层，仅需一次性建立三维点云与参考背景模型间的几何变换关系，之后可借助该三维点云就能自动标定每一个目标摄像机，显著降低了工作量。另外，除静态摄像机外，还可以自动处理摄像机运动的情况。
[0010]为了实现上述目的，本发明第二方面实施例的三维监控系统中基于三维重构的交互式标定装置，包括:获取模块，用于获取参考背景模型以及监控视频;采集模块，用于采集多个场景图像，其中，所述多个场景图像中至少一个场景图像与所述监控视频的现场有重叠部分;连接模块，用于将所述监控视频对应的多个监控摄像机连接起来;生成模块，用于根据所述多个场景图像进行三维重构以生成场景的三维特征点云；嵌入模块，用于将所述三维特征点云嵌入至所述参考背景模型;估计模块，用于估计所述监控视频的当前帧姿态，并进行监控摄像机的自动标定；以及计算模块，用于计算所述当前帧姿态到所述参考背景模型的单应变换，并将图像投影嵌入至所述参考背景模型。
[0011]根据本发明实施例的三维监控系统中基于三维重构的交互式标定装置，可快速自动地估计多个摄像机在参考背景模型中的位姿，并能够克服图像运动(如扰动或者主动相机等)带来的影响;不同于传统的人工逐一标定目标摄像机的复杂交互方式，通过引入了三维特征点云作为中间层，仅需一次性建立三维点云与参考背景模型间的几何变换关系，之后可借助该三维点云就能自动标定每一个目标摄像机，显著降低了工作量。另外，除静态摄像机外，还可以自动处理摄像机运动的情况。
[0012]本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【附图说明】
[0013]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，
[0014]图1是根据本发明一个实施例的三维监控系统中基于三维重构的交互式标定方法的流程图；
[0015]图2是根据本发明实施例的估计监控视频的当前帧姿态的流程图；
[0016]图3是根据本发明实施例的单应变换的计算以及图像投影嵌入到参考背景模型的流程图；
[0017]图4是根据本发明一个具体实施例的三维监控系统中基于三维重构的交互式标定方法的示例图；以及
[0018]图5是根据本发明一个实施例的三维监控系统中基于三维重构的交互式标定装置的结构框图。
【具体实施方式】
[0019]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0020]下面参考附图描述根据本发明实施例的三维监控系统中基于三维重构的交互式标定方法以及装置。
[0021]图1是根据本发明一个实施例的三维监控系统中基于三维重构的交互式标定方法的流程图。如图1所示，该三维监控系统中基于三维重构的交互式标定方法可以包括:
[0022]SlOl，获取参考背景模型以及监控视频，并采集多个场景图像，并将监控视频对应的多个监控摄像机连接起来，其中，多个场景图像中至少一个场景图像与监控视频的现场有重叠部分。
[0023]其中，在本发明的实施例中，参考背景模型可以是场景的三维模型或者场景三维模型的某一视图，具体可以是卫星地图或三维地图的某一视角。
[0024]此外，在本发明的实施例中，获取监控视频和场景图像的采集设备可以是相机、手机、PTZ镜头、全景采集设备等。
[0025]可以理解，场景图像中至少一些与监控视频的视场有一定的重叠部分，以便后续的图像定位能够顺利进行。此外，在本发明的实施例中，术语“多个”可进行广义理解，即对应足够多的数量。
[0026]S102，根据多个场景图像进行三维重构以生成场景的三维特征点云，并将三维特征点云嵌入至参考背景模型。
[0027]具体地，可采用通用的运动恢复结构的方法(Structure-From-Mot 1n，简称SFM)进行三维重构，得到场景的三维特征点云和各个场景图像对应的摄像机矩阵。具体而言，在本发明的实施例中，可先对多个场景图像提取对应的SIFT特征点，之后，可根据SIFT特征点进行图像特征匹配，并根据RANSAC框架估计基础矩阵，其中，基础矩阵用于去噪，最后，根据通用的三维重构算法对基础矩阵进行三维重构，得到场景的三维特征点云。
[0028]可以理解，在本发明的实施例中，在将三维特征点云嵌入至参考背景模型的过程中，主要解决两个问题:估计三维特征点云与参考背景模型之间的几何关系，以便将标定的摄像机嵌入至参考背景模型中；以及估计场景的地