将其存储在计算机存储器中。
[0075]应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
[0076]本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0077]此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0078]上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
【主权项】
1.一种三维监控系统中基于三维重构的交互式标定方法，其特征在于，包括以下步骤: 获取参考背景模型以及监控视频，并采集多个场景图像，并将所述监控视频对应的多个监控摄像机连接起来，其中，所述多个场景图像中至少一个场景图像与所述监控视频的现场有重叠部分； 根据所述多个场景图像进行三维重构以生成场景的三维特征点云，并将所述三维特征点云嵌入至所述参考背景模型； 估计所述监控视频的当前帧姿态，并进行监控摄像机的自动标定；以及计算所述当前帧姿态到所述参考背景模型的单应变换，并将图像投影嵌入至所述参考背景模型。2.如权利要求1所述的方法，其特征在于，根据所述多个场景图像进行三维重构以生成场景的三维特征点云具体包括: 对所述多个场景图像提取对应的SIFT特征点； 根据所述SIFT特征点进行图像特征匹配，并根据RANSAC框架估计基础矩阵，其中，所述基础矩阵用于去噪； 根据通用的三维重构算法对所述基础矩阵进行三维重构，得到所述场景的三维特征点云。3.如权利要求2所述的方法，其特征在于，还包括: 对所述三维特征点云的特征建立索引树； 估计所述场景的地平面方程L，以便计算摄像机监控画面投影到所述场景的地平面上的可视区域。4.如权利要求1所述的方法，其特征在于，将所述三维特征点云嵌入至所述参考背景模型，具体包括: 估计所述三维特征点云与所述参考背景模型之间的几何关系，以便将标定的摄像机嵌入至所述参考背景模型中。5.如权利要求1所述的方法，其特征在于，估计所述监控视频的当前帧姿态，并进行监控摄像机的自动标定，具体包括: 提取所述监控视频对应的当前帧的图像特征，并根据所述当前帧判断是否存在对应的已知姿态的参考帧； 如果存在，则将所述当前帧与所述参考帧进行2D-2D特征匹配； 如果2D-2D特征匹配失败或者所述参考帧不存在，则将所述监控视频与所述三维特征点云进行2D-3D特征匹配，并根据匹配关系估计所述当前帧对应摄像机在点云坐标系中的位姿，并更新所述参考帧； 如果2D-2D匹配成功，则根据RANSAC框架计算所述当前帧与所述参考帧的相对运动，并根据所述当前帧与所述参考帧的相对运动估计所述当前帧姿态Pk; 计算所述当前帧相对所述参考帧的相对运动，并在所述当前帧相对所述参考帧的相对运动大于预设阈值时，根据所述当前帧更新所述参考帧。6.如权利要求3所述的方法，其特征在于，计算所述当前帧姿态到所述参考背景模型的单应变换，并将图像投影嵌入至所述参考背景模型，具体包括: 根据所述地平面方程L和所述监控视频的当前帧姿态Pk计算地面消隐线，并根据所述消隐线切割当前帧图像平面，得到需要投影的区域； 计算所述当前帧姿态Pk与虚拟视角摄像机Poo由所述地平面方程L引导的单应变换；根据所述单应变换将所述需要投影的区域嵌入至所述参考背景模型中，并实时更新投影区域。7.—种三维监控系统中基于三维重构的交互式标定装置，其特征在于，包括: 获取模块，用于获取参考背景模型以及监控视频； 采集模块，用于采集多个场景图像，其中，所述多个场景图像中至少一个场景图像与所述监控视频的现场有重叠部分； 连接模块，用于将所述监控视频对应的多个监控摄像机连接起来； 生成模块，用于根据所述多个场景图像进行三维重构以生成场景的三维特征点云； 嵌入模块，用于将所述三维特征点云嵌入至所述参考背景模型； 估计模块，用于估计所述监控视频的当前帧姿态，并进行监控摄像机的自动标定；以及计算模块，用于计算所述当前帧姿态到所述参考背景模型的单应变换，并将图像投影嵌入至所述参考背景模型。8.如权利要求7所述的装置，其特征在于，所述生成模块具体用于: 对所述多个场景图像提取对应的SIFT特征点； 根据所述SIFT特征点进行图像特征匹配，并根据RANSAC框架估计基础矩阵，其中，所述基础矩阵用于去噪； 根据通用的三维重构算法对所述基础矩阵进行三维重构，得到所述场景的三维特征点云。9.如权利要求8所述的装置，其特征在于，所述生成模块还用于: 对所述三维特征点云的特征建立索引树； 估计所述场景的地平面方程L，以便计算摄像机监控画面投影到所述场景的地平面上的可视区域。10.如权利要求7所述的装置，其特征在于，所述嵌入模块具体用于: 估计所述三维特征点云与所述参考背景模型之间的几何关系，以便将标定的摄像机嵌入至所述参考背景模型中。11.如权利要求7所述的装置，其特征在于，所述估计模块具体用于: 提取所述监控视频对应的当前帧的图像特征，并根据所述当前帧判断是否存在对应的已经姿态的参考帧； 如果存在，则将所述当前帧与所述参考帧进行2D-2D特征匹配； 如果2D-2D特征匹配失败或者所述参考帧不存在，则将所述监控视频与所述三维特征点云进行2D-3D特征匹配，并根据匹配关系估计所述当前帧对应摄像机在点云坐标系中的位姿，并更新所述参考帧； 如果2D-2D匹配成功，则根据RANSAC框架计算所述当前帧与所述参考帧的相对运动，并根据所述当前帧与所述参考帧的相对运动估计所述当前帧姿态Pk; 计算所述当前帧相对所述参考帧的相对运动，并在所述当前帧相对所述参考帧的相对运动大于预设阈值时，根据所述当前帧更新所述参考帧。12.如权利要求9所述的装置，其特征在于，所述计算模块具体用于: 根据所述地平面方程L和所述监控视频的当前帧姿态Pk计算地面消隐线，并根据所述消隐线切割当前帧图像平面，得到需要投影的区域； 计算所述当前帧姿态Pk与虚拟视角摄像机P?由所述地平面方程L引导的单应变换；根据所述单应变换将所述需要投影的区域嵌入至所述参考背景模型中，并实时更新投影区域。
【专利摘要】本发明公开了一种三维监控系统中基于三维重构的交互式标定方法和装置，其中方法包括：获取参考背景模型以及监控视频，并采集多个场景图像，并将监控视频对应的多个监控摄像机连接起来，其中，多个场景图像中至少一个场景图像与监控视频的现场有重叠部分；根据多个场景图像进行三维重构以生成场景的三维特征点云，并将三维特征点云嵌入至参考背景模型；估计监控视频的当前帧姿态，并进行监控摄像机的自动标定；以及计算当前帧姿态到参考背景模型的单应变换，并将图像投影嵌入至参考背景模型。该方法能够实现直观、方便和统一的三维视频监控效果。
【IPC分类】G06T7/00
【公开号】CN105678748
【申请号】CN201511024306
【发明人】周杰, 邓磊, 赖伟良
【申请人】清华大学
【公开日】2016年6月15日
【申请日】2015年12月30日