三维监控系统中基于三维重构的交互式标定方法和装置的制造方法_3

文档序号:9912110阅读:来源:国知局
重叠部分,以便后续的图像定位能够顺利进行。此外,在本发明的实施例中,术语“多个”可进行广义理解,即对应足够多的数量。
[0059]连接模块300可用于将监控视频对应的多个监控摄像机连接起来。
[0060]生成模块400可用于根据多个场景图像进行三维重构以生成场景的三维特征点云。更具体地,生成模块400可采用通用的运动恢复结构的方法(Structure-From-Mot1n,简称SFM)进行三维重构,得到场景的三维特征点云和各个场景图像对应的摄像机矩阵。具体而言,在本发明的实施例中,生成模块400可先对多个场景图像提取对应的SIFT特征点,之后,可根据SIFT特征点进行图像特征匹配,并根据RANSAC框架估计基础矩阵,其中,基础矩阵用于去噪,最后,根据通用的三维重构算法对基础矩阵进行三维重构,得到场景的三维特征点云。
[0061]为了加速后续在线图像的定位,进一步地,在本发明的一个实施例中,生成模块400还可用于:对三维特征点云的特征建立索引树。
[0062]嵌入模块500可用于将三维特征点云嵌入至参考背景模型。具体而言,在本发明的实施例中,嵌入模块500可估计三维特征点云与参考背景模型之间的几何关系,以便将标定的摄像机嵌入至参考背景模型中。
[0063]可以理解,在本发明的实施例中,嵌入模块500在将三维特征点云嵌入至参考背景模型的过程中,主要解决两个问题:估计三维特征点云与参考背景模型之间的几何关系,以便将标定的摄像机嵌入至参考背景模型中;以及估计场景的地平面方程L,以便计算摄像机监控画面投影到场景的地平面上的可视区域。
[0064]其中,估计几何关系需要借助输入的若干三维特征点云与参考背景模型的对应点,至少需要四组对应点(如三组求解+—组验证),结合RANSAC鲁棒估计框架来得到最佳的解。而估计场景地平面方程L的方法是通过输入属于该平面上的若干3D点(其中3D点的个数可大于等于3),采用RANSAC框架估计这些3D点在点云坐标系下的平面方程。
[0065]需要说明的是,在本发明的实施例中,上述几何关系主要表现为将参考背景模型某一视角的视图视为在特征点云坐标系中的虚拟视角摄像机。估计三维特征点云与参考背景模型之间的几何关系即为求取该虚拟视角摄像机的姿态,具体为:
[0066]当参考背景模型为三维模型的二维视图时,其模型为仿射摄像机或无穷远摄像机模型,目的是求取其投影矩阵P?,其中,所述投影矩阵只有6个自由度,通过给定若干三维特征点云与参考背景视图的3D—2D对应点,并借助投影关系来求取投影矩阵的所有参数,SP三维模型的二维视图可理解为某个摄像机观察一个三维模型得到的图像,比如卫星图可以看做卫星上的摄像机拍摄地球表面上的三维建筑而得到的图像其中,采用无穷远摄像机模型是为了消除透视照应;当参考背景模型为三维模型时,输入三维特征点云与三维背景模型间的若干3D对应点,计算三维点云到三维背景模型的相似变换T。
[0067]估计模块600可用于估计监控视频的当前帧姿态,并进行监控摄像机的自动标定。具体而言,在本发明的实施例中,估计模块600可先提取监控视频对应的当前帧的图像特征,并根据当前帧判断是否存在对应的已经姿态的参考帧,如果存在,则将当前帧与参考帧进行2D-2D特征匹配;如果2D-2D特征匹配失败或者参考帧不存在,则将监控视频与三维特征点云进行2D-3D特征匹配,并根据匹配关系估计当前帧对应摄像机在点云坐标系中的位姿,并更新参考帧;如果2D-2D匹配成功,则根据RANSAC框架计算当前帧与参考帧的相对运动,并根据当前帧与参考帧的相对运动估计当前帧姿态Pk,以及计算当前帧相对参考帧的相对运动,并在当前帧相对参考帧的相对运动大于预设阈值时,根据当前帧更新参考帧。
[0068]需要说明的是,在本发明的实施例中,主要从以下两种情况来考虑相对运动的计算:一是由于自然因素(如风、碰撞等)造成的摄像机扰动,这种运动近似为纯旋转运动;二是主动PTZ(pan-tilt-z00m)镜头的运动情况,由于其可以进行旋转和变焦,可以视为带尺度的旋转。
[0069]也就是说,估计监控视频的当前帧姿态主要为两个过程:2D_3D图像定位和2D-2D姿态传递。其中,当前帧姿态一般为相对姿态,故需要参考帧。当已有参考帧时,可进行2D-2D姿态传递,该2D-2D姿态传递主要包括以下几个方面:特征提取与匹配、相对运动估计、参考帧的更新。其中,在本发明的实施例中,为了加速特征提取,可采用了SiftGPU的方法,并使用RANSAC框架估计相对运动。当没有参考帧或2D-2D匹配失败时,可进行2D-3D图像定位,并采用摄像机姿态估计算法PnP估计出当前图像的位姿,若姿态估计成功,则以此姿态创建参考帧。
[0070]计算模块700可用于计算当前帧姿态到参考背景模型的单应变换,并将图像投影嵌入至参考背景模型。具体而言,在本发明的实施例中,计算模块700可先根据地平面方程L和监控视频的当前帧姿态Pk计算地面消隐线,并根据消隐线切割当前帧图像平面,得到需要投影的区域,其中,该需要投影的区域可理解为当前帧图像中消隐线下半部分,之后,计算当前帧姿态Pk与虚拟视角摄像机P?由地平面方程L引导的单应变换,最后,根据单应变换将需要投影的区域嵌入至参考背景模型中,并实时更新投影区域。
[0071]根据本发明实施例的三维监控系统中基于三维重构的交互式标定装置,可快速自动地估计多个摄像机在参考背景模型中的位姿,并能够克服图像运动(如扰动或者主动相机等)带来的影响;不同于传统的人工逐一标定目标摄像机的复杂交互方式,通过引入了三维特征点云作为中间层,仅需一次性建立三维点云与参考背景模型间的几何变换关系,之后可借助该三维点云就能自动标定每一个目标摄像机,显著降低了工作量。另外,除静态摄像机外,还可以自动处理摄像机运动的情况。
[0072]在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0073]流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
[0074]在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,〃计算机可读介质〃可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDR0M)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1