专利名称：一种半自动化对齐的视频融合系统和方法
技术领域：
本发明属于视频融合技术领域，涉及一种半自动化对齐的视频融合系统及视频融合方法。
背景技术：
在当今社会，交通发展如此迅速，给人们的生活带来了极大的方便、快捷，但随着交通工具的日益增加，交通出现拥堵、交通事故频有发生。为了解决交通的实际问题，具体车辆型号的识别、交通事故的情景重现显得尤为重要。如何将真实场景再现，已经成为本领域技术人员考虑研究的重点问题。视频融合技术是目前再现真实场景的一种常用手段，该技术是指将一个或多个由视频采集设备采集的关于某场景或模型的图像序列视频与一个与之相关的虚拟场景加以融合，以生成一个新的关于此场景的虚拟场景或模型。通过视频融合技术，可以更加真实地反映交通场景，及时地对交通事故作出响应，发出警示，进而使交通事故的处理更加准确、 迅速、快捷，辅助交通运行流畅。目前，现有的视频融合方法在对真实场景视频选取二维特征点时大多采用全自动的方式，该方式通常是把真实场景视频中所有的特征点选出，并对所有的特征点进行匹配计算，达到跟踪的目的，如SIFT算法、MSER算法、FAST算法、SURF算法等，这种方式的计算复杂度要高，耗时较多，同时由于选取的特征点过多，很难解决正确匹配的问题，不能被广泛地应用。
发明内容
针对上述现有技术存在的缺陷或不足，本发明的目的在于，提供一种执行效率高、 可操作性强的半自动化对齐的视频融合系统及方法，该方法能够将摄像机采集的真实场景视频与虚拟系统构建的虚拟几何模型进行快速高校的融合。为了实现上述任务，本发明采用如下的技术方案一种半自动化对齐的视频融合系统，包括用于对摄像机进行标定的A4棋盘网格纸、采集真实场景视频的摄像机、与摄像机相连接且对虚拟几何模型进行虚拟识别，对研究对象和虚拟几何模型动态叠加的PC机，PC机包括控制器、显示器、鼠标和键盘，其中，控制器用于分析处理视频数据，显示器用于将分析处理的结果同步显示，鼠标和键盘构成参数设置单元；对摄像机进行标定时，摄像机置于A4棋盘网格纸上方。进一步的，所述的虚拟几何模型与所述摄像机所采集的真实场景视频中研究对象等比例。上述半自动化对齐的视频融合系统的视频融合方法，该方法所采用的系统包括用于对摄像机进行标定的A4棋盘网格纸、采集真实场景视频的摄像机、与摄像机相连接且对虚拟几何模型进行虚拟识别，对研究对象和虚拟几何模型动态叠加的PC机，PC机包括控制器、显示器、鼠标和键盘，其中，控制器用于分析处理视频数据，显示器用于将分析处理的结果同步显示，鼠标和键盘构成参数设置单元；该方法具体按以下步骤进行
步骤1)，首先通过摄像机采集真实场景视频，启动PC机打开该视频，将该真实场景视频中的研究对象创建虚拟几何模型，所述虚拟几何模型与研究对象的尺寸成比例；步骤幻，摄像机的标定通过对棋盘网格对摄像机进行标定获得摄像机的内参数。步骤；3)，选取虚拟几何模型的三维特征点获取采集的真实场景视频的第一帧视频中的所有二维特征点，在研究对象上随机选取8处二维特征点分布密集的位置，在研究对象的虚拟几何模型上相对应的8处位置各选取并标出一个三维特征点；步骤4)，选取真实场景视频中研究对象的二维特征点在第一帧视频中的研究对象上选择8个二维特征点，将第一帧视频作为当前帧视频；步骤幻，当前帧视频中特征点跟踪和匹配依次计算当前帧视频中每个二维特征点对应的虚拟相机的外参数M' 2，从而得到当前帧视频时间段中的虚拟相机的位置和方向，进而实现当前帧视频中的研究对象和虚拟几何模型重合叠加显示；步骤6)，将真实场景视频的下一帧视频作为当前帧视频，通过子像素跟踪算法得到当前帧视频中8个二维特征点新的位置，循环执行步骤幻，直至真实场景视频结束，即实现真实场景视频的研究对象与虚拟三维模型在同一窗口中动态叠加显示；步骤7)，误差控制在真实场景视频结束后，计算特征点跟踪过程中每个三维特征点与其对应的二维特征点的位置绝对误差，如果有一个或一个以上三维特征点与二维特征点的位置绝对误差大于设定的阈值，则转入执行步骤4)重新进行试验，直至误差被控制在允许范围内，否则结束。进一步的，所述步骤1)中通过3DMax将真实场景视频中的研究对象创建虚拟几何模型。 进一步的，所述步骤幻中所述的摄像机的内参数M权利要求
1.一种半自动化对齐的视频融合系统，其特征在于，包括用于对摄像机(2)进行标定的A4棋盘网格纸(1)、采集真实场景视频的摄像机O)、与摄像机( 相连接且对虚拟几何模型进行虚拟识别，对研究对象和虚拟几何模型动态叠加的PC机(3)，PC机C3)包括控制器(3-1)、显示器(3-2)、鼠标和键盘，其中，控制器(3-1)用于分析处理视频数据，显示器 (3-2)用于将分析处理的结果同步显示，鼠标和键盘构成参数设置单元；对摄像机( 进行标定时，摄像机(2)置于A4棋盘网格纸(1)上方。
2.如权利要求1所述的半自动化对齐的视频融合系统，其特征在于，所述的虚拟几何模型与所述摄像机( 所采集的真实场景视频中研究对象等比例。
3.权利要求1或2所述的半自动化对齐的视频融合系统的视频融合方法，其特征在于， 该方法所采用的系统包括用于对摄像机(2)进行标定的A4棋盘网格纸(1)、采集真实场景视频的摄像机O)、与摄像机( 相连接且对虚拟几何模型进行虚拟识别，对研究对象和虚拟几何模型动态叠加的PC机(3)，PC机C3)包括控制器(3-1)、显示器(3-2)、鼠标和键盘， 其中，控制器(3-1)用于分析处理视频数据，显示器(3-2)用于将分析处理的结果同步显示，鼠标和键盘构成参数设置单元；该方法具体按以下步骤进行步骤1)，首先通过摄像机采集真实场景视频，启动PC机打开该视频，将该真实场景视频中的研究对象创建虚拟几何模型，所述虚拟几何模型与研究对象的尺寸成比例； 步骤幻，摄像机的标定通过对棋盘网格对摄像机进行标定获得摄像机的内参数； 步骤幻，选取虚拟几何模型的三维特征点获取采集的真实场景视频的第一帧视频中的所有二维特征点，在研究对象上随机选取8处二维特征点分布密集的位置，在研究对象的虚拟几何模型上相对应的8处位置各选取并标出一个三维特征点；步骤4)，选取真实场景视频中研究对象的二维特征点在第一帧视频中的研究对象上选择8个二维特征点，将第一帧视频作为当前帧视频；步骤幻，当前帧视频中特征点跟踪和匹配依次计算当前帧视频中每个二维特征点对应的虚拟相机的外参数M' 2，从而得到当前帧视频时间段中的虚拟相机的位置和方向，进而实现当前帧视频中的研究对象和虚拟几何模型重合叠加显示；步骤6)，将真实场景视频的下一帧视频作为当前帧视频，通过子像素跟踪算法得到当前帧视频中8个二维特征点新的位置，循环执行步骤幻，直至真实场景视频结束，即实现真实场景视频的研究对象与虚拟三维模型在同一窗口中动态叠加显示；步骤7)，误差控制在真实场景视频结束后，计算特征点跟踪过程中每个三维特征点与其对应的二维特征点的位置绝对误差，如果有一个或一个以上三维特征点与二维特征点的位置绝对误差大于设定的阈值，则转入执行步骤4)重新进行试验，直至误差被控制在允许范围内，否则结束。
4.如权利要求3所述的半自动化对齐的视频融合方法，其特征在于，所述步骤1)中通过3DMax将真实场景视频中的研究对象创建虚拟几何模型。
5.如权利要求3所述的半自动化对齐的视频融合方法，其特征在于，所述步骤2)中所述的摄像机的内参数M =fic0MO0fyV。001，其中包括摄像机的焦距(fx，fy)，图像中心点位置(uO，vO) 4个参数，采用的摄像机模型是针孔模型，针孔模型是线性的，不考虑镜头畸变.
6.如权利要求3或5所述的半自动化对齐的视频融合方法，其特征在于，所述对摄像机 2进行标定时，摄像机2置于A4棋盘网格纸1上方，通过A4棋盘网格纸1对摄像机2的标定只需一次。
7.如权利要求3所述的半自动化对齐的视频融合方法，其特征在于，所述步骤3)中采用SURF算法获取采集的真实场景视频的第一帧视频中的所有二维特征点。
8.如权利要求3所述的半自动化对齐的视频融合方法，其特征在于，所述步骤4)中所述的8个二维特征点的选取顺序与步骤幻中所述的8个三维特征点的选取顺序相同，每个二维特征点相对于研究对象上的位置与其对应的三维特征点在虚拟几何模型上的位置一致。
9.如权利要求3所述的半自动化对齐的视频融合方法，其特征在于，所述步骤5)依次计算当前帧视频的每个二维特征点对应的虚拟相机的外参数M' 2是指根据公式1所示的三维特征点和二维特征点的匹配关系，按照8个二维特征点的选取顺序进行计算得到，
全文摘要
本发明公开了一种半自动化对齐的视频融合系统及方法，该方法包括如下步骤通过摄像机采集真实场景视频，创建虚拟几何模型；摄像机的标定；选取虚拟几何模型的三维特征点；选取真实场景视频中研究对象的二维特征点在第一帧视频中的研究对象上选择8个二维特征点，将第一帧视频作为当前帧视频；当前帧视频中特征点跟踪和匹配；将真实场景视频的下一帧视频作为当前帧视频，直至真实场景视频结束；进行误差反馈控制。本发明成本低、设备简单、执行效率高、可操作性强，能够将真实视频与虚拟几何模型高效率进行重叠融合，以半自动化对齐的视频融合达到了将虚拟几何模型和现实场景相结合的目的。
文档编号G06T7/00GK102368810SQ201110277360
公开日2012年3月7日 申请日期2011年9月19日 优先权日2011年9月19日
发明者崔尚森, 柳有权, 段宗涛, 高宇霞 申请人:长安大学