专利名称：基于关注度的目标物三维重建方法
基于关注度的目标物三维重建方法技术领域
本发明属于计算机视觉，图像处理和多媒体分析技术领域，涉及基于关注度的目 标物三维重建方法。
背景技术：
随着数字图像的发展，高质量的视频变得更加丰富。由于基于视频的三维重建通 过使用丰富的视频数据，可以提高集合精度和视觉质量，因此成为一个很流行的研究课题， 在计算机视觉，图像处理和多媒体分析。
一般来说，基于视频/图像的三维重建系统可以分为两类基于非标定的系统和 基于自标定的系统。基于非标定的系统需要图像和摄像机参数来进行三维重建，例如基于 块的多视立体方法(PMVS)，它通过增强局部光学一致性和全局视觉约束来恢复物体或者场 景的三维结构。基于自标定的系统首先通过摄像机自标定算法估计摄像机参数然后再恢复 三维点云。但是，当前的方法只提供整体场景的三维重建，而我们往往只关注那些吸引我们 注意力的区域。这样的方法浪费了太多的计算量在重建那些非感兴趣区域，而且三维模型 不能突出那些感兴趣区域。
人们往往关注与那些视觉显著的区域，而视觉关注度分析可以获得视觉显著区 域。视觉关注度分析已经被学习和广泛的应用于计算机视觉，人工智能和多媒体处理。大 部分先前的工作集中于静态图像的分析，主要使用静态信息。当前，视频关注度分析吸引了 更多的关注。主要方法有结合静态和位置显著度图来获得关键帧中的感兴趣区域。除了静 态和位置关注度，动态关注度同样引起了人们的注意，并且广泛的应用于基于时空信息的 关注区域检测。有很多方法可以用来获得运动向量，例如光流法。但是，在运动摄像机条件 下的运动向量的估计仍然是一个挑战性的问题，而且仅仅从观看者的角度分析动态关注度 是不够的。发明内容
为了解决现有技术三维重建的精确度不能令人满意的问题，本发明的目的是提出 了一个时空关注度区域检测的方法来增强基于视频的三维重建，为此提供一种基于关注度 的目标物三维重建方法。
为达到上述目的，本发明提供的基于关注度的目标物三维重建方法的技术方案包 括通过分析视频帧中的感兴趣区域来提高三维重建的效果并加快三维重建的速度，包括 步骤如下
步骤Sl 将用于三维重建的视频分割为视频帧，并从静态、位置和动态三个方面 来分析视频帧中的视觉关注度分布，并获得其对应的静态、位置和动态显著度图；融合静 态、位置和动态三方面分析的显著度图以得到每个视频帧的基于视频的显著度图，显著度 图所描述的显著区域为三维重建中的感兴趣区域；
步骤S2 利用概要性全局特征来聚类所有的视频帧，并根据每个视频帧产生的显4著度图选出一个候选的关键帧集合，最终通过几何约束和视觉约束分析，提取用于三维重 建的视频关键帧；
步骤S3 使用视频关键帧和其相对应的显著度图，仅对视频帧中的显著区域进行 三维重建，以得到在感兴趣区域上的精确的三维模型并加快重建速度。
其中，所述分析视频的视觉关注度包括静态关注度分析、位置关注度分析、动态 关注度分析和关注度融合；
对于每个视频帧，使用基于对比和基于信息论相结合的方法进行静态关注度分 析，得到静态显著度对于每个视频帧，从水平、垂直和放射三个方面描述摄像机的运动使用完整模板 匹配进行位置关注度分析，得到位置显著度对于相邻视频帧，从视频观众和视频拍摄者两个方面进行动态关注度分析，得到 相邻两帧中前帧的动态显著度对于得到的每个视频帧的静态显著度图、位置显著度图和动态显著度图，使用动 态融合的方式进行关注度融合，根据静态显著度图和动态显著度图的均值之间的关系来计 算融合时各自的权重，并最终得到每个视频帧的融合后的视觉显著度图。
其中，所述提取用于三维重建的视频关键帧的步骤包括如下
步骤S21 先用概要性全局特征描述符聚类所有的帧到k个聚类类别；
步骤S22 对于每一个聚类类别，通过计算这个类别中所有显著度图的均值来获 得这个类别的类显著度步骤S23 计算每个聚类中帧的显著度图和类显著度图之间的距离，并从每个聚 类类别中选出与类显著度图距离最小的10%的图像作为候选关键帧集合；
步骤S24 将来自候选关键帧集合中的任意k个帧构成一个帧组合，如果他们来自 不同的类别，根据几何约束和视觉约束排序所有的帧组合并最终决定关键帧组合。
其中，所述仅对视频帧中的显著区域进行三维重建的步骤如下
步骤S31 用由运动恢复结构的方法自动的恢复关键帧的摄像机参数；然后，在每 个关键帧中用高斯差分和哈里斯检测子来检测角点；对每个关键帧的感兴趣区域由视觉显 著度的值来描述；通过帧显著度图，删除检测出来的分布在感兴趣区域之外的特征；最后， 分布在感兴趣区域内的特征被提供去恢复三维信息；
步骤S32 使用两幅图像之间的极限约束对分布在感兴趣区域内的图片特征进行 特征匹配，从而在显著区域中形成稀疏的块分布，得到初始匹配块，
步骤S33 重复η次对初始匹配块向周围进行扩散膨胀，并且得到稠密的块分布；
步骤S34 根据视觉约束，对稠密的块分布重复η次消除匹配错误的块，实现关注 度增强的三维重建。
本发明的有益效果本发明通过对每个视频帧进行视觉关注度分析，在每个视频 帧中得到了较为精确的感兴趣区域，并通过对视频帧的基于全局特征的聚类以及基于视觉 约束和几何约束的视频关键帧提取，来得到有利于三维重建视频关键帧和视频帧中的感兴 趣区域。对视频关键帧中的感兴趣区域中的特征进行三维重建，得到了精确的三维重建结 果，并提高了三维重建的速度。
本发明在真实环境中的室内和室外的实验，证明了本发明的方法有更高的精确度和更高的计算效率。
图1本发明基于视觉关注度的目标物三维重建框架图
图2是描述在室内环境下的视觉关注度分析结果。
图3是描述在室外环境下视觉关注度分析的结果。
图4是室内环境下视频关键帧提取结果。
图5是室外环境下视频关键帧提取结果。
图6是室内场景重建的例子。
图7是室外场景重建的例子。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明进一步详细说明。
考虑到视觉关注度分析在感兴趣区域检测上的广泛应用，本发明提出了一个时空 关注度区域检测的方法来增强基于视频的三维重建。本发明的方法适应基于视频的三维重 建的特性未知的摄像机运动和视频中某些物体的突然出现(例如飞鸟，行人，路过的车辆 等)。通过与传统的三维重建方法比较，本发明的方法可以获得更准确的三维模型和较低的 运算消耗。本发明中所使用计算机均在Windows XP操作系统下，硬件设备条件为处理器: 酷睿双核2. 2G，内存2G。本发明的结构图在图1中显示基于视觉关注度的目标物三维重建 框架图，包括三部分1)基于视频的视觉关注度分析，幻视频关键帧提取，幻关注区域增强 的视频三维重建，其中
1基于视频的视觉关注度分析
基于视频的视觉关注度分析主要包括四部分静态关注度分析、位置关注度分析、 动态关注度分析和关注度融合。其中，静态关注度分析主要是针对视频帧中能够引起人们 视觉关注的静态的物体的分析；位置关注度分析主要是针对视频帧中，由位置引起的视觉 关注的分析，并且视觉关注的位置也随着摄像机的变化而转移；动态关注度分析主要是针 对相邻视频帧中，运动的物体能够引起视觉关注的分析，通过对视频帧中每个像素点的运 动强度分析，获得能够引起视觉关注的动态显著度图；分别从静态、位置和动态三个方面分 析视觉关注之后，本发明融合三方面分析的结果，得到最终的视觉关注分析。
1. 1静态关注度分析
静态物体可以吸引人们的关注，这就是所谓的静态关注度。基于反差的关注度分 析引入中心环绕结构的概念来提供人类视觉系统(HVS)以特征反差。基于信息论的方法依 靠于这样的前提视觉关注的完全依靠于最大化的信息采样。反差和信息采样是计算显著 度的两个因素。本发明融合基于反差的方法和基于信息论的方法来计算静态显著度图，如 公式⑴
Mapstatic (X，y) = Con (x, y) X ID (χ, y)(1)
这里在点(X，y)处的静态显著度值为Mapstati。(x，y)，归一化之后的反差特征为 Con (x, y)和信息特征为ID (X，y)。6
1. 2位置关注度分析
本发明从水平(H)、垂直(V)和放射(R)三个方面描述摄像机的运动使用整体模板 匹配(Integral Template Matching)技术。应用水平(H)、垂直(V)和放射(R) 3参数的模 型，用一下三个公式计算摄像机在水平MapH(i，j)、垂直Mapv(i，j)和放射MapK(i，j)三个 方向的运动强度，如公式0-4)
权利要求
1.一种基于关注度的目标物三维重建方法，其特征在于，通过分析视频帧中的感兴趣 区域来提高三维重建的效果并加快三维重建的速度，包括步骤如下步骤Sl 将用于三维重建的视频分割为视频帧，并从静态、位置和动态三个方面来分 析视频帧中的视觉关注度分布，并获得其对应的静态、位置和动态显著度图；融合静态、位 置和动态三方面分析的显著度图以得到每个视频帧的基于视频的显著度图，显著度图所描 述的显著区域为三维重建中的感兴趣区域；步骤S2 利用概要性全局特征来聚类所有的视频帧，并根据每个视频帧产生的显著度 图选出一个候选的关键帧集合，最终通过几何约束和视觉约束分析，提取用于三维重建的 视频关键帧；步骤S3 使用视频关键帧和其相对应的显著度图，仅对视频帧中的显著区域进行三维 重建，以得到在感兴趣区域上的精确的三维模型并加快重建速度。
2.根据权利要求1所述的基于关注度的目标物三维重建方法，其特征在于，所述分析 视频的视觉关注度包括静态关注度分析、位置关注度分析、动态关注度分析和关注度融 合；对于每个视频帧，使用基于对比和基于信息论相结合的方法进行静态关注度分析，得 到静态显著度图；对于每个视频帧，从水平、垂直和放射三个方面描述摄像机的运动使用完整模板匹配 进行位置关注度分析，得到位置显著度图；对于相邻视频帧，从视频观众和视频拍摄者两个方面进行动态关注度分析，得到相邻 两帧中前帧的动态显著度图；对于得到的每个视频帧的静态显著度图、位置显著度图和动态显著度图，使用动态融 合的方式进行关注度融合，根据静态显著度图和动态显著度图的均值之间的关系来计算融 合时各自的权重，并最终得到每个视频帧的融合后的视觉显著度图。
3.根据权利要求1所述的基于关注度的目标物三维重建方法，其特征在于，所述提取 用于三维重建的视频关键帧的步骤包括如下步骤S21 先用概要性全局特征描述符聚类所有的帧到k个聚类类别； 步骤S22 对于每一个聚类类别，通过计算这个类别中所有显著度图的均值来获得这 个类别的类显著度图；步骤S23 计算每个聚类中帧的显著度图和类显著度图之间的距离，并从每个聚类类 别中选出与类显著度图距离最小的10%的图像作为候选关键帧集合；步骤S24 将来自候选关键帧集合中的任意k个帧构成一个帧组合，如果他们来自不同 的类别，根据几何约束和视觉约束排序所有的帧组合并最终决定关键帧组合。
4.根据权利要求1所述的基于关注度的目标物三维重建方法，其特征在于，所述仅对 视频帧中的显著区域进行三维重建的步骤如下步骤S31 用由运动恢复结构的方法自动的恢复关键帧的摄像机参数；然后，在每个关 键帧中用高斯差分和哈里斯检测子来检测角点；对每个关键帧的感兴趣区域由视觉显著度 的值来描述；通过帧显著度图，删除检测出来的分布在感兴趣区域之外的特征；最后，分布 在感兴趣区域内的特征被提供去恢复三维信息；步骤S32 使用两幅图像之间的极限约束对分布在感兴趣区域内的图片特征进行特征匹配，从而在显著区域中形成稀疏的块分布，得到初始匹配块；步骤S33 重复η次对初始匹配块向周围进行扩散膨胀，并且得到稠密的块分布； 步骤S34 根据视觉约束，对稠密的块分布重复η次消除匹配错误的块，实现关注度增强的三维重建。
全文摘要
本发明基于关注度的目标物的三维重建方法，包括步骤S1将用于三维重建的视频分割为视频帧，并从静态、位置和动态分析视频帧中的视觉关注度分布，并获得其对应的静态、位置和动态显著度图；融合静态、位置和动态分析的显著度图以得到每个视频帧的基于视频的显著度图，显著度图所描述的显著区域为三维重建中的感兴趣区域；步骤S2利用概要性全局特征来聚类所有的视频帧，并根据每个视频帧产生的显著度图选出一个候选的关键帧集合，最终通过几何约束和视觉约束分析，提取用于三维重建的视频关键帧；步骤S3使用视频关键帧和其相对应的显著度图，仅对视频帧中的显著区域进行三维重建，以得到在感兴趣区域上的精确的三维模型并加快重建速度。
文档编号G06T17/00GK102034267SQ20101057427
公开日2011年4月27日 申请日期2010年11月30日 优先权日2010年11月30日
发明者徐常胜, 肖宪 申请人:中国科学院自动化研究所