专利名称：时空联合多视角视频插值及三维建模方法
技术领域：
本发明属于计算机多媒体技术领域，具体讲，涉及时空联合多视角视频插值及三维建模方法。
背景技术：
长期以来，单路视频的采集、处理与通信在关键技术上取得了重要突破，已经趋于成熟并在广播电视、互联网视频、智能交通等多个领域获得广泛应用。然而，传统单摄像机采集形式不能带来深度感、立体感以及对对象的全方位认识(视角可变)。基于多摄像机系统的多路视频采集及对场景对象的重建则可达到全方位的视觉感受，相关研究在上世纪 90年代中期开始成为研究热点。基于多摄像机系统的三维场景实时获取及重建技术在自由视点视频、虚拟现实、沉浸视频会议、电影娱乐、立体视频及运动分析等领域有着广泛应用。 国际上多所著名大学与研究机构如斯坦福、麻省理工、卡奈基梅隆、哥伦比亚大学、三菱电子、微软研究院、马克斯-普朗克信息研究所都搭建了各种多摄像机采集系统，以用于场景几何捕获、运动分析以及立体制作。现阶段，基于多摄像机系统的采集和重建技术由于存在摄像机搭建与同步、摄像机存储与传输、高维数据处理、高速运动捕捉等方面的问题而难以获得用户满意的重建效果。其中，要实现对高速运动的捕捉，一种方法是采用多个高速摄像机，但高速摄像机价格昂贵且存储能力有限；另一种方法是采用多个廉价的低帧率摄像机， 对这些摄像机进行合理分组，同组摄像机同时采样，不同组摄像机间插采样，如此得到稀疏采样的空时信息，然后通过插值方法实现高帧率的重建。斯坦福大学(Wilburn B, Joshi N, Vaish V,et al. High-speed videography using a dense camera array. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, Washington, DC, USA, 2004. 294-301.)通过52个帧率为30fps的密集光场摄像机阵列实现了单视角的高速场景重现。但是该方法结果仅限于单视角，不能得到各个时刻多视角的图像，进而无法重建各个时刻的三维模型。本发明第一发明人曾提出一种采用环形低帧率摄像机阵列对高速运动物体建模的方法(ZL200810103684. 2)来实现全视角三维重建，但是该方法仅仅简单地利用可视外壳模型求交来进行插值和重建，因此插值和重建效果很一般且不鲁棒。虽然可以采用现有视频插值、图像融合方法来获取未采集的多视角视频，但是所得结果会存在模糊或不平滑区域。
发明内容
为克服现有技术的不足，提供一种简便实用的多视角视频插值及三维建模方法， 本发明采取的技术方案是，时空联合多视角视频插值及三维建模方法，将多摄像机阵列间隔分组设有η个帧率为f帧/秒的摄像机，均勻间隔分为m组，n、m为正整数，且η为m的整数倍；同组摄像机同步采集得到同一时刻n/m个视角的视频，不同组摄像机以l/(fm)秒的时间间插进行采集得到不同时刻的视频；采用所提出的时空联合多视角视频插值及三维建模方法得到所有时刻η个视角的视频，进而重建出每个时刻上场景的三维模型，具体方下步骤1)对于每一个摄像机，采用光流方法求取相邻两个采集帧之间的前向光流和后向光流，进而插值出两帧之间的未采集帧，即时域插值帧；2)对于每一个采集时刻，采用模型辅助的加权方法得到该时刻未采集的视角的图像，即空域插值帧；3)计算由步骤1)得到的时域插值帧和由步骤2)得到的空域插值帧的双树离散小波域的积累能量谱，并提取关键点；4)使用shape context形状上下文描述所提取的关键点，并将基于形状上下文的关键点匹配问题转化为平方赋值即加权二分图匹配问题，通过Hungarian方法求解；5)通过求解泊松编辑优化问题得到最终的插值帧；6)在每个时刻上，利用所有视角的图像，包括采集图像和插值图像，采用多视角立体方法重建场景的三维模型并渲染。模型辅助的加权方法具体包括以下步骤21)通过简单的差分或者蓝屏分割技术由采集到视角图像提取三维物体的轮廓图；22)利用步骤21)计算得到的轮廓图，通过EPVH方法重建粗略的三维模型，即可视外壳模型；23)对于每一个未采集视角i，利用与之相邻最近的两个采集视角j和k的图像进行加权插值，权值计算如下
权利要求
1.一种时空联合多视角视频插值及三维建模方法，其特征是，将多摄像机阵列间隔分组设有η个帧率为f帧/秒的摄像机，均勻间隔分为m组，n、m为正整数，且η为m的整数倍；同组摄像机同步采集得到同一时刻n/m个视角的视频，不同组摄像机以l/(fm)秒的时间间插进行采集得到不同时刻的视频；采用所提出的时空联合多视角视频插值及三维建模方法得到所有时刻η个视角的视频，进而重建出每个时刻上场景的三维模型，具体方法包括以下步骤1)对于每一个摄像机，采用光流方法求取相邻两个采集帧之间的前向光流和后向光流，进而插值出两帧之间的未采集帧，即时域插值帧；2)对于每一个采集时刻，采用模型辅助的加权方法得到该时刻未采集的视角的图像， 即空域插值帧；3)计算由步骤1)得到的时域插值帧和由步骤幻得到的空域插值帧的双树离散小波域的积累能量谱，并提取关键点；4)使用shapecontext形状上下文描述所提取的关键点，并将基于形状上下文的关键点匹配问题转化为平方赋值即加权二分图匹配问题，通过Hungarian方法求解；5)通过求解泊松编辑优化问题得到最终的插值帧；6)在每个时刻上，利用所有视角的图像，包括采集图像和插值图像，采用多视角立体方法重建场景的三维模型并渲染。
2.如权利要求1所述方法，其特征是，模型辅助的加权方法具体包括以下步骤21)通过简单的差分或者蓝屏分割技术由采集到视角图像提取三维物体的轮廓图；22)利用步骤21)计算得到的轮廓图，通过EPVH方法重建粗略的三维模型，即可视外壳模型；23)对于每一个未采集视角i，利用与之相邻最近的两个采集视角j和k的图像进行加权插值，权值计算如下
3.如权利要求1所述方法，其特征是，计算双树离散小波域的积累能量谱，并提取关键点，具体方法包括以下步骤31)将空域插值帧和时域插值帧进行双树离散小波变换，分解为S个尺度；32)分别计算实部和虚部每个尺度下的关键点能量谱{Ms}k《s，每个像素位置的关键点能量计算为
4.如权利要求1所述方法，其特征是，基于形状上下文的关键点匹配方法具体为通过求解以下优化问题得到最终的插值帧
全文摘要
本发明属于计算机多媒体技术领域。为提供一种简便实用的多视角视频插值及三维建模方法，本发明采取的技术方案是，时空联合多视角视频插值及三维建模方法，将多摄像机阵列间隔分组；重建出每个时刻上场景的三维模型，具体包括以下步骤1)插值出两帧之间的未采集帧；2)采用模型辅助的加权方法得到该时刻未采集的视角的图像；3)计算并提取关键点；4)使用shape context形状上下文描述所提取的关键点，通过Hungarian方法求解；5)通过求解泊松编辑优化问题得到最终的插值帧；6)重建场景的三维模型并渲染。本发明主要应用于天线设计制造。
文档编号G06T17/00GK102446366SQ20111027176
公开日2012年5月9日 申请日期2011年9月14日 优先权日2011年9月14日
发明者李坤, 杨敬钰 申请人:天津大学