专利名称：3d视频转换系统和方法及其选择关键帧的方法和装置的制作方法
技术领域：
本发明涉及视频技术，尤其涉及3D视频转换系统和方法及其选择关键帧的方法和装置。
背景技术：
随着人们的审美要求越来越高，3D (Three Dimensions,三维)视频因其能带给人们“身临其境”的感觉，逐渐成为大众的新宠。直接拍摄3D视频的成本极其昂贵，不利于3D视频的普及和发展。目前，已经拍摄完成的2D (two Dimensions，二维)视频数不胜数，而且很多是具有重要意义的不可重现的片段，因此将2D视频转换为3D视频具有积极的实际意义，从而成为研究的重点。一般而言，2D转3D技术可分为全自动转换和半自动转换以及手动转换三种方式。 全自动转换技术因为缺少人工的参与，得到的立体视频质量较差。半自动转换技术能够较好地平衡人工参与和立体效果，通常包含以下几个步骤SlOl :从2D视频中选取关键帧。S102 :对每个关键帧进行深度分配。S103 :进行深度传播。S104 :利用传播得到的深度图合成3D视频。本发明的发明人发现，由于现有技术的2D到3D视频转换过程中，是以固定间隔选取关键帧，选择出来的关键帧通常不具有代表性。而非关键帧的深度是由关键帧的深度经过传播得到的，关键帧的选择必然会影响到非关键帧的深度，进而影响转换的3D视频的质量；导致采用现有技术的方法所得到的3D视频质量不高，在立体感、逼真度等方面仍然有较大的提升空间。
发明内容
本发明的实施例提供了一种3D视频转换系统和方法及其选择关键帧的方法和装置，用以提高转换的3D视频的质量。根据本发明的一个方面，提供了一种3D视频转换中选择关键帧的方法，包括在确定出第I个关键帧后，根据第i个关键帧，确定出第i+Ι个关键帧计算2D视频中第i个关键帧后的视频帧的特征匹配比率；其中，i为自然数，第i个关键帧后的第j个视频帧的特征匹配比车i 依据如下公式I得到(公式 I)
R其中，j为自然数，Rj为第i个关键巾贞后的第j个视频巾贞的特征点个数，R为第i个关键帧的特征点个数；从特征匹配比率在T1和T2范围内的候选关键帧中选择一个视频帧作为关键帧。其中，所述从特征匹配比率在T1和T2范围内的候选关键帧中选择一个视频帧作为关键帧具体包括选取特征匹配比率在T1和T2范围内的视频帧作为候选关键帧；其中，T1和T2为预先设定的，且T1CT2 ；根据各候选关键帧的重投影误差从所述候选关键帧中选择一个视频帧作为第i+1个关键帧。所述候选关键帧的重投影误差R. E具体根据如下公式2计算得到
Td(pt.xi,xi)2RE_^ 1 1 "(公式 2)
Num 所述公式2中，所述候选关键帧为所述2D视频中的第k个视频帧；■<为第k个视频帧中第η个特征点的平面坐标为第k个视频帧中第η个特征点的立体空间坐标；Pk为根据第k个视频帧中所有的特征点计算出的投影矩阵；k为自然数，Num是第k个视频帧中特征点的个数，η为小于等于Num的自然数；所述公式2中，X；根据如下公式3计算得到X:=(if)—、"(公式 3)所述公式3中，(Zfr1为投影矩阵乃的逆矩阵Pk根据如下公式4计算得到Ρζ = Tsa (x；)(公式 4)所述公式4中的Tsai ( ·)表示对括号内的平面坐标估计投影矩阵的算法；所述公式2中，Pk根据如下公式5计算得到Pk = Tsai(xlxl^..,x^-\x^m)(公式 5)所述公式5中的Tsai ( ·)表示对括号内的平面坐标估计投影矩阵的算法；以及所述根据各候选关键帧的重投影误差从所述候选关键帧中选择一个视频帧作为第i+Ι个关键帧，具体为选择重投影误差最小的候选关键帧作为第i+Ι个关键帧。较佳地，所述T1具体是根据如下公式9设置的T1 = Rc X (tYxOT + h)(公式 9 )所述公式9中，a和b为设定参数；以及所述T2具体是根据如下公式10设置的r2=f'x(rxE-￡0 (公式 10)所述公式10中，c和d为设定参数；所述公式9和10中，&为所述2D视频中第I个视频帧之后的视频帧的特征匹配比率的均值& 为所述2D视频中各视频帧的累积遮挡区域的变化率的均值。所述I具体是根据如下公式7计算得到的R — g (公式 7)
^ Λ, ",卜 I所述公式7中，Num为所述2D视频的视频帧总数为所述2D视频中第g个视频帧的特征匹配比率，具体根据如下公式6计算得到
权利要求
1.ー种3D视频转换中选择关键帧的方法，包括 在确定出第I个关键帧后，根据第i个关键帧，确定出第i+Ι个关键帧 计算2D视频中第i个关键帧后的视频帧的特征匹配比率；其中，i为自然数，第i个关键帧后的第j个视频帧的特征匹配比率祀，依据如下公式I得到
2.如权利要求I所述的方法，其特征在于，所述从特征匹配比率在Tl和T2范围内的候选关键帧中选择ー个视频帧作为关键帧具体包括 选取特征匹配比率在T1和T2范围内的视频帧作为候选关键帧；其中，T1和T2为预先设定的，IT1CT2 ； 根据各候选关键帧的重投影误差从所述候选关键帧中选择ー个视频帧作为第i+Ι个关键中贞。
3.如权利要求2所述的方法，其特征在于，所述候选关键帧的重投影误差R.E具体根据如下公式2计算得到
4.如权利要求I所述的方法，其特征在于，在根据第i个关键帧，确定出第i+Ι个关键中贞之前，还包括 在所述2D视频中选择M-2个视频帧作为參考帧，其中M为预先确定的关键帧的数目；确定第I个关键帧为所述2D视频中的第I个视频帧； 对于第t段视频 计算第t段视频的Γ/和g ;其中，第t段视频指的是从第t个关键帧到第t个參考帧之间的视频段，t为自然数； 将所述第t个关键帧作为所述第i个关键帧，将所述第t段视频的 T和K分别作为所述T1和T2 ；以及 在根据第i个关键帧，确定出第i+Ι个关键帧之后，还包括将所述第i+Ι个关键帧作为第t+Ι个关键帧。
5.—种3D视频转换方法，包括 根据如权利要求1-4任一所述的选择关键帧的方法，从所述2D视频中选取关键帧； 对选取的各关键帧进行深度分配； 根据关键帧的深度图得到非关键帧的深度图； 根据关键帧的深度图以及非关键帧的深度图合成所述3D视频。
6.ー种3D视频转换系统中选择关键帧的装置，包括 特征匹配比率计算单元，用于根据第i个关键帧，计算2D视频中第i个关键帧后的视频帧的特征匹配比率； 候选关键帧选取単元，用于选取特征匹配比率在T1和T2范围内的视频帧作为候选关键帧，其中，T1和T2为预先设定的，IT1CT2 ； 关键帧选取单元，用于从所述候选关键帧选取单元选取的候选关键帧中选择ー个视频帧作为关键帧。
7.如权利要求6所述的装置，其特征在干，所述关键帧选取単元具体用于根据各候选关键帧的重投影误差从所述候选关键帧中选择ー个视频帧作为第i+Ι个关键帧； 其中，i为自然数，第i个关键帧后的第j个视频帧的特征匹配比率疋，依据如下公式I得到
8.如权利要求7所述的装置，其特征在干，所述关键帧选取単元具体用于选择重投影误差最小的候选关键帧作为第i+Ι个关键帧；以及，所述关键帧选取単元具体包括 重投影误差计算子单元，用于计算各候选关键帧的重投影误差； 关键帧确定子単元，用于根据所述重投影误差计算子单元的计算結果，从中选取选择重投影误差最小的候选关键帧作为第i+Ι个关键帧； 其中，所述候选关键帧的重投影误差R. E具体根据如下公式2计算得到
9.如权利要求6所述的装置，其特征在于，还包括 參考帧设置单元，用于在所述2D视频中选择Μ-2个视频帧作为參考帧，其中M为预先确定的关键帧的数目；确定所述2D视频中的第I个关键帧为所述2D视频中的第I个视频帧； 视频段确定单元，用于将第t个关键帧到第t个參考帧之间的视频段作为第t段视频；其中，t为自然数； 视频段阈值确定单元，用于对于根据第t段视频中的各视频帧，计算第t段视频的2和T并将Γ/和E分别作为所述T1和T2、将第t个关键帧作为第i个关键帧发送给所述特征匹配比率计算单元； 控制单元，用于在获取所述关键帧选取単元选择的第i+1个关键帧后，将第i+1个关键帧作为第t+Ι个关键帧；并在判断出t小于M-I后，更新t = t+Ι，并将第t+Ι个关键帧和更新后的t发送给所述视频段确定单元。
10.ー种3D视频转换系统，包括 如权利要求6-9任一所述的选择关键帧的装置，用于从所述2D视频中选取关键帧； 深度分配装置，用于对选取的各关键帧进行深度分配，得到各关键帧的深度图； 深度传播装置，用于根据关键帧的深度图得到非关键帧的深度图； 视频合成装置，用于根据关键帧的深度图以及非关键帧的深度图合成所述3D视频。
全文摘要
本发明公开了一种3D视频转换方法及其关键帧的确定方法和装置。所述方法包括在确定第i个关键帧后，计算2D视频中第i个关键帧后的视频帧的特征匹配比率；选取特征匹配比率在T1和T2范围内的视频帧作为候选关键帧；根据各候选关键帧的重投影误差从所述候选关键帧中选择一个视频帧作为第i+1个关键帧。由于根据视频帧与在前关键帧的特征匹配比率进行候选关键帧的选取，并根据候选关键帧的重投影误差选取在后关键帧，使得关键帧的选取更为合理，而依据该更为合理的关键帧进行2D到3D视频的转换可以提高转换的3D视频的质量。
文档编号H04N13/02GK102857778SQ20121033271
公开日2013年1月2日 申请日期2012年9月10日 优先权日2012年9月10日
发明者孙建德, 解江川, 刘琚, 刘微 申请人:海信集团有限公司