一种基于自适应分块的自由立体显示内容生成方法
【技术领域】
[0001] 本发明属于多视点自由立体显示技术领域，具体涉及一种基于自适应分块的自由 立体显示内容生成方法。
【背景技术】
[0002] 多视点自由立体显示技术由于在显示端需要多个视点的图像，故传统的方式是在 拍摄过程中采用多个（一般是8~16个）相同的摄像机共同工作，从而获取到多视点视 频。在片源的获取上，多个摄像机的协同工作增加了摄像机同步和后续的预处理的难度，另 外多个视点的图像也不可避免会成比例地增加数据量，增加存储和传输的负担。考虑到目 前已存在的数目众多的传统的双目3D片源，视点绘制是一种非常合适的解决方法。该方法 可利用现有的双目3D视频，绘制出所需的多个虚拟视点图像，供多视点自由立体显示系统 播放。
[0003] 学术界主流的多视点绘制算法是基于图像的虚拟视点绘制算法，特别是基于深度 图像的视点绘制算法〇)IBR)。DIBR的前提条件是视点的深度信息，这一般是通过立体匹配 获取的。DIBR实际上是视点中像素点在空间中的两次映射，首先，在深度信患和原始视点的 相机参数的指导下，将原始视点中的像素点投影到真实三维空间中，之后利用虚拟视点的 相机参数，将三维空间中的像素点投影回虚拟相机平面，得到虚拟视点图像。由于视点间的 遮挡，生成的虚拟视点图像中还会有空洞，需要另外做空洞填补。这种方法的技术难点在于 利用立体匹配得到精确的深度图、后期的空洞填补问题和实际应用中相机参数的缺失。
[0004] 基于稀疏特征的视点绘制算法回避了DIBR中深度获取和空洞填补两大难题，利 用图像的关注度和稀疏可靠的特征点计算视点间的映射关系。但这种方法也存在着一定的 问题，由于相同分块内的像素点采取的是相同的线性映射的关系，分块过大会导致分块内 同时存在两个或多个深度层次的物体，则这种映射关系就可能导致这个分块内的某个物 体的映射关系被另一个物体所影响，导致相邻两个块之间发生明显的扭曲现象。然而，单纯 减少分块大小的办法会导致求解能量方程的时间急剧增加，不能满足较高的实时性要求。
【发明内容】
[0005] 针对现有技术所存在的上述技术问题，本发明提供了一种基于自适应分块的自由 立体显示内容生成方法，避免同一分块中不同物体的映射关系相互影响，使得通过非线性 图像扭曲得到的虚拟视点图像在部分细节上更为自然，瑕疵更少。
[0006] -种基于自适应分块的自由立体显示内容生成方法，包括如下步骤：
[0007] (1)获取立体视频中包含左右视图的当前帧图像；
[0008] (2)通过计算当前帧图像和上一帧图像的相似度，判断当前帧图像在时域上是否 连续；
[0009] (3)提取当前帧左右视图中对应的特征点；
[0010] (4)对左视图或右视图进行虚拟分块并计算每个单元块的关注度，进而根据所述 的关注度将各单元块合并成若干个自适应块；
[0011] (5)将左视图或右视图的结构约束、视差约束以及时域约束量化成能量项的形式 并加权叠加成一个总能量项E;
[0012] (6)对所述的总能量项E进行最小化求解，得到左视图或右视图中各特征点以及 各自适应块顶点在虚拟视图中的实际横坐标；
[0013] (7)根据特征点以及自适应块顶点在虚拟视图中的实际横坐标，通过几何计算得 到自适应块内各单元块顶点在虚拟视图中的实际横坐标，进而求得单元块内各像素在虚拟 视图中的实际横坐标；最后通过像素坐标映射生成虚拟视图。
[0014] 所述的步骤（2)中，对于摄像机固定而场景中物体运动的情况下，采用计算三通 道图像峰值信噪比比率的方法来判断当前帧图像在时域上是否连续；对于摄像机相对整个 场景移动的情况下，采用计算结构相似度的方法来判断当前帧图像在时域上是否连续。
[0015] 所述的步骤⑶中，采用稀疏特征点和稠密特征点相结合的方法提取 当前帧左右视图中对应的特征点；其中，稀疏特征点采用ORB(OrientedBinary RobustlndependentElementaryFeatures)算法的方式检测、描述和匹配；稠密特征点采用 均匀采样的立体匹配方式寻找，并且对于采纳匹配的置信度设置门限。
[0016] 所述的步骤（4)中，比较相邻两个单元块的关注度差值，若差值小于预设的阈值， 则将这两个单元块进行合并。
[0017] 所述的总能量项E的表达式如下：
[0018] E=AdEd+AhEh+AvEv+AtEt
[0019] 其中：ED、EH、E#PET分别为视差能量项、水平能量项、垂直能量项和时域能量项， 入…入…入斤入辦辦^^和:对应的权重因子。
[0020]所述的视差能量项ed的表达式如下：
[0021]
【主权项】
1. 一种基于自适应分块的自由立体显示内容生成方法，包括如下步骤： (1) 获取立体视频中包含左右视图的当如帧图像； (2) 通过计算当前帧图像和上一帧图像的相似度，判断当前帧图像在时域上是否连 续； (3) 提取当前帧左右视图中对应的特征点； (4) 对左视图或右视图进行虚拟分块并计算每个单元块的关注度，进而根据所述的关 注度将各单元块合并成若干个自适应块； (5) 将左视图或右视图的结构约束、视差约束以及时域约束量化成能量项的形式并加 权叠加成一个总能量项E ; (6) 对所述的总能量项E进行最小化求解，得到左视图或右视图中各特征点以及各自 适应块顶点在虚拟视图中的实际横坐标； (7) 根据特征点以及自适应块顶点在虚拟视图中的实际横坐标，通过几何计算得到自 适应块内各单元块顶点在虚拟视图中的实际横坐标，进而求得单元块内各像素在虚拟视图 中的实际横坐标；最后通过像素坐标映射生成虚拟视图。
2. 根据权利要求1所述的自由立体显示内容生成方法，其特征在于：所述的步骤（2) 中，对于摄像机固定而场景中物体运动的情况下，采用计算三通道图像峰值信噪比比率的 方法来判断当前帧图像在时域上是否连续；对于摄像机相对整个场景移动的情况下，采用 计算结构相似度的方法来判断当前帧图像在时域上是否连续。
3. 根据权利要求1所述的自由立体显示内容生成方法，其特征在于：所述的步骤（3) 中，采用稀疏特征点和稠密特征点相结合的方法提取当前帧左右视图中对应的特征点；其 中，稀疏特征点采用ORB算法的方式检测、描述和匹配；稠密特征点采用均匀采样的立体匹 配方式寻找，并且对于采纳匹配的置信度设置门限。
4. 根据权利要求1所述的自由立体显示内容生成方法，其特征在于：所述的步骤（4) 中，比较相邻两个单元块的关注度差值，若差值小于预设的阈值，则将这两个单元块进行合 并。
5. 根据权利要求1所述的自由立体显示内容生成方法，其特征在于：所述的总能量项E 的表达式如下： E = λ dEd+ λ ηΕη+ λ νΕν+ λ ΤΕΤ 其中：ED、EH、EjP Et分别为视差能量项、水平能量项、垂直能量项和时域能量项，λ D、 λΗ、λ#Ρ λ τ分别为ED、EH、EV和ET对应的权重因子。
6. 根据权利要求5所述的自由立体显示内容生成方法，其特征在于：所述的视差能量 项Ed的表达式如下：
丰见丰见St白勺<壬>牛寺点、##丰以丰见St白勺示丰黄示，χ特征力十亥 特征点在虚拟视图中的理论横坐标，Sme为该特征点所属单元块的关注度。
7. 根据权利要求5所述的自由立体显示内容生成方法，其特征在于：所述的水平能量 项Eh的表达式如下：
其中：为左视图或右视图中的任一自适应块右上顶点在虚拟视图中的实际横坐 标，i左上为该自适应块左上顶点在虚拟视图中的实际横坐标，w为该自适应块的上边长，S左 ±为该自适应块左上顶点所属单元块的关注度。
8. 根据权利要求5所述的自由立体显示内容生成方法，其特征在于：所述的垂直能量 项Ev的表达式如下：
其中：为左视图或右视图中的任一自适应块左下顶点在虚拟视图中的实际横坐 标，为该自适应块左上顶点在虚拟视图中的实际横坐标，该自适应块左下顶点 所属单元块的关注度。
9. 根据权利要求5所述的自由立体显示内容生成方法，其特征在于：所述的时域能量 项Et的表达式如下：
其中：i为左视图或右视图中的任一自适应块顶点在虚拟视图中的实际横坐标，为 该自适应块顶点在前一帧虚拟视图中的实际横坐标，S为该自适应块顶点所属单元块的关 注度。
【专利摘要】本发明公开了一种基于自适应分块的自由立体显示内容生成方法，包括：(1)获取左右视图；(2)提取左图和右图的对应特征点；(3)对图像进行虚拟的分块，分别计算左图和右图的关注度，并根据关注度进行自适应分块；(4)将图像结构约束、视差约束等约束项量化为能量项的形式，并加权叠加成一个总的能量项；(5)通过最小化总能量项，求解虚拟视点图像与原始视点的映射函数；(6)根据视点间映射函数做反向映射，生成所需的多个虚拟视点。本发明通过对图像进行基于关注度的自适应分块，将不同物体分到不同分块中去，避免同一分块中不同物体的映射关系相互影响，使得通过非线性图像扭曲得到的虚拟视点图像在部分细节上更为自然，瑕疵更少。
【IPC分类】H04N13-00, H04N13-04
【公开号】CN104639932
【申请号】CN201410765445
【发明人】陶秋琰, 王梁昊, 李东晓, 张明
【申请人】浙江大学
【公开日】2015年5月20日
【申请日】2014年12月12日