一种虚拟视点中像素点的获取方法
【专利摘要】本发明公开了一种虚拟视点中像素点的获取方法，其将彩色图像中的一个像素点及其右相邻像素点投影到虚拟图像上，得到对应的两个投影点后，对包含在两个投影点之间的像素点选择多个进行插值计算得到像素值，运用这种方法能够填补多个像素点，因此本发明方法能够有效地避免因为深度信息不准确而在虚拟视点上产生的漏映射，从而减少了裂纹的产生，降低了后续空洞填补的难度，提高了虚拟视点的质量；在映射过程中裂纹处像素点被填补，在后续映射到裂纹处的像素点会与裂纹处像素点比较深度值，深度值越大表明离相机越近，处在前景区域，保留深度值较大的像素点，因此本发明方法能够消除背景区域覆盖前景区域的情况。
【专利说明】一种虚拟视点中像素点的获取方法
【技术领域】
[0001] 本发明涉及一种虚拟视点绘制方法，尤其是涉及一种虚拟视点中像素点的获取方 法。
【背景技术】
[0002] 随着数字视频技术的快速发展，二维视频以平面图像来描述真实的三维场景，已 无法满足用户对真实感和立体感的需求。与传统的二维视频相比，自由视点视频（FVV，Free Viewpoint Video)系统能使用户自由地选择观看角度，并且自由视点视频带来强烈地视觉 冲击，使观众感到景物迎面而来，恍若身临其境，感受到了真切的深度感和沉浸感，是新一 代多媒体视频系统的发展方向。在自由视点视频中，由于受到成本与传输带宽的限制，不可 能在每一个视点上都放置一台摄像机，因此需要使用已有的有限个视点合成未知的多个虚 拟视点，来达到自由视点的视觉效果。
[0003] 多视点彩色加深度视频（MVD，Multi-view Video plus Depth)是自由视点视 频的一种主流数据表示结构，其可用于表达深度层次丰富的场景，再结合深度图绘制技术 (DIBR，Depth Image Based Rendering)能够绘制出多个虚拟视点，达到自由视点的体验效 果。深度图绘制技术是近几年来得到广泛关注与应用的虚拟视点合成技术，其利用已有视 点的彩色视频与对应的深度视频提供的空间几何信息绘制出虚拟视点。利用深度图绘制技 术绘制虚拟视点的过程中主要使用的技术有：坐标变换（3D Warping)、空洞填补、图像融合 等技术。
[0004] 在虚拟视点绘制过程中，坐标变换技术是一个非常关键的问题，像素点是通过坐 标变换技术获取的。坐标变换技术根据真实相机拍摄的彩色视频结合对应的深度信息，将 彩色视频中的像素点逐个映射到虚拟视点上，获得虚拟视点中的像素点。空间坐标映射的 准确度会影响整体的绘制质量，虚拟视点绘制过程中的坐标变换如果没有达到较好的效 果，则将会影响空洞填补等后续过程，会增加后续处理的难度，最终将影响虚拟视点绘制质 量。
[0005] 目前，常见的坐标变换方法为虚拟视点绘制软件（VSRS，View Synthesis Rendering Software)中的坐标变换方法，其为了提高坐标变换的精度，在坐标变换时使每 一个参考视点上的像素点映射到虚拟视点中的两个像素点，最终获得一个水平图像宽度两 倍于参考视点的虚拟视点。这种坐标变换方法在每次一个参考像素点映射时会得到两个 映射像素点，当相邻的两个参考像素点的深度值信息相同时，映射得到的四个映射像素点 将是相邻的，如果相邻的两个参考像素点中的其中一个参考像素点的深度值发生了改变， 即深度信息不准确，则在四个映射像素点之间会出现一些像素点没有被映射的像素点的情 况，而出现漏映射，从而产生裂纹甚至空洞，虽然在空洞填补过程中会将坐标变换中出现的 裂纹和空洞都填补，但是并不能消除这些裂纹对图像最终质量的影响；此外，对于这种坐标 变换方法，漏映射产生的裂纹有可能会被后续映射的像素点填充，但如果后续映射的像素 点相对于需要被映射的像素点是处于背景区域的，则获得的虚拟视点会出现背景区域暴露 到前景区域的情况。
【发明内容】
[0006] 本发明所要解决的技术问题是提供一种虚拟视点中像素点的获取方法，其在深度 视频估计不准确时仍然能够获取高准确度的像素点，能够有效地提高虚拟视点绘制的质 量。
[0007] 本发明解决上述技术问题所采用的技术方案为：一种虚拟视点中像素点的获取方 法，其特征在于包括以下步骤 ：
[0008] ①获取一个视点的彩色视频及对应的深度视频，并假设虚拟视点位于彩色视频与 深度视频所在的视点的右侧；
[0009] ②以帧为单位，根据彩色视频中的每帧彩色图像中的每个像素点及深度视频中的 每帧深度图像中的每个像素点，获取虚拟视点中的每帧虚拟图像中的每个像素点的像素值 和深度值，具体过程为：
[0010] ②-1、将彩色视频中当前待处理的一帧彩色图像定义为当前彩色图像，将深度视 频中当前待处理的与当前彩色图像对应的一帧深度图像定义为当前深度图像；
[0011] ②-2、将当前彩色图像中当前待处理的像素点定义为当前第一像素点，将当前第 一像素点的右相邻像素点定义为当前第二像素点；
[0012] ②_3、将当前第一像素点记为A,将当前第一像素点A的坐标位置记为（X1, y),将 当前第二像素点记为B,将当前第二像素点B的坐标位置记为（x2, y2),将当前第一像素点A 与当前第二像素点B之间的空间位置距离定义为1个单位，其中，1彡X1彡W-l，1彡yi彡H， 2彡X 2彡W，1彡y2彡H，W表示彩色视频中的彩色图像和深度视频中的深度图像的宽度，H 表示彩色视频中的彩色图像和深度视频中的深度图像的高度，X2-X1 = 1，y2 = Y1 ;
[0013] ②-4、分别将当前第一像素点A和当前第二像素点B投影到虚拟视点中与当前 彩色图像对应的虚拟图像上，将当前第一像素点A投影到虚拟图像上的投影点记为A'，将 当前第二像素点B投影到虚拟图像上的投影点记为B'，将A'在虚拟图像中的坐标位置记 为（Xi'，yi)，将B'在虚拟图像中的坐标位置记为（x 2'，y2)，其中，x/ = 2X (Xjd1)，x2' = 2X (x2+d2)，Cl1表示当前第一像素点A向虚拟图像映射时的视差，d 2表示当前第二像素点B 向虚拟图像映射时的视差；
[0014] ②-5、在A'与B'的连接线段上找出所有像素点，如果不存在像素点，则直接执行 步骤②-7 ;如果存在若干个像素点，则统计找出的所有像素点的个数，若个数小于或等于 设定的判定阈值T，则计算找出的每个像素点在A'与B'的连接线段上的距离比；若个数 大于设定的判定阈值T，则计算找出的离A'最近的$个像素点各自在A'与B'的连接线 段上的距离比及离B'最近的$个像素点各自在A'与B'的连接线段上的距离比，其中， 符号" L」"为向下取整符号，对于上述任一个需计算距离比的像素点，记为C'，将该像素点 C'在A'与B'的连接线段上的距离比记为IV，
【权利要求】
1. 一种虚拟视点中像素点的获取方法，其特征在于包括以下步骤： ① 获取一个视点的彩色视频及对应的深度视频，并假设虚拟视点位于彩色视频与深度 视频所在的视点的右侧； ② 以帧为单位，根据彩色视频中的每帧彩色图像中的每个像素点及深度视频中的每帧 深度图像中的每个像素点，获取虚拟视点中的每帧虚拟图像中的每个像素点的像素值和深 度值，具体过程为： ②-1、将彩色视频中当前待处理的一帧彩色图像定义为当前彩色图像，将深度视频中 当前待处理的与当前彩色图像对应的一帧深度图像定义为当前深度图像； ②-2、将当前彩色图像中当前待处理的像素点定义为当前第一像素点，将当前第一像 素点的右相邻像素点定义为当前第二像素点； ②-3、将当前第一像素点记为A,将当前第一像素点A的坐标位置记为（X1^1),将当前 第二像素点记为B,将当前第二像素点B的坐标位置记为（x2, y2),将当前第一像素点A与 当前第二像素点B之间的空间位置距离定义为1个单位，其中，1彡X1彡W-l，1彡 yi彡H， 2彡X2彡W，1彡y2彡H，W表示彩色视频中的彩色图像和深度视频中的深度图像的宽度，H 表示彩色视频中的彩色图像和深度视频中的深度图像的高度，X2-X1 = 1，y2 = Y1 ; ②-4、分别将当前第一像素点A和当前第二像素点B投影到虚拟视点中与当前彩色 图像对应的虚拟图像上，将当前第一像素点A投影到虚拟图像上的投影点记为A'，将当 前第二像素点B投影到虚拟图像上的投影点记为B'，将A'在虚拟图像中的坐标位置记 为（Xi'，yi)，将B'在虚拟图像中的坐标位置记为（x 2'，y2)，其中，x/ = 2X (Xjd1)，x2' = 2X (x2+d2)，Cl1表示当前第一像素点A向虚拟图像映射时的视差，d 2表示当前第二像素点B 向虚拟图像映射时的视差； ②-5、在A'与B'的连接线段上找出所有像素点，如果不存在像素点，则直接执行步骤 ②-7 ;如果存在若干个像素点，则统计找出的所有像素点的个数，若个数小于或等于设定 的判定阈值T，则计算找出的每个像素点在A'与B'的连接线段上的距离比；若个数大于 设定的判定阈值T，则计算找出的离A'最近的f个像素点各自在A'与B'的连接线段上 的距离比及离B'最近的f个像素点各自在A'与B'的连接线段上的距离比，其中，符号 "L」"为向下取整符号，对于上述任一个需计算距离比的像素点，记为C'，将该像素点C'在 A'与B'的连接线段上的距离比记为I·。，，，O彡r。，彡I, LA，C，表示A'与该像素点 C'之间的空间位置距离，La，b，表示A'与B'之间的空间位置距离； ②-6、对于步骤②-5中已计算过距离比的所有像素点，获取每个像素点的像素值 和深度值，针对任一个像素点C'进行以下操作：a、提取当前深度图像中与当前第一像素 点A相同坐标位置的像素点的深度值,并提取与当前第二像素点B相同坐标位置的像素 点的深度值，然后将提取出的两个深度值中值最大的深度值作为该像素点C'候选的深度 值；b、判断该像素点C'是否已被赋予过像素值和深度值，如果已被赋予过像素值和深度 值，则比较该像素点C'已被赋予的深度值和该像素点C'候选的深度值的大小，然后将值 最大的深度值作为该像素点C'的深度值，并将值最大的深度值对应的像素值作为该像素 点C'的像素值；如果未被赋予过像素值和深度值，则直接将该像素点C'候选的深度值作 为该像素点C'的深度值，并根据当前第一像素点A的像素值、当前第二像素点B的像素 值及该像素点C'在A'与B'的连接线段上的距离比IV，采用线性空间移不变插值方法插 值得到该像素点C'的像素值，记为f(C'），f(C'）= ωΧ?·(Α) + (1-ω)Χ?·(Β)，其中，ω = l-g〇V)，f (A)表示当前第一像素点A的像素值，f (B)表示当前第二像素点B的像素值，
η表示线性空间移不变核函数g()中的参数； 在获得步骤②-5中已计算过距离比的每个像素点的像素值和深度值后执行步骤 ②; ②-7、将当前彩色图像中下一个待处理的像素点作为当前第一像素点，将当前第一像 素点的右相邻像素点作为当前第二像素点，然后返回步骤②-3继续执行，直至当前彩色图 像中的所有像素点处理完毕； ②-8、将彩色视频中下一帧待处理的彩色图像作为当前彩色图像，将深度视频中下一 帧待处理的与当前彩色图像对应的一帧深度图像作为当前深度图像，然后返回步骤②-2 继续执行，直至彩色视频中的所有彩色图像和深度视频中的所有深度图像处理完毕，得到 虚拟视点中的每帧虚拟图像中的每个像素点的像素值和深度值。
2. 根据权利要求1所述的一种虚拟视点中像素点的获取方法，其特征在于所述的步骤 ②-5中设定的判定阈值T取值为6。
3. 根据权利要求2所述的一种虚拟视点中像素点的获取方法，其特征在于所述的步骤 ②-6中取η = 2。
【文档编号】H04N15/00GK104378617SQ201410596909
【公开日】2015年2月25日 申请日期:2014年10月30日 优先权日:2014年10月30日
【发明者】彭宗举, 郑迪, 陈芬, 蒋刚毅, 郁梅 申请人:宁波大学