一种基于深度图的快速视点预测方法
【技术领域】
[0001] 本发明属于无线网络中移动设备端绘制=维图形的多媒体技术领域，特别设及一 种基于深度图的快速视点预测方法。
【背景技术】
[0002] 随着手机硬件迅速发展，计算处理能力越来越强，手机的功能越来越强大，计算机 =维图形应用程序也慢慢出现在手机上，如移动=维游戏、移动=维虚拟展示与漫游和移 动增强现实系统等应用近几年得到快速发展。然而，由于手机运算能力及硬件方面的限制 的问题，使得手机上面只能运行小规模场景的=维图形应用程序，对大型场景、精细模型、 高级特效的绘制显得无能为力。
[0003] 基于图像的远程绘制是一种解决此问题的可行方法。在此方法中，服务端完成海 量复杂=维场景的绘制和计算，并将绘制后的图像传输到移动客户端。可W看出，此方法中 远程客户端不需要任何3D图形处理能力即可得到具有强烈真实感=维效果。通常，基于图 像的远程绘制方法主要有基于图像替代物（imageimpostor)、环境图巧nviro皿entMap) 和深度图值巧thMap)S种方法。
[0004] 基于图像替代物的方法在服务端仅需要生成一种单精度擅染图像，而客户端也只 需发出简单的交互命令即可完成远程绘制。然而，此方法的主要缺陷在于每帖的绘制，都需 要与服务器进行通信传输新视点下的图像，交互时延较长，不能满足实时交互的需求。
[0005] 基于环境图方法通常被应用于简化复杂的=维场景中的背景部分。此方法的服务 端可W对于一个给定的视点位置产生一个360度的全景环境图，而此图在客户端可W被投 影为任意视角方向下的标准图像，从而使客户端用户可W360度任意漫游。然而，当用户使 用此方法进行=维漫游时部分区域会产生较大的图像变形失真现象。
[0006] 基于深度图的绘制方法中，服务端根据当前视点预测出多个参考视点，绘制生成 参考视点下的颜色图和深度图并将其传输给客户端。客户端根据参考视点的深度图和颜 色图，采用3DWa巧算法合成当前新视点下的绘制图像。该种方法能保证当前视点在参考 视点范围内的时候不需要传输新的图像数据，只根据参考视点的深度图和颜色图便可无延 迟的生成绘制新视点下的图像。
[0007] 基于深度图的绘制方法中，有两种参考点预测算法，基于全捜索的方法和基于预 测的快速预测方法。基于全捜索能够获得较为精准的参考视点，但是，此绘预测算法在预测 过程中需要不断的绘制场景的颜色图和深度图，其运行时间与绘制场景成正比，当场景较 大时，算法运行时间甚至达到十几分钟，不满足实时交互式需求。基于预测的快速预测方法 可W快速计算出参考视点，获得实时预测效果，但是算法并不能获得精确的参考视点，经常 会出现预测视点范围过大或者过小的特殊情况。
【发明内容】
[0008] 本发明针对现有方法中预测视点过大或者过小的特殊情况，提出了一种基于边缘 深度的快速预测方法，能快速预测参考视点，使预测的参考视点Vf与初始参考V1刚好能覆 盖Vi到Vt视点间所有区域，不会出现预测视点过大或者过小的情况。
[0009] 本发明解决其技术问题所采用的技术方案如下：
[0010] 本发明首先，根据初始视点绘制生成当前视点V。下的深度图式。，获取深度图式.。右 边界处的深度信息，遍历此深度信息获得深度最小值及对应的点像素位置（XI，yi)。然后， 根据该个深度最小值及点像素位置（XI，yi)，求取得到其在世界中间的位置信息（X。y。zt)， 并根据此信息求得移动初始视点的距离r，使得（xt，yt，zt)位置处的点刚好投影到新视点 下的图像的最左边界。最后，根据求得的移动初始视点的距离r，最终计算得到预测的参考 视点Vf。
[0011] 本发明与【背景技术】相比，具有的有益的效果是；本发明适用于基于深度图绘制方 法中参考视点预测，既能够实现参考视点的快速预测，又能保证预测视点不会出现过大或 者过小的情况。
【附图说明】
[0012] 图1为视点预测过大会导致参考视点间有部分未被覆盖的区域；
[0013] 图2为左参考视点下图像最右边的像素都能在右参考视点下捕获。
【具体实施方式】
[0014]W下结合附图对本发明作进一步说明：
[0015] 传统的快速预测方法中，由于用计算空洞值大小时使用的是部分空洞，因此可能 造成求取的空洞值会大于或小于实际产生的误差（空洞），最终造成预测视点值过大或过 小，视点预测过大会导致参考视点间有部分未被覆盖的区域（如图1)，造成合成目标视点 图像质量差，视点预测过小，会导致客户端频繁请求数据，增大延迟。通过分析发现，在预 测参考视点时，如果Vi参考视点下图像最右边边缘的像素都能在右参考视点Vt下捕获到 (如图2)，那么该两个参考视点的图像在经过WARPING融合后就不会因为捕获不到的空白 区域的存在而出现大的"空洞"，同时存在一个临界点参考视点，该个视点恰好覆盖初始参 考视点的边界区域，则该个临界视点与初始视点距离也不会出现过小的情况。基于此事实， 通过下列具体方法完成基于深度边界的视点选取。本方法的具体实施步骤如下：
[0016] 首先，根据初始视点绘制生成当前视点vi下的深度图，获取深度图右边界处的深 度信息depth,遍历此深度信息获得深度最小值cU及其对应的点像素位置（X。yi)。
[0017] 然后，根据该个深度最小值cL。及点像素位置（X1，yi)，求取得到其在世界中间的 位置信息（xt，yt，zt)，并根据此信息求得移动初始视点的距离r，使得（xt，yt，zt)位置处的 点刚好投影到新视点下的图像的最左边界。此时，该里定义f(Xu，di)为将二维空间图像上 位置为（Xe，y"J及深度为di的点映射到立维空间的函数。
[001引f(x0,di) =x0*di/q，0<y<h 公式（1)
[0019] 其中h代表图像高度，q代表焦距。
[0020] 为保证Vi参考视点下最右边界的像素都可W在Vt视点下看到，则将V1视点下的 最右边像素映射到V,视点下的=维空间中，并保证该个点的位置在Vt视点的摄像机空间范 围内。通过公式（2)完成上述功能。
[0021] f(d〇,di)-m*i>f(Xi,di) 0<;y<MAXm,0<;y<h公式似
[0022] 其中m代表视点移动的单位距离，i代表左参考视点到右参考视点的移动距离，q 代表摄像机焦距，X。表示图像上X方向上的最左边的坐标位置（一般为零），X1表示图像上 X方向上的最右边的坐标位置（一般为图像宽度减1)。
[0023] 由公式（2)可得从视点Vi到视点Vr的移动距离i:
[0024]i《（Xi_x〇) ?di/q?m
[00幼则当屯为最小值dmin时，（Xi-X。）?dmin/q?m取得最小值。因此满足条件的i的最 大值为（Xi_x0) ?dmin/q?m。
[0026]最后，根据求得的移动移动初始视点的移动距离r(r=i*m),得到预测的参考视 点Vf=Vi+r。
【主权项】
1. 一种基于深度图的快速视点预测方法，其特征在于： 步骤1，根据初始视点绘制生成当前视点V1下的深度图，获取深度图右边界处的深度 信息Cbpth，遍历此深度信息获得深度最小值(1_及其对应的点像素位置（Xi，yi); 步骤2,根据深度最小值dmin及点像素位置（xi，yi)，求取得到其在世界中间的位置信息 (xt，yt，zt)，并根据此信息求得移动初始视点的距离r，使得（xt，yt，zt)位置处的点刚好投 影到新视点下的图像的最左边界；定义f(X〇,A)为将二维空间图像上位置为（?,y_)及深 度为Cl1的点映射到三维空间的函数，则 f(x〇, (I1) =X0^d1/q, 0<y<h 公式（I) 其中h代表图像尚度，q代表摄像机焦距； 为保证^参考视点下最右边界的像素都可以在\视点下看到，则将^视点下的最右边 像素映射到\视点下的三维空间中，并保证这个点的位置在^视点的摄像机空间范围内， 得到： f(d〇，(I1) -m*i彡f (X1,(I1) 0〈y〈MAXm，0〈y〈h公式（2) 其中m代表视点移动的单位距离，i代表左参考视点到右参考视点的移动距离，Xtl表示 图像上X方向上的最左边的坐标位置，X1表示图像上X方向上的最右边的坐标位置； 由公式（2)可得从视点V1到视点^的移动距离i: i彡（x「x0) ?(Vq?m 则当4为最小值dmin时，（x「X(l) ?dmin/q?m取得最小值；因此满足条件的i的最大值 为（X1-X0)?dmin/q?m; 步骤3,根据求得的移动移动初始视点的移动距离r，r=i*m,得到预测的参考视点V1^ =Vfr0
【专利摘要】本发明公开了一种基于深度图的快速视点预测方法。本发明首先，根据初始视点绘制生成当前视点v0下的深度图获取深度图右边界处的深度信息，遍历此深度信息获得深度最小值及对应的点像素位置(xl,yl)。然后，根据这个深度最小值及点像素位置(xl,yl)，求取得到其在世界中间的位置信息(xt,yt,zt),并根据此信息求得移动初始视点的距离r,使得(xt,yt,zt)位置处的点刚好投影到新视点下的图像的最左边界。最后，根据求得的移动初始视点的距离r,最终计算得到预测的参考视点vr。本发明既能够实现参考视点的快速预测，又能保证预测视点不会出现过大或者过小的情况。
【IPC分类】H04N19-154, H04N13-00, H04N19-597
【公开号】CN104768018
【申请号】CN201510057153
【发明人】杨柏林
【申请人】浙江工商大学
【公开日】2015年7月8日
【申请日】2015年2月4日