一种基于深度图的全搜索视点预测方法
【技术领域】
[0001] 本发明属于无线网络中移动设备端绘制=维图形的多媒体技术领域，特别设及一 种基于深度图的全捜索视点预测方法。
【背景技术】
[0002] 随着手机硬件迅速发展，计算处理能力越来越强，手机的功能越来越强大，计算机 =维图形应用程序也慢慢出现在手机上，如移动=维游戏、移动=维虚拟展示与漫游和移 动增强现实系统等应用近几年得到快速发展。然而，由于手机运算能力及硬件方面的限制 的问题，使得手机上面只能运行小规模场景的=维图形应用程序，对大型场景、精细模型、 高级特效的绘制显得无能为力。
[0003] 基于图像的远程绘制是一种解决此问题的可行方法。在此方法中，服务端完成海 量复杂=维场景的绘制和计算，并将绘制后的图像传输到移动客户端。可W看出，此方法中 远程客户端不需要任何3D图形处理能力即可得到具有强烈真实感=维效果。通常，基于图 像的远程绘制方法主要有基于图像替代物（imageimpostor)、环境图巧nviro皿entMap) 和深度图值巧thMap)S种方法。
[0004] 基于图像替代物的方法在服务端仅需要生成一种单精度擅染图像，而客户端也只 需发出简单的交互命令即可完成远程绘制。然而，此方法的主要缺陷在于每帖的绘制，都需 要与服务器进行通信传输新视点下的图像，交互时延较长，不能满足实时交互的需求。
[0005] 基于环境图方法通常被应用于简化复杂的=维场景中的背景部分。此方法的服务 端可W对于一个给定的视点位置产生一个360度的全景环境图，而此图在客户端可W被投 影为任意视角方向下的标准图像，从而使客户端用户可W360度任意漫游。在此过程中，不 需要服务端再传输相关图像数据，从而显著降低了交互时延。然而，当用户使用此方法进行 =维漫游时部分区域会产生较大的图像变形失真现象。
[0006] 基于深度图的绘制方法中，服务端根据当前视点预测出多个参考视点，绘制生成 参考视点下的颜色图和深度图并将其传输给客户端。客户端根据参考视点的深度图和颜色 图，采用3DWARPING算法合成当前新视点下的绘制图像。该种方法能保证当前视点在参考 视点范围内的时候不需要传输新的图像数据，只根据参考视点的深度图和颜色图便可无延 迟的生成绘制新视点下的图像。
[0007] 基于深度图的绘制方法中，有两种参考点预测算法，基于全捜索的方法和基于预 测的方法。基于全捜索能够获得较为精准的参考视点，但是，此绘预测算法在预测过程中需 要不断的绘制场景的颜色图和深度图，其运行时间与绘制场景成正比，当场景较大时，算法 运行时间甚至达到十几分钟，不满足实时交互式需求。基于预测的方法可W快速预测出参 考视点，获得实时预测效果，但是算法并不能获得精确的参考视点，会出现预测视点范围过 大或者过小的特殊情况。
【发明内容】
[000引本发明针对现有方法预测时间过长的不足，提出了一种基于深度图的全捜索视点 预测方法，减少预测过程对场景的绘制次数，极大提高预测效率。
[0009] 本发明解决其技术问题所采用的技术方案如下：
[0010] 首先，根据初始视点绘制生成当前视点V。下的深度图 <。。然后，移动当前视点V。 设定的距离r得到参考视点Vi，绘制生成参考视点深度图<,，并设置标志数组data□用 W标志当前视点下各个像素能否在参考视点下获取，通过统计标志数组中未标记部分大小 (即空洞大小），检查是否满足指定的空洞阔值，如果不满足，增大移动距离r，继续移动初 始参考视点，直到其空洞大小满足指定阔值。最后，根据全捜索得到最大参考视点Vf，绘制 擅染此视点下的深度图和颜色图，并连同初始视点下的深度图和颜色图传输给客户端。
[0011] 本发明与【背景技术】相比，具有的有益的效果是；本发明适用于基于深度图绘制方 法中参考视点预测，在捜索的过程中，不进行颜色图的绘制，大大降低了绘制时间，从而实 现快速精确的参考视点预测。
【具体实施方式】
[0012] 全捜索方法在每次捜索过程中，都需获取要参考视点的深度图和颜色图，同时通 过WARPING得到两视点之间的目标视点时颜色图，此外为求取生成的目标视点的图像与目 标视点下的原始图像的误差时，此方法还需要擅染目视视点的原始图像W便获得其PSNR 值。本发明用一个标志数组代表目标视点下各像素是否被填充，在每次捜索的过程中，只需 要参考视点的深度图，将参考视点各像素WARPING到参考视点之间的目标视点下后，如果 在目标视点下，则将标志数组的指定位置标记为已填充，最后标志数组中未被标记部分的 则为空洞部分。因此，在捜索过程中，本方法不需要擅染各参考视点的颜色图，同时，在求取 目标视点下生成的图像与原始图像的误差值时，直接用标记数组中空洞大小来作为评判标 准，不需要擅染目标视点的颜色图，通过该两步的减少图像绘制，大大减少了全捜索算法的 时间。
[0013] 本发明的【具体实施方式】如下：
[0014] 首先，根据初始视点绘制生成当前视点V。下的深度图 <。。该里定义Vf为捜索到的 最终参考视点，cv，DV分别为在视点V处获得的彩色图和深度图，为将视点V下的图像 WARPING到视点Vi后的结果，Vi为视点V。按照设定移动方式M(M可为左右、前后和上下移 动）移动r个单位方向向量后的参考视点，MAXm为捜索视点时初始视点移动的最大距离，
[0015]Vi=V。甘*M, (KKMAXm 公式（1)
[0016] 然后，移动当前视点V。特定的距离r得到参考视点V1，绘制生成参考视点Vi下的 深度图，并设置标志数组data□用W标志当前视点下各个像素能否在参考视点下获取， 求得两参考视点。此时，初始的视点V。和之后生成的新视点Vi作为参考视点，根据各参考 视点深度图，将参考视点各像素WARPING到参考视点之间的目标视点下，如果像素代表的 空间点在当前视点范围内，则将指定位置处的标志数组设定为已经标记。接着，统计标志数 组