多视点图像渲染系统及方法
【技术领域】
[0001]本发明涉及图像处理技术领域，具体涉及一种多视点图像渲染系统及方法。
【背景技术】
[0002]近年，3D视觉技术高速发展，越来越多的设备具备3D显示功能。现今主要的3D显不技术分为眼镜式系统和非眼镜式系统。
[0003]眼镜式系统需要观看者佩戴额外的辅助显示设备，这严重影响了观看者的视觉体验。非眼镜式系统不需要观看者佩戴额外的辅助显示设备，并且能够达到同样的立体视觉效果，因此非眼镜式设备越来越受到观看者的青睐。
[0004]多视点图像显示技术就是非眼镜式系统中一种主要的显示方法。多视点图像的立体视觉效果非常优秀，不仅可以让观看者产生立体视觉以此带给观看者真实的现场感受，还可以让观看者观看到更加丰富的内容信息。因此多视点图像在广告传媒，电影娱乐，医疗教育等领域都有广泛的应用。
[0005]然而，现有的多视点图像渲染技术还存在渲染计算效率不高，成本昂贵，分辨率低等问题。
【发明内容】
[0006]本发明克服了现有技术的不足，提供一种成本低的多视点图像渲染系统及方法。
[0007]考虑到现有技术的上述问题，根据本发明公开的一个方面，本发明采用以下技术方案:
[0008]一种多视点图像渲染系统，其特征在于它包括:
[0009]输入模块，用于接收及存储图像的原始序列和对应的深度序列图像数据；
[0010]图像数据预处理模块，用于将输入图像数据经过预处理以得到渲染多视点图像的参考信息；
[0011]多视点渲染模块，用于对预处理后的图像数据进行计算，生成多视点图像视频；
[0012]输出模块，用于实时将满足不同分辨率的多视点图像排列，输出多视点图像数据。
[0013]为了更好地实现本发明，进一步的技术方案是:
[0014]根据本发明的一个实施方案，所述图像数据预处理模块包含:
[0015]多视点参数单元，用于设定多视点图像的相关参数，以得到适应匹配不同显示设备和/或不同分辨率的多视点图像，以及校准多视点图像的立体视觉效果；
[0016]图像缩放单元，用于图像数据的缩放处理，使原始图像和输出图像分辨率一致；
[0017]去块效应单元，用于去除图片和/或视频压缩中出现的块效应现象；
[0018]深度图预处理单元，用于提取图片和/或视频的深度信息、以及对深度信息进行分层平滑，并分别计算出每个视点相对应的深度信息。
[0019]根据本发明的另一个实施方案，所述去块效应单元将原始图像数据划分为原始图像块，并确定每一单独的块效应强度，以及根据块效应强度来设置相应的去块效应滤波器，以对每一块原始图像块进行滤波，或根据不同的强度自适应去除原始数据中出现的块效应现象；以获得准确的图像数据信息。
[0020]根据本发明的另一个实施方案，所述多视点渲染模块包括:
[0021]视差重建单元，用于对预处理图像深度信息进行三维重建，重建出多个视点的视差信息，然后再对每个视点的深度信息中的不完整信息进行图像修复，最终重建出完整的视差?目息;
[0022]视差渲染合成单元，用于根据重建的视差信息渲染出不同视点的虚拟图像，再按照多视点合成的映射方式来合成最终的多视点图像。
[0023]根据本发明的另一个实施方案，所述视差重建单元在生成N视点图像的情况下，贝IJ总共需要生成有N个不同视点的虚拟视图，以及重建出N个视点的深度信息，并按照基于深度图绘制方法确定深度信息相对每个视差的行相对位移。
[0024]本发明还可以是:
[0025]一种多视点图像渲染方法，它包括:
[0026]接收及存储图像的原始序列图和对应的深度序列图像数据；
[0027]将输入图像数据经过预处理以得到渲染多视点图像的参考信息；
[0028]对预处理后的图像数据进行计算，并生成多视点图像视频；
[0029]实时将满足不同分辨率的多视点图像进行排列，输出多视点图像数据。
[0030]根据本发明的另一个实施方案，它还包含:
[0031]设定多视点图像的相关参数，以得到适应匹配不同显示设备和不同分辨率的多视点图像，以及校准多视点图像的立体视觉效果；
[0032]对图像数据进行缩放处理，使原始图像和输出图像分辨率一致；
[0033]去除图片或视频压缩中出现的块效应现象；
[0034]提取图片或视频深度信息、以及对深度信息进行分层平滑，并分别计算出每个视点相对应的深度信息。
[0035]根据本发明的另一个实施方案，它还包括将原始图像数据划分为原始图像块，并确定每一单独的块效应强度，以及根据块效应强度来设置相应的去块效应滤波器，以对每一块原始图像块进行滤波，或根据不同的强度自适应去除原始数据中出现的块效应现象；以获得准确的图像数据信息。
[0036]根据本发明的另一个实施方案，它还包括:
[0037]对预处理图像深度信息进行三维重建，重建出多个视点的视差信息，然后再对每个视点的深度信息中的不完整信息进行图像修复，最终重建出完整的视差信息；
[0038]以及根据重建的视差信息渲染出不同视点的虚拟图像，再按照多视点合成的映射方式来合成最终的多视点图像。
[0039]根据本发明的另一个实施方案，在生成N视点图像的情况下，则总共需要生成有N个不同视点的虚拟视图，以及重建出N个视点的深度信息，并按照基于深度图绘制方法确定深度信息相对每个视差的行相对位移。
[0040]与现有技术相比，本发明的有益效果之一是:
[0041]本发明的一种多视点图像渲染系统及方法，具有高效的实时多视点图像渲染，支持大部分图像数据输入输出，满足不同分辨率的多视点图像渲染，集成度高，成本低廉。
【附图说明】
[0042]为了更清楚的说明本申请文件实施例或现有技术中的技术方案，下面将对实施例或现有技术的描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅是对本申请文件中一些实施例的参考，对于本领域技术人员来讲，在不付出创造性劳动的情况下，还可以根据这些附图得到其它的附图。
[0043]图1示出了根据本发明一个实施例的多视点图像渲染系统示意框图。
[0044]图2示出了根据本发明另一个实施例的图像数据预处理模块示意框图。
[0045]图3示出了根据本发明另一个实施例的多视点渲染模块示意框图。
【具体实施方式】
[0046]下面结合实施例对本发明作进一步地详细说明，但本发明的实施方式不限于此。
[0047]如图1所示，图1示出了根据本发明一个实施例的多视点图像渲染系统示意框图，输入模块101首先获取图像Img和图像所对应的株度彳目息Dep。图像和?米度彳目息可以是任意分辨率，可支持3840*2160。图像和深度信息也可以是各种常见排列方式，例如左右拼，上下拼等。图1中的图像数据预处理模块102可对图像数据做预处理，得到渲染多视点图像的参考信息，并对参考信息进一步筛选，以供后面多视点渲染模块103使用。
[0048]图1中的输出模块104可以将渲染出的多视点图像输出给3D显示设备。输出模块104可以实时的将满足不同分辨率的多视点图像进行排列，输出多视点图像数据。
[0049]如图2所示，图2示出了根据本发明另一个实施例的图像数据预处理模块示意框图，在图像数据预处理模块102中可以有4个单元，包括:多视点参数单元201，图像缩放单元202，去块效应单元203，深度图预处理单元204。多视点参数单元201获取视点数N，分辨率，显示设备参数，植染多视点参考参数和相应阀值等。在多视点参数单元201中，观看者可以自己设定相关参数以达到更好的立体视觉输出效果。
[0050]图2中的图像缩放单元202能够对原始图像数据进行缩放