重瞄准三维图像信号的制作方法

文档序号:9476566阅读:440来源:国知局
重瞄准三维图像信号的制作方法
【技术领域】
[0001] 本发明涉及用于重瞄准三维图像信号的方法、用于生成三维图像信号的方法、用 于重瞄准三维图像信号的系统、用于生成三维图像信号的系统、三维图像信号、持有三维图 像信号的数据载体、用于重瞄准三维图像信号的计算机程序、用于生成三维图像信号的计 算机程序、用于存储用于重瞄准三维图像信号的计算机程序的计算机程序产品、以及用于 存储用于生成三维图像信号的计算机程序的计算机程序产品。
【背景技术】
[0002] 在过去二十年间,三维显示技术已经日趋成熟。三维(3D )显示设备通过为观看者 的每只眼睛提供所观赏的场景的不同视图来向观看体验添加第三维度(深度)。
[0003] 作为结果,我们现在具有观看三维图像/视频信号的各种方式。一方面,我们具有 基于眼镜的三维显示系统,其中用户被呈现有针对他/她的左眼和右眼的分立图像。另一 方面,我们具有自由立体三维显示系统,其为观看者的未受帮助的眼睛提供场景的三维视 图。
[0004] 在基于眼镜的系统中,主动式/被动式眼镜为观看者的相应眼睛提供用于分离如 呈现在屏幕上的分立图像的滤光片。在无眼镜或自由立体系统中,设备相当常见地为多视 图显示器,其使用光引导构件(例如以屏障或透镜的形式)来向左眼引导左图像并且向右眼 引导右图像。
[0005] 在标准3D影院中,眼镜用于分离针对观看者的眼睛的左视图和右视图。取代于例 如每秒(图像数据的)24帧,在立体系统中,可以提供每秒48帧;即24个用于左眼,并且24 个用于右眼。立体对的左帧包括与右帧略微不同的相同场景的视图。该信息通过人脑组合 并且导致所感知的三维图像或视频。
[0006] 用于感知三维图像的提示之一是位差,即两个视图之间的对象的表观位置中的表 观位移。就提供三维图像信号的系统而言所存在的问题在于,包括在其中的位差信息典型 地针对特定三维显示系统/设备进行优化。作为结果,包含在信号内的位差信息可能不适 合于另一类型的三维显示系统/设备上的显示。
[0007] 因此存在对于针对用于显示三维输入信号的三维显示设备的能力来适配输入三 维信号的需要。

【发明内容】

[0008] 发明人已经观察到,特别地对于显示显著深度效果的自由立体三维显示系统/设 备,即对象在左和右之间具有更明显的视差时,这可能导致图像的模糊。
[0009] 本发明的第一方面涉及一种重瞄准三维视频信号数据以用于使用在目标三维显 示设备上的方法,该方法包括:接收三维视频信号,三维视频信号进而包括适合用于驱动多 视图显示设备的三维视频数据,以及参考视差映射数据,参考视差映射数据指示针对参考 三维显示设备的三维视频数据的视差映射。该方法还包括:基于参考视差映射和参考三维 显示设备的特性以及目标三维显示设备的对应特性来导出目标视差映射,以及使用目标视 差映射数据将三维视频数据重瞄准到目标三维视频数据中。
[0010] 本发明有效地使得能够实现三维视频数据到目标三维显示设备的高效重瞄准。为 此目的,本发明包括参考三维显示器的参考视差映射,其可以由目标三维显示设备使用以 用于重瞄准。参考视差映射取决于三维视频数据并且优选地是时变的,从而使映射随时间 适配于图像内容。参考映射可以由内容作者提供,其中使用参考三维显示设备的已知特性 来生成所述参考映射。
[0011] 进而在目标三维显示设备处,目标三维显示设备的对应特性被视为已知。这些对 应特性可以例如可用地嵌入在闪速存储器或者目标显示设备中的另一非易失性存储装置 中,因为这些特性随显示器的寿命是稳定的。显示器制造商、组装者、或者已经测量/确定 目标三维显示设备的这样的特性的另一方可以随后将这些存储在显示设备中。
[0012] 目标三维显示设备可以检索该数据并且将所检索的数据与参考三维信号的特性 比较。本发明允许使用一个或多个标准化显示设备,其特性也可以放置在非易失性存储装 置中。通过使用该方案,在三维视频信号中指示参考视差映射与哪个特定标准化参考显示 器相关联可能是足够的。在单个标准化显示设备的情况中,这样的指示符可能甚至是冗余 的。
[0013] 可替换地,三维视频信号可以包括参考三维显示设备的特性,从而为系统提供灵 活性并且允许内容作者为一个或多个目标显示设备提供参考视差映射。
[0014] 目标三维显示设备可以将参考三维显示设备的特性与其自身的对应特性比较,并 且基于此决定基于该比较的结果和参考视差映射来生成目标视差映射。
[0015] 由于在历史上三维显示设备随时间已经获得较好质量的3D输出,因此预期到其 中三维显示设备可以显示内容而基本上没有模糊(例如超过预确定的模糊度量)的视差范 围将随时间而增加。作为结果,针对当前参考显示设备所生成的内容可能不提供针对将来 改进的显示设备的最佳视差映射,基本原理开始于这样的内容包括从艺术角度来看将内容 深度最佳地映射到当前可用的显示深度/视差上的参考视差映射。
[0016] 本发明有效地允许简洁的增强,同样针对将来的显示设备,因为目标三维显示设 备提供有所要求的信息以生成更好地适合于目标三维显示设备的三维视差映射。
[0017] 显然在本申请的上下文内,深度和视差在相同的上下文内使用。简化的深度与视 差成反比并且作为结果深度域中的操作典型地具有视差域中的等同物。深度和视差二者提 供涉及例如多视图(2个或更多)视频信号的左眼和右眼视图之间的图像位差的信息。
[0018] 包括在三维视频信号内的三维图像数据优选地为可以用于生成多视图输出的三 维图像数据。三维图像数据可以例如涉及具有适合用于基于图像的再现的相关联的深度和 /或视差图的单个视图,或者更优选地包括具有一个或多个相关联的深度图的立体信号。后 一信号是有益的,因为其允许立体内容在没有损失的情况下的再生,而且还提供对于在再 现η-视图显示器的内容时填入去堵塞区而言有用的立体信号信息的相应视图,其中η >2。
[0019] 另外,本发明还可以使用在以下情形中,其中不提供显式深度或视差信息,但是其 中三维图像信号可以提供充足的上下文以从中实时地导出深度/视差图。例如在没有深度 图的立体内容的情况下,深度/视差图可以使用公知的技术来估计。然而,好处(mileage) 可能变化,因为对于某些场景,可能难以仅基于立体内容来精确地导出这样的深度/视差 图。
[0020] 在优选实施例中,使用参考三维显示设备的特性来生成参考视差映射,使得参考 视差映射将三维视频数据中的显著元素的视差映射到适合用于表示所述显著元素的参考 三维显示设备的预确定的视差范围上。
[0021] 该方案的优点在于,对于典型地要求锐利表示的三维图像信号中的那些元素;即 具有预确定的模糊阈值以下的模糊,这可以实际上被提供。
[0022] 在更优选的实施例中,倘若目标三维显示设备比参考三维显示设备具有用于显示 显著元素的更大视差范围,则目标视差映射的导出包括更大视差范围内的线性视差映射和 参考视差映射数据的加权相加。
[0023] 通过使用该方案,使视差映射更接近理想的单位映射;即输入是输出,然而所使用 的负和正视差的量基本上得以保留。此外,在实验上证实这种增强方法提供在感知上令人 满意的结果。
[0024] 甚至更优选地,目标视差映射对应于target_disparity_mapping(x),其中 target_disparity_mapping(x) = ((1-beta) ?reference_disparity_mapping(x)) + (beta · linear_approximation_reference_disparity_mapping(x)) 并且其中 reference_disparity_mapping(x)对应于针对x的参考视差映射,并且 linear_approximation_ref_disparity (x)寸 于通过(dmin , reference- disparity_mapping(dmin))和(dmax , reference_disparity_mapping(dmax))的线性视 差映射。
[0025] 以上方案已经显示给出良好结果,因为其基本上保留存在于视差映射中的线性而 且还保留存在于输入视差中的到输出视差的对称性。
[0026] 参考三维显示设备的特性可以优选地包括以指示作为视差的函数的显示器的模 糊的曲线的形式的模糊-视差范围中的一个。理想地,模糊是基于标准化模糊度量以便改 进重映射。可替换地,可以提供反锐利度视差曲线。在简化系统中,可以提供以指示其中模 糊保持最小的优选视差范围
当前第1页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1