重瞄准三维图像信号的制作方法_3

文档序号:9476566阅读:来源:国知局
参考映射相当平坦;即输入视差的完整范围被映射到相当窄的输出 范围。该图还示出与身份曲线对应的细虚线。
[0057] 发明人洞悉到,当重映射时,优选地应当尽可能多地保留参考映射的线性。然而, 如果存在可用空间,则应当使曲线更接近理想映射;即朝向身份曲线。
[0058] 这样做的特别有利的方式是基于参考和目标显示设备的显著视差范围来导出改 进因子并且使用该改进因子执行参考视差映射的线性近似和参考视差映射的加权相加。该 改进因子被称为alpha。
[0059] alpha = Star/Sref 对于大于1的alpha值,我们优选地如下增强参考视差映射: beta = 1/alpha target_disparity_mapping(x)= ((1-beta) · reference_disparity_mapping(x)) + (beta · linear_approximation_reference_disparity_mapping(x)) 并且其中 reference_disparity_mapping(x)对应于针对x的参考视差映射,并且 linear_approximation_ref_disparity (x)寸 于通过(dmin , reference- disparity_mapping(dmin))和(dmax , reference_disparity_mapping(dmax))的线性视 差映射。
[0060] 这种工作方式的优点是显示视差对于整个输入内容视差范围保持(竖直地)对称 分布。这是重要的,因为模糊关系对于正和负的显示视差是对称的。
[0061] 对于小于1的alpha值,应当处置混合使得然后向下缩放的线性近似linear_ approximation_ref_disparity(X)周围的变化应当保持对称。
[0062] 可替换地,混合可以利用零显示视差曲线来执行,换言之,目标视差映射在竖直方 向上通过使用alpha进行缩放来适配。
[0063] 显然,通过导出平滑曲线,进一步改进是可能的;例如,目标设备可以通过使用针 对内部点的三点差异和端点处的单侧差异应用三次厄密样条来从所得视差映射导出平滑 连续曲线并且通过应用Fritch-Carlson方法来保留单调性。
[0064] 此外,要指出的是,视频中的显著性检测已经接收到相当多的关注并且各种高效 显著性检测机制是已知的。为了完整性的目的,提供对从http://ilab. use. edU/~b〇rji/ papers/paperBorji. pdf 下载的 Ali Borji 等人的"Salient Object Detection: A Benchmark"的参考,该文档包括35个目前技术现状的显著性检测模型的比较。
[0065] 图4示出重瞄准三维视频信号数据以用于使用在目标三维显示设备上的方法的 简化流程图。该方法包括步骤401,其中接收三维视频信号,三维视频信号包括:适合用于 驱动多视图显示设备的三维视频数据,以及参考视差映射数据。参考视差映射数据指示针 对参考三维显示设备的三维视频数据的视差映射。该方法还包括步骤402,其中基于参考视 差映射和参考三维显示设备的特性以及目标三维显示设备的对应特性来导出目标视差映 射。如本文之前所指示的,目标三维显示设备的特性对目标显示设备可用并且可以存储在 设备自身中或者可以按请求可访问;例如它们可以可下载到设备。参考设备的特性进而还 可以预分布并且嵌入在目标设备中,或者可以提供在三维图像信号自身内。
[0066] 该方法还包括步骤403,其中使用目标视差映射数据将三维视频数据重瞄准到目 标三维视频数据中。在输入三维视频数据包括所谓的图像和深度格式中的内容的事件中, 重瞄准可以包括生成图像和随附的屏上视差。可替换地,当包括基于图像的再现时,这还可 以涉及基于图像的再现以便生成具有适当屏上视差的多视图图像信号。
[0067] 图5示出生成三维视频信号的方法的简化流程图,三维视频信号适合用于将三维 视频信号重瞄准到目标三维显示设备。该方法包括用于获取适合用于驱动多视图显示设备 的三维视频数据的步骤501,以及用于获取参考三维显示设备的特性的步骤502。由于不存 在这两个步骤之间的直接相互依赖性,因此它们当然可以并行或以相反顺序执行。
[0068] 该方法还包括:用于生成参考视差映射数据的步骤503,参考视差映射数据指示 针对参考三维显示设备的三维视频数据的视差映射;以及用于生成三维视频信号的步骤 504,其中生成三维视频信号包括组合三维视频数据和参考视差映射数据。
[0069] 图6示出用于重瞄准三维视频信号74以用于使用在目标三维显示设备60上的系 统10。系统10包括布置成接收三维视频信号74的接收器30。三维视频信号可以源自数 据载体71,诸如光盘、硬盘或非易失性固态存储设备。可替换地,三维视频信号可以通过网 络连接72或者通过无线接口 73接收,无线接口 73可能地可以为广播接口。
[0070] 三维视频信号74包括适合用于驱动多视图显示设备的三维视频数据,以及参考 视差映射数据。参考视差映射数据指示针对参考三维显示设备(未示出)的三维视频数据的 视差映射。在框图中,信息被解复用并且传输到导出器40。导出器布置成基于参考视差映 射和参考三维显示设备的特性以及目标三维显示设备的对应特性来导出目标视差映射。为 此目的,导出器可以从非易失性存储装置70检索部分或全部特性数据78,或者可以可替换 地从解复用的三维图像信号75获取参考设备的特性。
[0071] -旦已经计算目标视差映射,则目标视差映射数据连同三维视频数据被传输到转 换器50,其布置成使用目标视差映射数据将三维视频数据重瞄准到目标三维视频数据77 中。目标三维视频数据77进而可以传输到目标显示器60。
[0072] 显然,本发明还设想到包括目标显示器60和集成重瞄准系统10的集成目标三维 显示设备20。
[0073] 尽管在所示的示例性设备中,三维视频数据与参考视差映射数据结合地传输,但 是对本领域技术人员将清楚的是,可替换地,三维视频数据也可以绕过导出器60并且从接 收器30直接转移到转换器50。
[0074] 图7示出用于生成三维视频信号74的系统110,三维视频信号适合用于重瞄准到 目标三维显示设备。为此目的,系统包括布置成接收适合用于驱动多视图显示设备的三维 视频数据101的接收器120。系统还包括布置成获得参考三维显示设备的特性102的获得 单元130。为此目的,在生成器用于生成针对特定类型显示设备的内容的情况下,系统110 可以包括包含参考三维显示设备的特性102的非易失性存储装置106。可替换地,这些特性 102'可以源自外部源。
[0075] 系统110还包括布置成生成参考视差映射数据104的第一生成器140,参考视差映 射数据104指示针对参考三维显示设备的三维视频数据105的视差映射。第一生成器140 布置成接收如由获得单元130所传输的特性103以及如由接收器120所接收的三维视频数 据 105〇
[0076] 系统110还包括布置成生成三维视频信号74的第二生成器150,其中生成三维视 频信号74包括组合三维视频数据105和如从第一生成器所接收的参考视差映射数据104。 [0077] 用于视频图像信号的元数据编码 当生成视频图像信号时,可能在所谓的SEI消息中编码附加信息。SEI消息可以 例如添加到基于 AVC (IS0/IEC 14496-10:2012 - Information technology - Coding of audio-visual objects - Part 2 10: Advanced Video Coding)或 HEVC (IS0/IEC 23008-2:201x/FDIS - Information technology - High efficiency coding and media 13 delivery in heterogeneous environments - Part 2: High efficiency video coding)的视频序列中。这样的元数据可以用于提供附加数据以重瞄准视频图像信号。还 可以适应元数据元素跨设备互连链路(诸如在HDMI中)的传输。
[0078] 优选地,元数据包括在用户数据未注册的SEI消息中。更优选地,这些SEI消息包 括在包含与三维视频数据一起提供的深度或视差信息的基本流中。
[0079] 取决于输运方式,深度可以在具有视频和深度或视差的单个基本流中传输,或者 可替换地,取决于输运的优选方式而作
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1