为分离的视差/深度基本流传输。
[0080] 以下提供SEI元数据消息容器句法的示例。
表1，SEI元数据消息容器句法。
' ' '
[0081] 显然，在此uuid_XXXX可以用作指示元数据类型的标识符，以便允许解析传入数 据的应用识别元数据并且采取适当行动以便基于所提供的信息重瞄准三维视频图像信号。 进而，metadata_type字段可以用于提供关于包括在SEI消息容器中的元数据的类型的附 加信息。
[0082] 深度/视差处理信息 有利地，我们可以使用SEI元数据来提供涉及参考视差映射的附加信息，或者针对参 考三维显示设备的特性。
[0083] SEI消息可以在帧精确位置处插入流中，并且因此可以用于在需要时精确地调节 视差映射。该信息还可以称为深度/视差处理信息。
[0084] 当存在于编码视频序列中时，深度处理信息消息被推荐以至少为每一个IDR访问 单元（=即时解码刷新访问单元)所包括。这样其可以按需利用任何访问单元来更新并且直 到下一个访问单元之前是有效的。
[0085] 深度处理信息消息可以用于提供深度格式信息以及关于深度应当如何重映射到 具有有限深度的显示器的信息。当然应当小心使得包含在这些消息中的信息与可以被包括 以与其它功能一致的其它SEI消息中的可能地重叠信息保持一致。
[0086] 深度格式信息包括使得显示设备能够将深度图数据转换成像素中的视差值的参 数。通过包括深度处理信息与编码视频，内容所有者/创建者具有优化从深度图值到用于 接收显示器的视差值的映射而不需要具有关于所有可能目标显示器的特性的详细知识的 可能性。
[0087] 深度处理信息的部分可以以帧精度更新，如果期望的话，例如当显著对象朝向或 远离观看者移动时。重映射信息可以借助于限定涉及具有有限深度范围的目标显示器上的 视差的输出值与输入视差值之间的关系的曲线而包括在信号/比特流中。
[0088]当然，可以并排使用若干类型的重映射。例如，对于简单设备，可以限定诸如线性 缩放之类的简单固定视差映射。然而，在更高级的系统中并且在这样的数据可用的情况下， 可以利用依照本发明的映射。
[0089] 图8示出从深度到输入/内容视差到输出视差和从输出视差到显示视差的路径 的图形表示。首先，输入/内容深度值(此处在[0. .255]范围中)被映射到在范围[dmin.. dmax]中的输入/内容视差值上。基于参考和目标3D显示设备的"模糊特性"，通过将变换 应用于参考视差映射的结果来实现改进。
[0090] 在固定模糊模型重映射的情况下，假定目标三维显示设备，所感知的水平分辨率 随视差的增加而降级，从而遵循或多或少类似的降级模型。
[0091] 对于这些显示器，作为视差的函数的水平分辨率降级可以通过单个参数alpha表 征。要求显示器的alpha值由制造商根据标准化方法来确定。
[0092] 用于确定曲线的参考显示器的alpha值为元数据所包括。取决于参考显示器和目 标显示器的alpha之间的比，目标显示设备应用该曲线并且以线性方式缩放输出值。作为 结果，目标设备上的锐利度降级或多或少类似于参考设备上的情况。
[0093] 由于视差缩放是线性的，因此由内容作者应用于原始视差的任何曲线，即表示艺 术意图的工作室中所应用的任何映射，不受影响。
[0094] 在以下的表2中提供模糊曲线的编码的句法的示例。
表2,深度处理信息句法。
[0095] 在表2中，depth_coding_format指示深度包括在比特流中的方式。depth_ source_type进而可以指定内容源；其可以例如指示内容是否为CGI内容、专业电影电容、 离线产品广播内容或实时广播内容。以此方式，输入内容的性质是清楚的并且允许基于深 度的可能质量和/或例如场景改变是否精确地可检测/编码来得出结论。
[0096] depth_representation值限定深度信息如何编码的含义；例如，depth_ representation可以指示深度被均勾地量化成0-255,包括在8比特值的情况下。可替换 地，其可以指示使用视差值而不是深度值。
[0097] 在深度值以输入格式使用的情况下，则优选地d_min限定与解码的深度值0对应 的纹理视图的发光像素中的输入视差值。显然，在此输入视差对应于如内容作者所设想到 的视差，因此该视差还可以称为内容视差。优选地，d_min的负值对应于屏幕前方的虚拟位 置。同时，优选地d_max限定与解码的深度值255对应的纹理视图的发光像素中的输入视 差值。因此在逻辑上d_max大于d_min并且d_max和d_min -起限定深度值应当均勾映射 到的视差范围。
[0098] 可替换地，当使用视差值时，不需要提供关于将深度映射到输入/内容视差的信 息。
[0099] 重映射类型进而可以用于指示是否应当使用固定模糊模型重映射或者是否应当 使用另一重映射方法。
[0100] 视差重映射可以使用如表2中所指示的数个节点来表示。当num_curve_nodes不 等于0时，这指示(非线性）重映射应当根据重映射曲线应用于输入/内容视差值以优化具 有有限深度范围的自由立体显示器上的3D视频内容的呈现。
[0101] 该字段指定包括在元数据中以限定重映射曲线的节点数目。如果remapping_type 被设置成固定模糊，则该字段应当被设置成0。进而disparity_in[j]限定重映射曲线的第 j个节点的输入视差值。包括在元数据中的节点具有增加的输入视差值。第一输入视差值 必须大于或等于d_min的值。最后一个输入视差值必须小于或等于d_max。
[0102] curve_out[j]进而限定曲线的第j个节点的输出值。曲线输出值应当随j的增加 而增加。
[0103] 目标设备应当通过使用针对内部点的三点差异和端点处的单侧差异应用三次厄 密样条来从节点导出平滑连续曲线并且通过应用Fritch-Carlson方法来保留单调性。
[0104] 尽管已经参照三维图像信号描述了本发明，其中明确提供深度和/或视差输入， 但是要指出的是，本发明还可以用于在没有深度或视差数据的情况下重瞄准多视图内容的 立体显示，倘若参考视差映射以及参考和目标3D显示设备的特性可用的话。
[0105] 在丢失深度或视差数据的情况下，深度或视差数据可以基于立体和/或多视图内 容来估计，并且顾及到重映射的视差的一个或多个新视图可以使用公知的基于图像的再现 技术来再现。
[0106] 简而言之，本发明可以用于以有利的方式将输入深度和/或视差数据映射到输出 或显示视差数据上。本发明对于自由立体多视图显示设备特别有用，因为这些典型地具有 可以利用的更有限的视差范围。
[0107] 本发明可以以任何合适的形式实现，包括硬件、软件、固件或这些的任何组合。本 发明可以可选地至少部分实现为运行在一个或多个数据处理器和/或数字信号处理器上 的计算机软件。本发明的实施例的元件和组件可以以任何合适的方式在物理上、在功能上 和在逻辑上实现。事实上，功能性可以实现在单个单元中、实现在多个单元中或者实现为其 它功能单元的一部分。这样，本发明可以实现在单个单元中或者可以在物理上和在功能上 分布于不同单元、电路和处理器之间。
[0108] 尽管已经结合一些实施例描述了本发明，但是其不意图限于本文所阐述的具体形 式。而是，本发明的范围仅受随附权利要求限制。此外，尽管特征可能看似是结合特定实施 例描述的，但是本领域技术人员将会认识到，所描述的实施例的各种特征可以依照本发明 进行组合。在权利要求中，术语包括不排除其它元件或步骤的存在。
[0109] 另外，尽管单独地列出，但是多个构件、元件、电路或方法步骤可以通过例如单个 电路、单元或处理器来实现。此外，尽管各个特征可以包括在不同权利要求中，但是这些可 以可能地有利组合，并且在不同权利要求中的包括不喻示着特征的组合不是可行的和/或 不是有利的。同样地，特征在一种权利要求类别中的包括不喻示着限于该类别，而是指示在 适当的情况下特征等同地适用于其它权利要求类别。另外，权利要求中的特征的顺序不喻 示着特征必须以其工作的任何具体顺序，并且特别地，方法权利要求中的各个步骤的顺序 不喻示着步骤必须以该顺序执行。而是，步骤可以以任何合适的顺序执行。此外，单数引用 不排除多个。因此对"一"、"一个"、"第一"、"第二"等的引用不排除多个。权利要求中的参 考标记仅仅作为澄清示例而提供，其不应当解释为以任何方式限制权利要求的范围。
【主权项】
1. 重瞄准三维视频