颜色空间和用于视频的解码器的制造方法

颜色空间和用于视频的解码器的制造方法
【专利摘要】因为我们所需要的是新的改进的且非常不同的颜色编码空间以用于能够可靠地编码目前浮现的高动态范围视频以用于诸如SIM2新时期之类的浮现的HDR显示器上的良好质量渲染，因此具有输入（308）的视频编码器（300）以从视频源（301）获取视频，其中像素颜色被编码在（XYZ）颜色编码中，视频编码器包括光电子转换单元（304），其布置成将像素颜色的亮度（Y）转换成具有预确定的代码分配函数（F）的明度（Y’），其特征在于视频编码器包括色品确定单元（310），其布置成利用数学色品定义编码具有预确定的阈值明度（E’）以下的明度的像素颜色的色品(u’’,v’’)，其产出针对用于具有低于针对用于具有预确定的阈值明度（E’）以上的明度的像素颜色的特定色调的最大可编码饱和度(S_bH)的预确定的阈值明度（E’）以下的明度的像素颜色的特定色调的最大可编码饱和度(S_bL)，以及针对具有特定色调和等于或大于预确定的阈值明度(E’)的明度的颜色的像素的恒定最大可编码饱和度(S_bH)。
【专利说明】
颜色空间和用于视频的解码器
技术领域
[0001] 本发明涉及用于在新的颜色空间定义中编码视频(静止图像的集合）的方法和装 置，以及具有更容易的解码的使用这样的颜色空间的解码器和解码方法。
【背景技术】
[0002] 自19世纪以来，已经在驱动坐标的RGB空间中表示了添加颜色重现以用于生成红 色、绿色和蓝色原色光输出。因为为这些不同原色给出不同强度(亮度)是使所谓的色域(通 过由可能的最大驱动(例如Rmax)定义的三个矢量获取的菱形形状）内的所有颜色对应于比 如XYZ那样的某种通用颜色空间中的原色的方式。或者类似的，人们可以在从原色导出的另 一线性空间（例如XYZ或UVW)中定义这样的颜色。这通过矢量的线性组合来完成，即人们可 以通过用另一颜色空间定义中的旧的那些与转换矩阵相乘来计算新的颜色坐标。
[0003] 现在非常有用并且在历史上对于黑白电视而言必要的是具有消色差方向，其仅编 码亮度Y，因为视觉系统也具有针对它的分离处理通道。这通过将色域放置在其尖端来获 得，尖端是黑色的，其在图la中通过黑色点来表示。颜色表示空间的色域当关联到参考监视 器(或如果参考未经定义则信号被发送到的任何监视器)时是色域101。在该相同哲理中，人 们还可以想象理论原色，其可以变成无限明亮的，从而导致圆锥体形状102。根据该原理定 义若干颜色空间，特别地封闭的那些，因为它们对绘画也是有用的，其中人们必须混合纯色 与白色和黑色，并且不能够高于纸面白色（例如Munsell颜色树、NCS和Coloroid是这样的 (双）圆锥体颜色空间的示例，并且CIELUV和CIELAB是开放圆锥体）。
[0004] 在电视世界及其视频编码中，围绕该哲理的颜色空间的特定集合已经浮现。由于 CRT具有总计达近似输入驱动电压的平方的输出亮度的gamma(并且这同样适用于分离的颜 色通道），因此决定预补偿它并且向电视接收器发送信号，其被定义为线性相机信号的近似 平方根（即例如R'为R的平方根，如由相机捕获的场景中的红色的量，并且在例如[0,0.7伏] 的范围内）。现在由于人们需要在现有黑色和白色传输系统(NTSC或PAL)的顶部上构建，因 此人们还利用使用消色差（"黑和白"）坐标的该哲理，以及承载信号的两个颜色信息R-Y、B-Y(然后可以从其导出G-Y)。线性系统中的Y将被计算为a*R+b*G+c*B，其中a，b和c是取决于 原色的常量。
[0005] 然而，人们在所导出的坐标R'、G'、B'（即平方根信号）的非线性空间中进行这些简 单的矩阵化计算。尽管最大可能色域的菱形形状不被这样的数学运算改变，但是其内的所 有颜色的定位/定义改变。这意味着除其它之外Y' = &*1?'+13*6'+(3*8'不再是传达所有颜色 的精确亮度的实数亮度信号，这就是为何其被称为明度(在本文本中我们使用词语明度以 用于沿消色差轴的所有所导出的/重定义的信号，其不是线性亮度，即与所使用的映射函数 无关，即不一定是平方根，而是人们喜欢的Y到Y'的任何函数;并且我们然后将Y '视为表示 颜色的亮度Y的技术编码）。这是所谓的恒定亮度问题，因为某种亮度信息不在Y'中而是在 色度坐标Cr，Cb中。这些被定义为Cr= m*(R'-Y'）和Cb= n*(B'-Y'），并且在本文本中我们将 它们称为色度，因为它们随颜色亮度增加而增长得更大(还使用术语彩度）。因此这些坐标 具有关于它们的某种彩色方面，而且这与明亮度方面混合(在心理视觉上这本身不坏，因为 颜色性也是随明亮度增长的外观因素）。如果人们精确地进行相同逆解码，问题将不会如此 糟糕，但是编码在这样的系统中的颜色上的任何变换(其还形成当前MPEG标准的基础)创建 问题，比如例如亮度和颜色误差。这发生在例如人们对色度子采样到较低分辨率时，并且人 们必然应当避免在这样的空间中做出颜色分级，因为结果可以到处都是(尽管一些图像处 理软件在这样的空间中工作）。因此这不是表示颜色的最方便的颜色空间，因为其具有人们 必须迀就的问题。另一问题在于坐标可以增长得相当大，从而要求许多比特来用于编码，如 果Rmax等非常大的话(或者换言之，色度空间需要许多比特以能够仍旧具有足够的精度以 用于非常小的色度值），如关于HDR信号那样，尽管这可以通过定义从R等定义R'的强非线性 明度曲线来部分地缓解。呈现给SMPTE的这样的编码空间的最新示例是YDzDx颜色空间，其 可能需要至少10比特或优选地更多（12比特）以用于良好的（宽色域但精确的)颜色编码，并 且这样大的字被硬件制造商视为不太方便的。
[0006] 第二种类型的颜色空间拓扑（图lb)浮现，尽管其中存在较少变型。如果我们将线 性颜色投影到单位平面105,我们得到类型x=X/(X+Y+Z)和y=Y/(X+Y+Z)的透视变换(并且这 同样适用于例如CIELUV)。此后z=l-x-y，我们仅需要两个这样的色品坐标。这样的空间的优 点在于其将圆锥体变换成有限宽度柱体。即人们可以将单个色品(x，y)或(u，v)与一些光所 光照的特定频谱反射曲线的对象相关联，并且该值然后独立于亮度Y，即其定义对象的颜色 而与多少光落在其上无关。这样的颜色然后通常利用主波长和纯度来描述，或者更多人类 量色调和饱和度。针对任何可能色调的最大饱和度是形成马蹄铁形边界103的单色颜色，并 且针对特定添加显示(或颜色空间）的每一个色调的最大饱和度由RGB三角形确定。事实上， 需要3D视图，因为添加重现或颜色空间的色域104是帐篷形状的，其中峰值白色W是其中所 有颜色通道(即RGB局部显示子像素三元组中的局部像素)被最大地驱动的条件。
[0007] 基于色度的颜色空间，作为NTSC，BT.601和BT. 709的后代用于电视/视频，例如 各种MPEG和其它数字压缩标准的Y'CrCb，已经在实践中足够好，尽管存在若干已知问题，特 别地由于不当的非线性所致的各种颜色通道的混合(例如如果在颜色分量上做出某种操作 则亮度改变，或者当人们仅想要改变饱和度(或更好彩度)时色调改变等）。基于色品的颜色 空间，比如Yxy或Lu'v'，从未用于图像传输，仅用于科学图像分析。
[0008] 特另丨抛，1?· Mantiuk等人："Lossy compression of high dynamic range images and video"Proc. SPIE-IS&T Electronic imaging Vol. 6057， 2006年1月16日，第1-10 页，应对发现用于HDR图像或视频的有损编码的颜色空间。特别地他们设计了场景参照编 码，其可以处置没有月亮的天空l〇exp(-5) nit和太阳表面100亿nit之间的所有亮度。这显 然不能利用经典CIE 1976 Luv空间来处置，其被设计成处置比方说作为几百nit的100%反 射白色与某个0.5%黑色（即LDR图像内容)之间的典型反射颜色。它们定义新的对数类型明 度轴以用于颜色空间，其中明度尝试紧密地跟随人类视觉的特点并且因而具有第一阈值以 下的第一线性部分，然后功率低行为，以及第二阈值以上的对数行为。基于此的logL-uv颜 色模型是拓扑柱体形状色品表示的示例。
[0009] W0 2010/104624也定义了类似对数类型明度，但是现在具有纯对数字符，其可以 编码高达10000nit的实际亮度。它们通过在段落[0087]中的等式3A和3B中定义uv色品来从 此做出颜色空间，即这使颜色空间也是柱状的。
[0010] Larson G. W:"LogLuv encoding for full-gamut, high-dynamic range images"，Journal of graphics tools ^association for computing machinery，vol· 3， no. 1，1999年1月22日，第15-31页也描述了用于HDR静止图像的编码。其再次使用明度的对 数定义，使得可以利用16比特像素颜色字来编码高动态范围的亮度，并且利用每一个8比特 编码颜色色品（等式3a和3b)。因此该颜色空间的形状再次仅仅是柱状的，具有对数明度轴。 所得编码图像然后以TIFF格式输出。
[0011] Masahiro Okuda和Nicola Adami:"Effective color space representation for wavelet based compression of HDR images"，第14届图像分析和处理国际会议 (ICIAP)，2007年9月13-17日，再次提出使用Greg Ward的该LogLuv编码，但是现在是使用在 JPEG200中的小波框架中。
[0012]最近，浮现开始编码高动态范围（HDR)视频材料的期望。这些是编码成优选地在具 有至少1000nit的峰值白色的显示器上渲染的视频图像，并且典型地有意思的图像是还包 含明亮度的大跨度之上的对象的那些。例如，包含室内和有阳光的室外对象二者的场景可 以具有1 000:1以上的图像内亮度对比度，并且高达10,000,因为黑色典型地可以反射完全 反射性白色的5%和甚至0.5%，并且取决于室内几何结构(例如大部分从室外光照屏蔽并且 因而仅被间接光照的长走廊)室内照度典型地为室外照度的k*l/100。同样在夜晚场景中， 被例如201ux街道照明光照的对象可以编码远至比例如灯更低的相机像素中的亮度。存在 以高质量渲染这样的场景的期望，使得事实上视频图像的室外有阳光的部分看起来示出看 起来相对现实的日光，并且灯应当在HDR显示器上发光，因而还存在可信地编码所有这些像 素亮度的期望（以及优选地关于场景的甚至更有用的元数据，或者其艺术分级）。对于静止 图片，开发了编解码器，其编码线性颜色坐标，但是其中这可以针对单个静止物而进行，对 于视频，速度和硬件考虑(是否例如处理1C的成本或BD盘上的空间）不允许或至少不推荐使 用这样的编码，即我们需要不同的个体，其关于技术限制更加实用。
[0013] 在给定我们在HDR编码中所具有的更复杂的约束的情况下，现有技术颜色空间不 再最优，特别是对于图像的较暗部分的行为（在HDR中流行场景是具有明亮光的昏暗地下 室，但是在任何情况中在亮度范围的较低部分中将存在比针对LDR经典低动态范围图像在 统计学上更大量的明显像素）不是最优的。而且，由于对于HDR我们想要具有对明度代码分 配函数（其定义经捕获或分级的亮度Y到表示它们的代码Y'的映射，参见例如W02012/ 147022)的丰富控制，因此相比于Y'CrCb的平方根的更严重非线性的性质将使比如图la的 示例性一个那样的编码典型使用的色度空间的电视中的错误行为表现得更加不当。例如， 这将发生在空间子采样从4:4:4到4:2:0的颜色信号时，而且出于许多其它原因，这必须利 用改变颜色坐标来完成。
[0014] 因而本发明以下呈现的教导的目标是提供一种改进的颜色编码空间、改进的编码 器实现，以及改进的解码器实现，其处置这样的问题方面并且导致更加合适的视频编码系 统，其能够处置HDR内容（借此我们不意图也说那些实施例并不非常适合用于编码LDR内 容)。

【发明内容】

[0015] 我们以下描述的实施例解决尤其是针对HDR图像的电视编码(或处理)的大多数问 题，特别地借助于具有输入(308)的视频编码器(300)以从视频源(301)获取视频，其中像素 颜色被编码在标准化设备独立线性颜色编码(XYZ)中，视频编码器包括光电子转换单元 (304)，其布置成将像素颜色的亮度(Y)转换成具有预确定的代码分配函数(F)的明度(Y'）， 其特征在于视频编码器包括色品确定单元(310)，其布置成利用数学色品定义编码像素颜 色的色品(u''，v''），其对于具有特定色调和预确定的阈值明度(E'）以下的明度的像素颜 色产出最大可编码饱和度(S_bL)，最大可编码饱和度是针对具有这样的色调和如根据用于 明度的色品(11''，，'）平面中的颜色距利用等式3 = 8収以（1!〃-11、)2+(，-，〇2)计 算的预指定的白色点(u'' w，v''w)的距离计算的预确定的阈值明度以下的明度的任何像素 颜色的最高可能饱和度，其低于针对预确定的阈值明度(E'）以上的像素颜色明度的该特定 色调的最大可编码饱和度(S_bH)，并且其针对具有特定色调和等于或高于预确定的阈值明 度(E'）的像素颜色产出恒定的最大可编码饱和度(S_bH)。
[0016] 这种编码方式具有许多优点，诸如例如色品和消色差方向的去耦合，以及不使用 过高的比特率以用于编码较暗的图像或图像的较暗部分，其通常发生在HDR中，例如当人们 编码非常暗的夜晚场景时（要指出的是，即使颜色误差可以在一个渲染中由于那些像素颜 色的昏暗而可以不被感知到，在一些系统中那些经编码的像素颜色也可能被处理，例如通 过用户激活tv上的明亮化功能，或使用该分级以颜色变换到要在其它渲染参数之下渲染的 另一经导出的分级，诸如显示峰值白色和平均周围亮度，并且为此该颜色可能需要以高精 度编码，因为颜色误差然后可能变得更加可见）。
[0017] 这仅仅是说编码器以这样的方式定义新的（u''，v''）色品平面，即对于较暗颜色 (E'以下明度），针对任何色调的最饱和的可能颜色的饱和度不能够变得过高，事实上，其甚 至不能变得如可以针对明度Y'= E'的颜色实现的5(1!''，，'）的值那样高(其上典型地最大 饱和度将恒定，从而导致正常颜色表示的柱体行为）。即，根据适合用于编码的这样的技术 行为，编码器实现与正常色品定义相反的某种色品平面区段降低方案，以使最暗颜色的色 品更低。例如那些色品可以减半。我们缩放色品的可能值的事实意味着我们可以使用与正 常uv编码相同的策略进行编码，但是现在分配更少的比特，例如由于以下事实:如果颜色值 通过缩小而变得更接近单个值，则需要较少的DCT值来接近原始值，因此这将典型地发生在 DCT和视频编码器的运行长度编码中（并且如果该色品数据是有噪声的，其不需要是精确编 码的噪声）。值Ε'将当然被选择为对于任何技术系统而言尽可能有用，即尽管一般地将不存 在绝对精确准则，但是典型的设计目标是降低需要用于编码典型地存在于暗色中的噪声的 编码比特的量，因为噪声对编码而言不是有意义的。因此编码器的设计者可以例如在实验 室中固定用于Ε '的良好值，其对所有典型的例如MPEG-HEVC视频有效，或者用于视频的具体 子类别的具体不同值，比如例如不同源内容。因此什么颜色范围将出现，以及因而典型地编 码它们所需要的比特量将因而取决于颜色的明度，特别是它们是否是如由其在阈值明度Ε' 周围的相对定位定义的暗色。所呈现的编码器和方法对于高动态范围图像尤其有用，其中 黑色可以在噪声方面进入深处，尤其是当相机不是如编码器将预期的那么高动态范围时， 但是在任何情况中由于没有智能代码分配，因此较高动态范围的图片中的更多信息将要求 更多比特，其可能在需要处置图像的所有系统中刚好不是可得到的。
[0018] 至于所输入的颜色，我们假定根据标准观看者CIE 1931 ΧΥΖ颜色空间进行编码， 但是当然本领域技术人员将理解到在编码器中实际输入颜色的方式不是限制，并且它们也 刚好可以是例如Lab、某种RGB编码等。只要颜色以唯一可理解的方式定义，我们的编码器和 方法就可以将它们重计算成具有Z轴上的某种明度表示（即某种亮度的函数)和正交于此的 某种色品表示的表示，但是CIE 1976 uv颜色平面由于其相对良好的颜色均匀性及其对自 然中的所有颜色的涵盖而是有利的，但是当然在期望的情况下相同原理还可以应用在使用 例如根据某种RGB原色的(r，g)色品平面和典型地某个白色点的编码器中。
[0019]视频编码器(300)，其中进一步地针对具有阈值明度(E'）以下的明度的颜色的最 大可编码饱和度(S_bL)作为像素颜色的明度(Y'）的单调函数而减小。事实上，设想到用于 E'以下的较暗颜色的若干色品区段降低机制并且其良好地工作(单调性不是绝对要求的， 因为可以存在降低暗色的其它方式，其仍旧导致那里的相对小的区段平面，我们可以例如 在定义用于E '以下的每一个明度Y'的任何2D缩放映射的LUT中定义它），但是作为例如从最 黑的黑色开始随明度值成线性或成二次的单调函数的降低最大可能饱和度的那个是良好 简单的一个，并且典型地还易于在硬件或计算软件中实现。这确保我们需要用于其中记录 颜色的区的越来越少的比特，尤其是在色品表示中可能变得更加有噪声时。这将创建 Crayon形状颜色空间，如例如在图3a中那样。定义衰减函数的方式还定义Crayon尖端的钝 度。这对于要编码的视频而言是有用的。一方面在一些优选实施例中我们想要具有最暗明 度的颜色具有最大饱和度，然后明显量的噪声不能创建用于编码该不太有用的数据的大量 比特。单调函数不仅容易设计，和例如在飞行中计算，而且是有用的，因为生成要编码的u，v 信号中的噪声的函数经由产出u，v的投影等式取决于明度而提升它。如我们示出的一些另 外的考虑可以设计Crayon尖端的钝度，通过除其它之外将数字压缩自身的特性考虑在内， 例如DCT解码误差。一般而言，当应用我们的教导时人们应当这样设计Crayon尖端（即衰减 函数），如果人们主要将其用于最小化昏暗有噪声的图像区中所浪费的编码比特率，使得跨 那些低明度区的所有噪声因素（即其中噪声开始丧失视觉上明显的信号的任何贡献)可以 具有最小影响。这种衰减函数的优化可以在飞行中通过分析例如图像集合的噪声统计量来 完成，在该情况下典型地特定衰减函数形状将从发射器被传送至接收器，例如作为LUT，或 者人们可以设计实施例，其使用对于大多数内容平均良好的固定策略(并且然后典型地比 必要的编码略多的噪声，但是仍旧远少于没有Crayon尖端）。其间，实施例可以使用数个(例 如3个)预同意的函数，其可以在发射器侧选择，并且发射器传送数个所选择的函数，使得发 射器（自动地或利用人类在显示器上检查他的（多个)选择的结果）可以取决于例如是否使 用给出洁净信号的高端大像素阱相机或者甚至用于创建计算机图形视频的计算机或有噪 声的廉价消费相机等而发送不同的函数。
[0020] 视频编码器(300)包括空间子采样单元(302)，其布置成降低颜色信息的空间分辨 率，所述单元布置成在线性(XYZ)像素颜色上执行通过因子(SS)的子采样，并且输出（XYZ) 像素颜色的经子采样的图像作为用于色品确定单元(310)的输入。Yuv视频编码对许多类型 的（HDR或LDR)视频是有用的，因此还有未经子采样的图像，但是由于典型地视频编码器使 用子采样（例如如果我们在遗留MPEG编码技术中编码u，v分量就如同它们是CrCb图像那 样），因此有利的是使用最优子采样和重构方法以用于这样的Yuv编码，其除其它之外涉及 仍旧关于像素亮度呈线性的颜色表示中的编码器处的子采样（即XYZ的某种颜色基础变换 或XYZ自身）。
[0021] 有利的是以较低分辨率编码颜色信息。我们的新编码技术具有关于如何和在哪里 进行子采样的相当大的自由度。
[0022]有利的是视频编码器(300)的实施例，其中在8,10,12或14比特的字中编码明度。 尽管我们不想要将我们自身限制到用于颜色分量的特定比特率，但是由于事实上我们的实 施例可以在原理上与任何比特率一起工作，尤其是对于HDR视频，因此我们可以以比经典的 基于色度的表示更少的比特率得到类似的质量(注意:在我们使用术语色度的情况下，这可 以是线性基于亮度的颜色坐标，但是典型地在视频编码中使用非线性的那些，例如在应用 标准化功率函数(例如Rec. 709等）之后，其近似为平方根）。更智能的一个选择代码分配或 光电子转换函数0ECF，在原理上需要更少的比特来编码所有相关图像信息。我们的实施例 可以使用单个标准化函数或在飞行中生成的且共同编码为元数据的一个二者，例如每个图 像镜头或场景。
[0023] 视频编码器(300 )实施例，其中色品编码在6，7，8，9，10，11或12比特的字中以用于 每一个色品坐标。我们的色品编码允许利用少于基于色度的编码的比特而从高亮度或明度 到低亮度或明度得到非常良好的精确性。
[0024] 一种视频编码方法，包括： -从视频源(301)接收输入视频，其中像素颜色编码在标准化设备独立线性颜色编码 (XYZ)中， -通过将预确定的代码分配函数(F)应用于亮度(Y)以获得明度(Y'）来执行像素亮度 (Y)的光电子转换， -其特征在于方法还包括计算具有利用数学色品定义的预确定的阈值明度(E'）以下 的明度(Y'）的像素颜色的色品（u''，v''），其产出针对用于具有预确定的阈值明度(E'）以 下的明度的像素颜色的特定色调的最大可编码饱和度(S_bL)，其低于针对用于具有预确定 的阈值明度(E'）以上的明度的像素颜色的特定色调的最大可编码饱和度(S_bH)，最大可编 码饱和度是针对具有这样的色调和如根据用于明度的色品(u' '，v' '）平面中的颜色距利用 等式S = sqrt((u〃 - u〃w)2 + (v〃- v〃w)2)计算的预指定的白色点(u''w，v''w)的距离计 算的预确定的阈值明度以下的明度的任何像素颜色的最高可能饱和度，以及针对具有特定 色调和等于或大于预确定的阈值明度(E'）的明度的颜色的像素的恒定最大可编码饱和度 (S_bH)〇
[0025] 视频编码信号（S_im)，其特征在于对于视频的图像，像素的颜色编码在由消色差 明度(Y'）坐标和两个色品坐标(u''，v''）定义的颜色空间中，颜色空间被定义为具有以下 性质：对于颜色空间的较低明度部分(LL)，由具有阈值明度(E'）以下的明度的较低明度部 分中的所有颜色定义，针对特定色调(h)和阈值明度(E'）以下的明度的颜色的最大可编码 饱和度(S_bL)低于针对具有该特定色调和阈值明度(E'）以上的明度的颜色的最大可编码 饱和度（S_bH)，最大可编码饱和度是针对具有这样的色调和如根据用于明度的色品（u' '， ν''）平面中的颜色距利用等式S = Sqrt((U〃 - u〃w)2 + (v〃- v〃w)2)计算的预指定的白 色点(u' 'w，v' 'w)的距离计算的预确定的阈值明度以下的明度的任何像素颜色的最高可能 饱和度，并且针对特定色调和阈值明度(E '）以上的任何明度的颜色的最大可编码饱和度 (S_bH)是恒定的。
[0026] 视频编码信号（S_im)，其中针对具有阈值明度(E'）以下的明度的颜色的最大可编 码饱和度(S_bL)作为颜色的明度(Y '）的单调函数而减小。
[0027]视频解码器（350)布置成接收和解码利用定义在线性设备独立颜色编码(X，Y， Ζ)或线性三色原色能量颜色定义（R, G, Β)或经gamma预校正的三色原色能量颜色定义 (R' '，G' '，B' '）设备独立颜色编码中的像素颜色定义的图像，编码视频信号（S_im)经由输 入(358)接收，编码视频信号（S_im)具有针对图像的编码在有消色差明度(Y'）坐标和两个 色品坐标(u''，v''）定义的颜色空间中的像素颜色，颜色空间被定义为具有以下性质:对于 颜色空间的较低明度部分(LL)，由具有阈值明度(E'）以下的明度的较低明度部分中的所有 颜色定义，针对特定色调(h)和阈值明度(E'）以下的明度的颜色的最大可编码饱和度（S_ bL)低于针对具有该特定色调和阈值明度(E'）以上的明度的颜色的最大可编码饱和度(S_ bH)，最大可编码饱和度是针对具有这样的色调和如根据用于明度的色品(u' '，v' '）平面中 的颜色距利用等式S = Sqrt((u'' - u''w)2 + (ν'' - v''w)2)计算的预指定的白色点 (u' 'w，v' 'w)的距离计算的预确定的阈值明度以下的明度的任何像素颜色的最高可能饱和 度，并且针对特定色调和阈值明度(E '）以上的任何明度的颜色的最大可编码饱和度(S_bH) 是恒定的。
[0028] 视频解码器(350)具有颜色变换单元(351，355)，其布置成将反校正应用于颜色空 间的较低明度部分(LL)中的颜色的降低的饱和度。由此解码器可以在遵循该颜色编码技术 之后重获取暗色的正确颜色。
[0029]视频解码器(350)具有缩放单元（356或405)，其布置用于将像素的经解码的亮度 独立色品颜色分量(R-Y/Y，G-Y/Y，B-Y/Y或R"/Y' '，G' 7Y' '，B' 7Y' '）缩放到颜色(R_Y，G-Y，B-Y或R' '，G' '，B' '），其具有其正确意图的亮度，通过用于缩放亮度或明度值(Y或Y' '）， 缩放单元布置成在线性亮度或非线性明度域中完成缩放。典型地缩放将需要不多于用于当 前处理的像素颜色的对应明度(或亮度)坐标的倍数。非常有用的是在亮度独立颜色平面或 空间中工作。例如，例如连接的显示器的到另一颜色空间的色品变换可以在那些单位明度 平面中完成。为了获得具有适当正确亮度的真实颜色，并且(例如XYZ)颜色可以转换成用于 驱动显示器的R，G，B值，我们必须将那些单位亮度颜色缩放到其正确的原始颜色，或者甚至 如果人们进行亮度改变变换以用于获得比原始输入的图像的那些更适合于所连接的显示 器的亮度，缩放一些新的有利输出明度或者用于要渲染的颜色的亮度。
[0030] 视频解码器(350)，其中缩放单元（356或405)通过将被处理的像素的亮度的最大 值和阈值亮度(E)分别与被处理的像素的明度的最大值以及阈值明度(E'）相乘来执行缩 放。这是实现用于颜色空间的所期望的crayon形状的计算上简单低成本的版本。
[0031] 一种视频解码的方法，包括： -接收输入信号(s_im)，其中像素颜色定义在由消色差明度(Y'）坐标和两个色品坐标 (u''，v''）定义的颜色空间中，颜色空间被定义为具有以下性质:对于颜色空间的较低明度 部分(LL)，由具有阈值明度(E'）以下的明度的较低明度部分中的所有颜色定义，针对特定 色调(h)和阈值明度(E'）以下的明度的颜色的最大可编码饱和度(S_bL)低于针对具有该特 定色调和阈值明度(E'）以上的明度的颜色的最大可编码饱和度(S_bH)，最大可编码饱和度 是针对具有这样的色调和如根据用于明度的色品（u' '，v' '）平面中的颜色距利用等式S = S = sqrt((u'' - u''w)2 + (v'' - v''w)2)计算的预指定的白色点（u''w，v''w)的距离计 算的预确定的阈值明度以下的明度的任何像素颜色的最高可能饱和度，并且针对特定色调 和阈值明度(E '）以上的任何明度的颜色的最大可编码饱和度(S_bH)是恒定的，以及 -将这些像素颜色定义解码成线性颜色编码或经gamma预校正的设备独立颜色编码 (R，，，G，，，B，，）。
[0032]我们的技术可以以各种形式和方式体现，诸如例如存储器产品，诸如存储新的视 频编码信号（S_im)的蓝光盘或固态存储器卡，或在从视频源（399)到解码器（350)的网络 (320)之上操作视频通信的方法，其中方法包括在网络之上传输新的视频编码信号(S_im)， 或者计算机程序产品，其包括使得处理器能够实现根据我们的发明的原理的各种编码或解 码方法实施例的代码。
[0033]另外有意思的实施例是视频解码器(350)，其具有用于接收视频信号（S_im)的输 入(358)，其中像素颜色利用消色差明度(Y'）坐标和两个色品坐标(u''，v''）编码，视频解 码器包括缩放单元(356)，其布置成通过利用消色差明度进行缩放来变换亮度相关色度颜 色表示中的色品颜色。这允许人们在消色差和色品方向上想要的任何编码或处理的非常完 美的去耦合。对经正确亮度缩放的颜色表示（即例如线性表示，其等同于具有在尺寸上随 XYZ增长的颜色坐标的XYZ或者更精确地其Y;但是这还可以仍旧包含某种非线性，比如例如 经gamma变换的表示，但是在任何情况中，输出再次为某种色度颜色空间表示）的最终缩放 然后可以在结尾处完成，甚至在显示器的gamma域中，或者消色差方向映射的任何接续可以 在结尾处凝结完成，典型地利用最终明度缩放函数。
[0034]视频解码器(350)，其中包括色品基础变换单元(352)，在颜色处理管线中的缩放 单元(356)之前的定位处，基础变换单元(352)布置成进行到新颜色表示的变换，在单位亮 度2或3维颜色表示中，所述新颜色表示优选地为单位(R，G，B)-个。本领域技术人员将从 我们的教导认识到颜色平面中的颜色变换的等同物，以及单位缩放的空间中的3D变换（即 典型地其中明度具有最大之一，以及比如例如类似缩放的(R-Y)/Y的亮度独立3色坐标），并 且在该情况中两个坐标是足够或有利的（例如用于从u''，v''旋转到另一颜色空间，比如 CIELab的a，b等），并且在该情况下3个坐标是有利的，诸如例如用于进行预备计算以用于得 到3个RGB驱动值。因此人们可以在颜色平面中进行人们期望的无论什么基础变换。
[0035] 一种视频解码器(350)包括光电子转换单元(404)，其布置成向其输入颜色坐标应 用功率函数，所述单元在颜色处理管线中位于缩放单元(356)之前的定位处。这允许已经变 换到显示器Ι/gamma预补偿空间，并且在该gamma空间中进行明度缩放。
[0036] 一种视频解码器(350)包括空间上采样单元(353)，其布置成通过应用内插函数以 获得在那些输入图像中间的像素值来增加具有颜色坐标(u''）的像素的输入图像的分辨 率，空间上采样单元(353)在颜色处理管线中位于缩放单元(356)之前的定位处。我们的颜 色编码的另一有意思的行为是人们将优选地以最高分辨率(例如4K或8K)进行缩放并且在 处理链中较早地以亮度独立表示中的无论什么分辨率进行所有其它处理。当然，当相乘时， 色品和消色差像素图像二者必须具有相同分辨率，但是人们可以刚好在相乘之前延迟空间 上采样。例如，上采样可以在R''/Υ''等坐标上进行以用于显示驱动，即在亮度独立显示 ga_a颜色表示中。这创建最高锐利度（即当仅使用4:2:0编码时人们实际上具有几乎4:4:4 的精度;要指出的是，编码器处的空间子采样在线性颜色空间中发生）。
[0037] 一种视频解码的方法，包括： -接收视频信号（S_im)，其中像素颜色利用消色差明度（Y'）坐标和两个色品坐标 (u''，v''）编码，以及 -通过利用消色差明度进行缩放，变换亮度相关色度颜色表示中的色品颜色。
[0038] -种视频解码的方法，包括在缩放之前将输入色品坐标变换成另一亮度独立颜色 表示，诸如（(R-Y)/Y，（G-Y)/Y，（B_Y)/Y)。
[0039] -种视频解码的方法包括在缩放之前向添加重现颜色通道(R/Y，G/Y，B/Y)的亮度 独立表示应用功率函数。
[0040] -种视频解码的方法包括在缩放之前对亮度独立颜色表示进行空间上采样。
[0041] -种视频编码器(300)，其布置成编码其中像素颜色编码在任何输入颜色表示(X， Y，Z)中的视频编码到视频信号（S_im)中，其中像素颜色编码在通过消色差明度(Y'）坐标 和两个亮度独立色品坐标(u ' '，v ' '）定义的颜色编码中。
[0042] 所有这些实施例可以再次实现为许多其它变型、方法、信号(无论是通过网络连接 传输还是被存储）、计算机程序等。
【附图说明】
[0043] 根据本发明的方法和装置的这些和其它方面将从以下描述的实现方式和实施例 是明显的，并且将参照以下描述的实现方式和实施例和参照附图进行阐述，附图仅仅充当 例示更一般的概念的非限制性具体图示，并且其中虚线用于指示组件是可选的，非虚线组 件不一定是关键的。虚线还可以用于指示被解释为关键的元件被隐藏在对象的内部中，或 者用于非有形事物，诸如例如对象/区的选择（以及它们可以如何在显示器上示出）。
[0044] 在附图中： 图1示意性地图示了用于现有技术颜色空间的两个可能拓扑，圆锥体和柱体； 图2示意性地图示了例如通过有线电视系统的用于视频的示例性通信系统，以及我们 的编码器的实施例，以及我们的解码器的实施例； 图3示意性地图示了我们引入的新的crayon形状颜色空间，其对于编码颜色是有用的， 特别是当牵涉等同于或类似于DCT编码的种类的数据压缩时。
【具体实施方式】
[0045] 图2示出根据新发明的原理并且遵照新颜色空间定义的编码系统的第一示例性实 施例，其具有视频编码器300,以及可能的解码器中的特定一个，即解码器305(存在构建可 以处置Crayon空间定义的视频图像并且可以处置例如特定方式的色品u' '，v' '子采样的解 码器的各种方式，进行所期望的颜色处理等，但是我们仅教导一个以给出原理）。我们假定 编码器经由输入连接308从已经以CIE XYZ格式供给视频图像的视频源301得到视频输入， 其为独立线性颜色编码的设备。当然，解码器可以包括或连接到进行典型视频转换的另外 的单元，比如例如从OpenEXR格式或某种RAW相机格式等的映射。当我们说视频时我们假定 技术读者理解到还可以存在视频解码方面，比如例如所涉及的反DCT变换，以及产出图像集 合所必要的任何事物，其中像素具有编码为(X，Y，Z)的颜色，其为解释我们发明的实施例的 细节所需要的部分。当然，我们以下从(Χ，Υ，Ζ)开始呈现的等式还可以从另一线性颜色空间 开始导出，比如例如具有标准化RGB原色的（R，G，Β)，但是我们将从广泛已知的CIE ΧΥΖ空间 开始解释我们的实施例。至于艺术部分，我们将假定源301递送主HDR分级，其将是例如由至 少一个颜色分级器重新上色的电影以得到正确的艺术外观(例如将温和的蓝天转换成美丽 的泛紫的一个），但是输入当然可以具有实际上接连的相关图像的任何集合，诸如例如相机 RAW输出，或要升级的遗留LDR(低动态范围）电影等。我们还将假定输入是以高质量分辨率， 比如例如4K，但是技术读者将理解到，其它分辨率是可能的，并且特别地我们的实施例特别 良好地适合于应对用于不同颜色分量的各种分辨率。
[0046]典型地，虽然是可选地，空间子采样单元302将在执行色品中的颜色信息的确定之 前下转换信号，因为眼睛对颜色信息不太敏锐，并且因而人们可以在分辨率上节约以用于 色品图像，并且例如在单个要编码的图片中交错两个色品分量图像(我们已经开发了我们 的系统使得该进一步编码可以利用遗留编码器完成，比如例如MPEG式编码器，比如AVC编码 器，即通过进行DCT-ing等）。例如，空间子采样单元(302)可以使用两个方向上的子采样因 子ss=2，以从4:4:4去往4:2:0。
[0047]现在该原始或降低的分辨率(X，Y，Z )_xK信号(其中X表示任意分辨率，例如从8K原 始到2Κ输入以用于确定色品信息）是用于色品确定单元310的输入。在我们的实施例中，我 们不使用色度类型颜色空间，而是基于色品的一个，因为这具有一些非常有利的性质。然 而，不能也使用标准色品空间（即色品平面+某个亮度或明度或光亮度轴），尤其是用于HDR 视频编码。
[0048]尽管在原理上可以使用其它色品平面定义。我们将假定我们使我们的定义基于 CIE 1976 Y'u'v'空间，或者更精确地其色品平面，然而我们将通过色品坐标的新定义来对 其重成形，我们因此将利用双原色(u''，v''）来进行指示。如果人们使用经典CIELUV 1976 定义(有用地重新公式化）：
所得颜色空间和其中编码的颜色将具有一些良好性质。首先，一个非常强大且可用的 性质是人们已经将明度（即编码亮度的坐标或生理视觉重申的明亮度)从颜色的纯色品性 质（即与色度相对，其还仍旧包含一些亮度信息）去耦合。但是通过在过去几年内的进一步 思考和实验，发明人及其同事更加深入地洞察到该去耦合具有尤其对于HDR视频编码的主 要重要性的性质：人们可以使用任何代码分配函数或者光电子转换函数E0CF以编码所要求 的亮度(无论由相机或其分级捕获的那些，还是要由接收视频的显示器输出的那些），例如 非常高ga_a的那些，或者甚至混合比如S形状的那些，或者甚至不连续的那些(人们可以将 明度想象为与色度相关联的某种"伪亮度"）。这"不关心的性质"还意味着我们可以仅在色 品"单位亮度"平面中去耦合一些所期望的处理(是否编码或例如颜色处理，比如重分级以 获得另一外观），无论是沿明度轴的亮度的什么混合。这还导致以下洞察:HDR编码以及甚至 其它外观的编码(对用于例如中等动态范围显示器的所要求的驱动分级的可调谐性)变得 相对简单，因为人们需要一个图像来编码空间对象纹理结构，这可以利用(u''，v''）和某种 参考阴影(Y'）完成，并且人们可以通过首先进行Y'的主要重定义并且然后进行另外需要的 处理以实现(u' '，v' '）方向中的最优外观来转换到其它照明情形。
[0049]因此我们将假定光电子转换单元304应用任何预选的有意思的颜色分配功能。这 可以是经典gamma 2.2功能，但是对于HDR较高gamma是优选的。我们可以例如使用Dolby PQ 功能。或者我们可以使用：
其中m和gamma是常量，并且v被定义为(Y-Y_black)/(Y_white_Y_black)。要指出的是， 消色差轴的任意性意味着在原理上我们还可以使用线性亮度，并且可以通过使用亮度阈值 定义而不是明度一个来重制定例如我们的编码器权利要求。
[0050]该编码的另一优点在于无论什么亮度，色品都保留在相同宽度维度内。这意味着 相比于基于色度的颜色空间，我们可以总是使用相同量的比特以用于编码色品，并且具有 一直沿颜色空间的竖直遍历的更好精度。相比于Y'DzDx颜色编码，其需要多于10个并且优 选地12比特以用于色品分量，我们可以利用仅10比特来得到高质量，并且利用8比特得到甚 至合理的质量。我们可以例如在可能色品的最大范围之上均勾地分配比特，u= [0，0.7 ]，v= [0,0.6]，或者稍微更紧的边界，例如[0,0.623]，[0.016, 0.587](我们将甚至剪掉一些不 常见的非常饱和的颜色，但是对于宽色域编码而言，如果包括所有可能的物理颜色则可以 是有用的）。
[0051 ]去耦合的另一优点在于这完美地实现了不仅具有HDR(即明亮亮度和/或大亮度对 比度比）编码而且还有宽色域颜色编码的期望，因为(u''，v''）可以编码在自然中可实现的 任何色品。其中在我们的新的基于crayon形状颜色空间定义中，RGB显示器将具有帐篷形 状，比如在图lb中那样，但是其中其底部部分现在在底部尖端中被拟合(夹捏），我们还可以 使用我们编码的颜色来驱动例如包括红色、黄色、泛黄-绿色、绿色、青色、蓝色和紫色激光 器的多原色显示器，其可以渲染非常饱和且明亮的颜色。
[0052]所解决的另一主要问题，因为我们实际上仅具有色品中的色品信息，在于我们可 以避免大颜色串扰问题，其发生在颜色边界处，特别是在经典基于色度的电视编码中（例如 1像素宽深红色和浅灰色线条的条纹图案，或互补颜色），例如当牵涉子采样时。使用Y'DzDx 空间可以引入主要颜色误差（例如深红色/浅灰色线条交错转换成奇怪的亮橙色颜色）。首 先在线性XYZ域中进行子采样并且然后使用我们的（u' '，v' '）的我们的实现方式创建正常 颜色，而不管色品信息的4:2:0编码。
[0053]然而，这样的柱体Y'u'v'编码的缺点在于由于通过Y的划分，深颜色变得非常有噪 声，其增加基于变换的编码器所要求的比特率。因此我们已经重定义了颜色空间定义，以及 因而定义从(X，Y，Z)到(u''，v''）的映射的对应透视变换，使得编码器可以例如新视频编码 完美地处置该问题，即不诉诸于所有种类的另外的诡计，比如例如去噪等。
[0054]我们的新透视变换导致如图3a中所示的crayon形状颜色空间。底部部分已经在尺 寸方面夸大地示出以能够绘制它，因为锥形尖端将仅针对最深可编码颜色而出现，落在底 部部分LL中。其中该部分对应于预确定的阈值明度E'，并且鉴于亮度方向及其任意可选 0ECF的分离，利用任何选择E '还对应于阈值亮度E的唯一值，其可以通过向E '应用0ECF函数 的反函数来确定，即E0CF(电光转换函数hE或E'可以例如固定在编码器和解码器的硬件中 (可通用的值），或者其可以在每种情况中选择，并且例如与信号公共传递，例如存储在存储 视频的BD盘上。E的值可以典型地在范围[0.01，10]内或者更优选地[0.01，5] nit，经由 通过颜色空间的峰值白色的划分转换成单位表示。因此没有用于特定输入颜色的颜色编码 可以以大于(U_xx，v_xx)的色品发生的事实可以通过陈述Cray on尖端中的色域的边界朝向 固定值收缩来更加精确地陈述。这可以在数学上通过使用饱和度sqrt(du' ' ~2+dv' ' ~2)来 定义，其中du' '=u' '-U' '_w, dv"=v"-v' '_￥和(11' '_w，v"_w)是参考白色的色品。色域的马 蹄铁形状的外边界确定针对每一个色调（角度)的最大可能饱和度(对于该主波长的单色颜 色或"色调"）。如我们看到的，这些外边界对于具有E'以上的明度Y'的颜色保持相同，但是 对于具有E'以下的明度的颜色变得更小。我们已经示出针对紫色的最大饱和度在E'以上如 何保持相同S_bH，并且在该crayon颜色空间的示例性实施例中随Y'减小，并且被重命名为 S_bL，在E'以下。这具有以下优点:无论如何有噪声，针对深色的该重定义的小色品不能消 耗过多比特。另一方面，在E'以上，我们发现色品的良好性质，即它们完美且良好均匀缩放 的从亮度信息的去耦合。
[0055] 因此编码器必须应用透视映射以获得u' '，ν' '，其实现该行为(实现这一点的等 式的任何定义将满足我们的新编码技术的所期望的特性）。实现这一点的一种方式在图3b 中示出，并且使编码器将非单位增益g(Y'）应用于具有E'以下的明度的颜色的饱和度。优选 地，解码器然后应用倒数增益（即如果8_611(3 〇(1從为0.5则8_(1扣〇(1虹为2.0)以获得用于经重 构的颜色的相同颜色饱和度。
[0056] 我们已经示出线性示例，但是可以使用其它函数，诸如例如：如果0〈=Y'〈E'，g(Y'） =Y'*((E'+l/E'）-Y'），如果Y'>=E'，g(Y'）=l。
[0057] 因此色品空间公式可以进行为：（u' '，v' '）= (u'_w，v'_w)+g(Y'）*[(u'，v'）_(u'_ w，v'_w)]，其中(u'_w，v'_w)是用于某个预确定的白色点的色品。因此将小于一的任何非 单位增益应用于最暗颜色的色品将使它们去饱和到所选白色点。如果要编码的特定像素颜 色的明度在E'以上，则我们将应用增益乘数1，即输出色品(u''，v''）等于要编码的原始颜 色的输入色品（u'，v'）。这还意味着对于任何色调而言，要DCT编码的高亮度块的输出像素 中的最大可能色品或更精确地最大可能饱和度（被定义为距白色点的距离）将是由CIE 1976 uv变换自身定义的值。对于以下的Y'值，我们将要利用在以上示例中自身为仅明度Y' 的合适函数的增益进行缩放。因此仅仅为了清楚起见，在以上等式中，如果例如E'为0.2,则 用于Y' =0.1的第二项的值将为5.1，使得乘积因而增益为0.51，即去饱和到所有颜色的饱和 度的一半，因而最大饱和的那些对于每个色调也是可能的。
[0058]实现crayon形状的颜色空间的有利实施例将重新编码定义色品的透视变换中的 较低亮度的定义。
[0059]如果我们定义适当的G(Y)函数，即较低Y区中的适当形状，我们可以根据期望调谐 色品值，即那里的crayon尖端的宽度轮廓。因此我们看到色品从线性颜色非平衡以及影响 缩放的该G-因子中导出（X-Y)，（ Z-Y)。对于中性颜色(X=Y=Z)尖端将使饱和度缩小到其最 低白色点(u"，v"）= (4/19, 9/19)，对于(Χ，Υ，Ζ)=(0,0,0)而言。
[0060] crayon尖端的G(Y)实现仅仅是实现它的一种容易的方式，因为可以存在这样做的 其它方式，例如通过使用类似于Y或Y'的其它相关函数，只要编码空间色域的几何形状行为 相同即可。
[0061] 非常容易的可能（可选)实施例是我们在图2中示出的那个，即使用Max(Y，E)作为 用于G(Y)的种类函数。
[0062]我们的编码器的有利简单实施例首先通过矩阵化单元303进行矩阵化以确定X-Y 和Z-Y值，例如在2K分辨率图像中。由透视变换单元306应用的透视变换然后是以上变换，但 是在图2实施例中我们已经通过外部最大函数拆分crayon锥形并且通过最大值计算单元 305执行，来自其的结果被填充在透视等式的最后项的位置处。最后编码器进一步编码和根 据任何预先存在(或能够用于视频传输的将来的视频编码标准，例如MPEG标准)策略在格式 化器307中格式化包含数据Y'和(u''，v''）的图像，并且在视频信号S_im中对此进行编码， 可能地连同元数据MET，诸如例如参考显示器上的峰值白色或从其进行编码分级，以及可能 地还有针对E或类似地E'选择的值。
[0063]该视频信号S_im然后可以经由输出309发送到视频传输系统320上的任何接收装 置，其不受限地可以是例如包含视频的存储器产品，比如BD盘或固态存储器卡，或者任何网 络连接，比如例如卫星TV广播连接，或互联网网络连接等。取代于在任何网络之上串行，视 频还可能之前已经存储在某种存储设备399上，其可以在任何所期望的时刻充当视频源，例 如用于按需在互联网之上的视频。
[0064]接收到该信号，我们在图2中示出视频解码器360的第一可能实施例，其可能合并 在相同的总体系统中，例如当分级者想要检查当在特定渲染情形中渲染时他的分级将看起 来像什么（例如在调暗环境之下的5000 nit HDR显示器，或昏暗环境之下的1200nit显示 器），或者该接收器可以位于另一位置，并且由另一实体或人员所拥有。非限制性地，该解码 器360可以形成例如电视或显示器、机顶盒、计算机、电影院中的数字相机处置单元等的部 分。
[0065]解码器将理想地大部分(尽管不是必要的）精确地翻转在编码器处完成的处理，以 接收原始颜色，其本身不需要在XYZ中表示，但是可以直接变换成显示器370所要求的某种 显示相关颜色空间中的一些驱动颜色坐标，典型地RGB，但是这还可以是多原色坐标。因此 从输入358,第一信号路径向应用作为0ECF的逆操作的E0CF的电光转换单元354发送明度Y' 图像，以恢复用于像素的原始亮度Y。再次如果我们已经使用了crayon颜色空间的Max(Y，E) 定义，可以可选地存在所包括的最大值计算单元355,并且否则在逆向透视变换单元351所 应用的数学函数中考虑饱和度减小。该单元将例如计算下式：
即这些是仅色品量(注意：人们还可以将它们视为X_Y/Max(Y，E)，但是这无关紧要，因 为它们是消色差量，单独从(u' '，v' '）色品可导出），与像素的颜色具有无论什么亮度无关。 它们仍旧需要稍后乘以正确的亮度，以获得完整颜色。
[0066] 该式的分子是线性X，Y和Z坐标的线性组合。因此我们可以进行这上面的矩阵化， 以获得线性R，G，B坐标，尽管仍旧被适当亮度参照为缩放因子。这通过矩阵化单元352实现， 产出作为输出的(R-Y) /Y，（G-Y) /Y和(B-Y) /Y。如对技术人员已知的，映射矩阵的系数取决 于所使用的实际原色，以用于颜色空间的定义，例如EBU原色(转换到显示器的实际原色可 以稍后由色域映射单元360完成，其还应用显示器的0ETF以在实际驱动值(R' '，G' '，B' '）中 预补偿它(例如这可以是显示器370,其预期Rec. 709编码，或者其可以是复杂驱动方案，比 如例如用于SM2,但是这超出我们的发明的教导）。我们已经使用双重首要内容来清楚地强 调这不是颜色空间的代码分配函数的非线性，而是显示器的非线性，并且(^了?_(1是特定连 接的显示器的所要求的非线性光电子传输函数。如果我们在编码器中进行空间子采样，上 采样单元353将该信号转换到例如4K分辨率。要指出的是，该上采样已经被有意放置在处理 链中的该位置中以具有更好的颜色串扰性能。现在线性差异值(色度)R-Y等通过与适当亮 度相乘来获得，例如Max(Y，E)。最后通过向这些色度添加每个像素的线性亮度，我们得到线 性(R，G，B)颜色坐标，其在输出359上输出。
[0067]在线性空间中对于HDR视频进行计算的缺点在于20(或更多）比特字是必要的以用 于能够表示百万：1 (或10000:0.01 nit)对比度率像素亮度。
[0068] 尽管如在图3中概念性示出的Crayon版本作为实施例工作，但是人们可以定义不 同且更加合适的Y' 'u' 'ν' ' Crayon空间。关于衰减--或与Y/epsilon或Y' '/epsilon' '相 乘一一到(接近)零的问题在于人们必须在接收器处利用无限增益进行放大。在没有任何误 差的最大程度精确的系统中，这将不成问题，因为在接收器侧处原始u'v'（如根据CIE 1976)可以被重获得。然而，在实践中人们必须将典型技术限制考虑在内。一方面将存在uv 坐标上的误差du和dv，其除其它之外主要来自暗区中的相机噪声。但是这些无论是什么，它 们通过衰减而明显降低。但是可以存在由于所使用的编码技术的另外的色品误差。幸运的 是那些典型地将不是大的，并且不值得过多注意，因为它们仅仅是微小的变色，其典型地无 论如何都已经是暗色，因此眼睛并不如此良好地注意到略微泛绿与略微泛蓝的黑色之间的 差异。然而更严重的关注点在于也可以存在接收器处的Y''通道上的误差，并且这些已经在 数学上更加严重，由于它们在成倍缩放中。人们可以具有经恢复的u'v'中的严重饱和误差， 并且甚至无效、非物理值。因此我们需要计及使用更钝的crayon尖端。我们将用于此的衰减 的数学公式则为： Atten = clip(l，Y''/E''，1/K)，其中K可以是例如 128〇
[0069] 对于其中Y' '在E' '以下的Crayon尖端区，通过该划分的乘法实现线性衰减，其当 然变成1，其中它们相等并且Crayon的竖直主体边界继续，但是我们可以明确地将衰减定界 成最小地没有乘1的衰减。更有意思的方面是限制到128。反转线性函数(701)以获得放大增 益以进行衰减以重获得正确的u'，v'值，我们对于该成倍增益当然获得双曲线，其为曲线 703，对其我们现在看到剪裁到最大值而不是去往无限。因此然而我们限定衰减，无论是经 剪裁还是未经剪裁，实际上重要的是在接收器处剪裁重提升的增益(例如gain(Y"）= CLIP (1，E"/ Y"，K=128))。由于无论什么u''，v''值，无论例如（0,0)还是与一些小误差混淆 (即产出（du，dv)而不是(0,0))，我们应当从不在接收器处过多地提升该u''，v''重构，特别 是如果du或dv是大的话。甚至更好的策略是然后进行软剪裁，人们可以容易地通过做出跟 随线性路径的增益曲线的最低部分来设计它，并且优选地利用相对小的斜率。不过小，因为 然后我们不显著衰减u'v'值，并且编码过多相机噪声，其增加我们所需要的编码比特预算 或在图像的其它部分中创建压缩伪像。但是斜率不过大，因为然后如果接收器在其Y''值中 做出误差dY' '，则这可以导致与需要用于获取正确的u'，v'像素颜色非常不同的增益提升 (g+dg)，即产出过于饱和的经重构的颜色，或者因为du'不需要等于dv'，一般仅某个大颜色 误差。因此该斜率部分应当在每一个系统中平衡，或者平均地对于数个典型将来系统是良 好的。人们可以选择各种斜率（10比特Y''示例，其中E''大约为256)。因为这是传输的我们 的u'v'颜色的非常定义，接收器必须知晓使用哪个Crayon尖端函数，即该信息必须也被传 输，并且存在这样做的各种方式。例如S_im中的元数据可以包括指定例如接收器必须使用 的特定增益函数的LUT(对应于通过例如观看一个或多个显示器上的典型重构质量而使用 的内容创建器的所选衰减函数）。或者可替换地，可以发送函数的参数功能描述。例如如果 我们知晓crayon尖端的上部区保持线性，我们仅需要编码尖端的最底部部分，并且我们可 以例如发送其中软剪裁偏离开始的点（例如P'或P)，以及函数描述，例如线性段的斜率等。 除了这些简单且有利的变型之外，本领域技术人员应当理解到可以存在定义Crayon尖端的 各种其它方式。
[0070] 如何确定用于E' '的良好示例性位置。我们现在假定我们将具有Y' '的尖端定义作 为我们的HDR-E0TF定义的明度，并且因而E''也是如此。我们假定我们具有例如用于5000 nit参考监视器的HDR编码。假定具有10比特水平左右的噪声的典型相机材料，这将其放置 在峰值白色的1/1000左右处，即我们将假定在5000 nit显示器上渲染的5 nit以下我们将 看到许多噪声，其将需要MPEG DCT编码之前的u'v'的衰减。我们已经可以计算对于例如12 比特明度(最大代码4096)，epsilon E''将为1024,其将其放置在代码轴的25%处。这将看起 来是高的，但是要记住的是HDR明度代码分配的E0TF是高度非线性的，因此25%明度代码实 际上是相当暗的。大约5 nit或实际上0.1%明度。Epsilon点E''是其中水平线改变成斜线， 并且从E0TF我们可以看到这落在大约1000明度代码(或25%)或5 nit亮度上。如果人们具有 洁净得多的主信号可以计算类似的策略，例如从更好的将来相机，或者计算机图形生成器， 并且类似的crayon尖端衰减策略可以设计用于更严重的数字(DCT或其它例如小波)编码及 其所设想到的噪声等。
[0071] 在本文本中公开的算法组件(完整或部分地)在实践中实现为硬件(例如专用1C的 部分)或作为运行在特殊数字信号处理器或通用处理器上的软件等。
[0072] 应当对技术人员而言从我们的呈现可理解的是哪些组件可以是可选的改进并且 可以与其它组件组合实现，以及方法的（可选)步骤如何对应于装置的相应构件，并且反之 亦然。词语"装置"在本申请中以其最宽泛的含义使用，即构件分组允许特定目标的实现，并 且可以因而例如是KX的小电路部分），或者专用器具(诸如具有显示器的器具），或者联网 系统的部分等。"布置"也意图以最宽泛的含义使用，因此其可以包括除其它之外的单个装 置、装置的部分、协同操作的装置(的部分)的集合等。
[0073]计算机程序产品指示应当理解为涵盖命令集合的任何物理实现，其使得通用或专 用处理器在一系列加载步骤(其可以包括中间转换步骤，诸如平移到中间语言和最终处理 器语言）之后能够将命令录入到处理器中，并且能够执行本发明的任何特性功能。特别地， 计算机程序产品可以实现为诸如例如盘或磁带之类的载体上的数据、存在于存储器中的数 据、经由网络连接一一有线或无线一一行进的数据或纸张上的程序代码。除程序代码之外， 要求用于程序的特性数据还可以体现为计算机程序产品。
[0074]要求用于方法的操作的一些步骤可能已经存在于处理器的功能中而不是描述在 计算机程序产品中，诸如数据输入和输出步骤。
[0075]应当指出的是，以上提到的实施例说明而不是限制本发明。在本领域技术人员可 以容易地实现所呈现的示例到权利要求的其它区的映射的情况下，我们为了简洁而没有深 入地提到所有这些选项。除如权利要求中组合的本发明的元素的实施例之外，元素的其它 组合是可能的。元素的任何组合可以实现在单个专用元素中。
【主权项】
1. 一种具有输入（308)的视频编码器(300)以从视频源（301)获取视频，其中像素颜色 被编码在标准化设备独立线性颜色编码(XYZ)中，视频编码器包括光电子转换单元(304)， 其布置成将像素颜色的亮度(Y)转换成具有预确定的代码分配函数(F)的明度(Y'），其特征 在于视频编码器包括色品确定单元(310)，其布置成利用数学色品定义编码像素颜色的色 品（u''，v''），其对于具有特定色调和预确定的阈值明度(E'）以下的明度的像素颜色产出 最大可编码饱和度(S_bL)，最大可编码饱和度是针对具有这样的色调和如根据用于明度的 色品（1 1'>''）平面中的颜色距利用等式3 = 8(^((11〃-11、)2+(，-，〇 2)计算的预 指定的白色点(u''w，v''w)的距离计算的预确定的阈值明度以下的明度的任何像素颜色的 最高可能饱和度，其低于针对预确定的阈值明度(E'）以上的像素颜色明度的该特定色调的 最大可编码饱和度(S_bH)，并且其针对具有特定色调和等于或高于预确定的阈值明度(E'） 的像素颜色产出恒定的最大可编码饱和度(S_bH)。2. 如权利要求1中所要求保护的视频编码器(300)，其中针对具有阈值明度(E'）以下的 明度的颜色的最大可编码饱和度(S_bL)作为像素颜色的明度(Y'）的单调函数而减小。3. 如权利要求1或2中所要求保护的视频编码器(300)，包括空间子采样单元(302)，其 布置成降低颜色信息的空间分辨率，所述单元布置成在线性(XYZ)像素颜色上执行通过因 子(ss)的子采样，并且输出(XYZ)像素颜色的经子采样的图像作为用于色品确定单元(310) 的输入。4. 如上述权利要求中任一项中所要求保护的视频编码器(300)，其中在8,10,12或14比 特的字中编码明度。5. 如上述权利要求中任一项中所要求保护的视频编码器(300)，其中色品编码在6,7， 8,9,10,11或12比特的字中以用于每一个色品坐标。6. -种视频编码方法，包括： -从视频源(301)接收输入视频，其中像素颜色编码在标准化设备独立线性颜色编码 (XYZ)中， -通过将预确定的代码分配函数(F)应用于亮度(Y)以获得明度(Y'）来执行像素亮度 (Y)的光电子转换， -其特征在于方法还包括计算具有利用数学色品定义的预确定的阈值明度(E'）以下 的明度(Y'）的像素颜色的色品（u''，v''），其产出针对用于具有预确定的阈值明度(E'）以 下的明度的像素颜色的特定色调的最大可编码饱和度(S_bL)，其低于针对用于具有预确定 的阈值明度(E'）以上的明度的像素颜色的特定色调的最大可编码饱和度(S_bH)，最大可编 码饱和度是针对具有这样的色调和如根据用于明度的色品(u' '，v' '）平面中的颜色距利用 等式S = sqrt((u〃 - u〃w)2 + (v〃- v〃w)2)计算的预指定的白色点(u''w，v''w)的距离计 算的预确定的阈值明度以下的明度的任何像素颜色的最高可能饱和度，以及针对具有特定 色调和等于或大于预确定的阈值明度(E'）的明度的颜色的像素的恒定最大可编码饱和度 (S_bH)〇7. -种视频编码信号（S_im)，其特征在于对于视频的图像，像素的颜色编码在由消色 差明度(Y'）坐标和两个色品坐标(u''，v''）定义的颜色空间中，颜色空间被定义为具有以 下性质:对于颜色空间的较低明度部分(LL)，由具有阈值明度(E'）以下的明度的较低明度 部分中的所有颜色定义，针对特定色调(h)和阈值明度(E'）以下的明度的颜色的最大可编 码饱和度(S_bL)低于针对具有该特定色调和阈值明度(E'）以上的明度的颜色的最大可编 码饱和度（S_bH)，最大可编码饱和度是针对具有这样的色调和如根据用于明度的色品 (u''，v''）平面中的颜色距利用等式S = Sqrt((U〃 - u〃w)2 + (v〃- v〃w)2)计算的预指定 的白色点(u' 'w，v' 'w)的距离计算的预确定的阈值明度以下的明度的任何像素颜色的最高 可能饱和度，并且针对特定色调和阈值明度(E'）以上的任何明度的颜色的最大可编码饱和 度(S_bH)是恒定的。8. 如权利要求7中所要求保护的视频编码信号（S_im)，其中针对具有阈值明度(E'）以 下的明度的颜色的最大可编码饱和度(S_bL)作为颜色的明度(Y'）的单调函数而减小。9. 一种视频解码器(350)，其布置成接收和解码利用定义在线性设备独立颜色编码(X， Υ, Z)或线性三色原色能量颜色定义(R, G, B)或经gamma预校正的三色原色能量颜色定义 (R' '，G' '，B' '）设备独立颜色编码中的像素颜色定义的图像，编码视频信号（S_im)经由输 入(358)接收，编码视频信号（S_im)具有针对图像的编码在有消色差明度(Y'）坐标和两个 色品坐标(u''，v''）定义的颜色空间中的像素颜色，颜色空间被定义为具有以下性质:对于 颜色空间的较低明度部分(LL)，由具有阈值明度(E'）以下的明度的较低明度部分中的所有 颜色定义，针对特定色调(h)和阈值明度(E'）以下的明度的颜色的最大可编码饱和度（S_ bL)低于针对具有该特定色调和阈值明度(E'）以上的明度的颜色的最大可编码饱和度(S_ bH)，最大可编码饱和度是针对具有这样的色调和如根据用于明度的色品(u' '，v' '）平面中 的颜色距利用等式S = Sqrt((u'' - u''w)2 + (ν'' - v''w)2)计算的预指定的白色点 (u' 'w，v' 'w)的距离计算的预确定的阈值明度以下的明度的任何像素颜色的最高可能饱和 度，并且针对特定色调和阈值明度(E '）以上的任何明度的颜色的最大可编码饱和度(S_bH) 是恒定的。10. 如权利要求9中所要求保护的视频解码器（350)，具有单元(351，355)，其布置成将 反校正应用于颜色空间的较低明度部分(LL)中的颜色的降低的饱和度。11. 如权利要求9或10中所要求保护的视频解码器(350)，具有缩放单元(356或405)，其 布置用于将像素的经解码的亮度独立色品颜色分量(R-Y/Y，G-Y/Y，B-Y/Y或R"/Y' '，G' '/ Y' '，B' '/Υ' '）缩放到颜色(R-Y，G-Y，B-Y或R' '，G' '，B' '），其具有其正确意图的亮度，通过 用于缩放亮度或明度值(Y或Y''），缩放单元布置成在线性亮度或非线性明度域中完成缩 放。12. 如权利要求11中所要求保护的视频解码器(350)，其中缩放单元(356或405)通过将 被处理的像素的亮度的最大值和阈值亮度(E)分别与被处理的像素的明度的最大值以及阈 值明度(E '）相乘来执行缩放。13. -种视频解码的方法，包括： -接收输入信号（S_im)，其中像素颜色定义在由消色差明度(Y'）坐标和两个色品坐标 (u''，v''）定义的颜色空间中，颜色空间被定义为具有以下性质:对于颜色空间的较低明度 部分(LL)，由具有阈值明度(E'）以下的明度的较低明度部分中的所有颜色定义，针对特定 色调(h)和阈值明度(E'）以下的明度的颜色的最大可编码饱和度(S_bL)低于针对具有该特 定色调和阈值明度(E'）以上的明度的颜色的最大可编码饱和度(S_bH)，最大可编码饱和度 是针对具有这样的色调和如根据用于明度的色品（u' '，v' '）平面中的颜色距利用等式S = sqrt((u'' - u''w)2 + (v'' - v''w)2)计算的预指定的白色点(u''w，v''w)的距离计算的 预确定的阈值明度以下的明度的任何像素颜色的最高可能饱和度，并且针对特定色调和阈 值明度(E '）以上的任何明度的颜色的最大可编码饱和度(S_bH)是恒定的，以及 -将这些像素颜色定义解码成线性颜色编码或经gamma预校正的设备独立颜色编码 (R，，，G，，，B，，）。14. 一种存储器产品，诸如蓝光盘或固态存储器卡，其存储如权利要求7或8中所要求保 护的视频编码信号(S_im)。15. -种在从视频源(399)到解码器(350)的网络(320)之上操作视频通信的方法，其中 方法包括在网络之上传输如权利要求7或8中所要求保护的视频编码信号(S_im)。16. -种计算机程序产品，包括代码化权利要求6或13的我们的方法的所有步骤的代 码，从而使得处理器能够通过执行那些步骤来实现权利要求6或13的方法。
【文档编号】H04N1/64GK106031143SQ201580009610
【公开日】2016年10月12日
【申请日】2015年2月12日
【发明人】J.H.C.J.斯特斯森, R.J.范登维勒尤坦, J.G.R.范莫里克, R.尼兰德
【申请人】皇家飞利浦有限公司