多颜色通道多元回归预测算子的制作方法

本申请为2012年4月13日提交的国际申请号为pct/us2012/033605、发明名称为“多颜色通道多元回归预测算子”的pct申请的分案申请，该pct申请进入中国国家阶段日期为2013年10月11日，国家申请号为201280018070.9。

相关申请的交叉引用

本申请要求于2011年4月14日提交的美国临时专利申请no.61/475,359的权益，其全部内容通过引用结合于此。

本申请还涉及于2011年4月14日提交的共同未决的美国临时专利申请no.61/475,372，其全部内容通过引用结合于此。

本发明总体上涉及图像。更具体地，本发明的实施例涉及高动态范围图像与标准动态范围图像之间的多颜色通道、多元回归预测算子。

背景技术：

如本文中所使用的术语“动态范围”(dr，dynamicrange)涉及人类视觉系统(hvs，humanpsychovisualsystem)对图像中例如从最暗的暗部到最亮的亮部的强度(例如，亮度)范围进行感知的能力。从这个意义上讲，dr涉及“与场景相关”的强度。dr还可涉及显示设备适当地或近似地呈现特定宽度的强度范围的能力。从这个意义上讲，dr涉及“与显示器相关”的强度。除非在本文的描述中的任何一点处明确地指出特定的意义具有特定含义，否则应推断该术语可以(例如，互换地)用在任意一种意义中。

如本文中所使用的术语高动态范围(hdr，highdynamicrange)涉及跨越人类视觉系统(hvs)的某14-15个数量级的dr宽度。例如，基本正常的适应良好的人(例如，在一个或多个统计学意义上、计量生物学意义上或眼科学意义上)具有跨越约15个数量级的强度范围。适应的人可感知少到只有极少数光子的微弱光源。然而，同样的人可感知沙漠、海或雪中正午太阳的近乎刺痛的耀眼强度(或甚至看着太阳，然而只是短暂地看着，以防止伤害)。虽然这个跨度对“适应的”人而言是可达到的，但例如那些人的hvs具有进行重置和调节的时间段。

相比之下，较之hdr，人类可同步感知强度范围中的扩展宽度的dr可在一定程度上缩短。如在本文中所使用的术语“视觉动态范围”或“可变动态范围”(vdr，variabledynamicrange)可单独地或互换地涉及可由hvs同时感知的dr。如本文中所使用的vdr可涉及跨越5-6个数量级的dr。因此，尽管与真实场景相关的hdr可能在一定程度上变窄，但vdr仍表示较宽的dr宽度。如本文中所使用的术语“同步动态范围”可涉及vdr。

直至最近，显示器具有了比hdr或vdr明显更窄的dr。使用常规阴极射线管(crt，cathoderaytube)，带有恒定的荧光白背光照明的液晶显示器(lcd，liquidcrystaldisplay)或等离子屏幕技术的电视(tv)和计算机监视装置在它们的dr呈现能力上会限制于约三个数量级。因此这种传统的显示器特征是低动态范围(ldr，lowdynamicrange)，对于vdr和hdr，还称为标准动态范围(sdr，standarddynamicrange)。

然而，它们的基础技术中的进步允许更新式的显示器设计，以便相对于呈现在不够新式的显示器上的图像和视频内容，以在多种质量特征上具有显著改进的方式来呈现该内容。例如，更新式的显示设备可能能够呈现高清晰度(hd，highdefinition)内容和/或可根据多种显示能力(诸如，图像缩放器器(imagescaler))进行缩放的内容。此外，某些更新式的显示器能够以比传统显示器的sdr更高的dr来呈现内容。

例如，某些新式lcd显示器具有包括发光二极管(led，lightemittingdiode)阵列的背光单元(blu，backlightunit)。blu阵列的led可与有源lcd元件的偏振态的调制分开地进行调制。这种双调制方法是可(诸如)通过blu阵列与lcd屏幕元件之间的可控中间层来扩展的(例如，扩展成n调制层，其中n包括大于2的整数)。其基于led阵列的blu和双(或n)调制有效地增加了具有这种特征的lcd监视器的与显示器相关的dr。

关于传统sdr显示器，通常所称的这种“hdr显示器”(尽管实际上，它们的能力可能更近似vdr的范围)和它们可能的dr扩展在显示图像、视频内容和其他视频信息的能力上表现出显著进步。这种hdr显示器可以呈现的色域还可显著地超出多数传统显示器的色域，甚至到能呈现宽色域(wcg，widecolorgamut)的程度。与场景相关的hdr或vdr和wcg图像内容，诸如可通过“下一代”电影和tv摄像机产生，现在可通过“hdr”显示器(下文中称为“hdr显示器”)来更真实有效地显示。

就可扩展视频编码和hdtv技术而言，扩展图像dr通常涉及分叉方法。例如，通过新式hdr功能摄像机获取的与场景相关的hdr内容可用于产生内容的sdr版本，该内容的sdr版本可显示在传统sdr显示器上。在一种方法中，根据所获取的vdr版本产生sdr版本，可能涉及将全局色调映射算子(tmo，globaltonemappingoperator)应用于在hdr内容中的与强度(例如，亮度)相关的像素值。在第二种方法(如为了所有的目的通过引用结合在本文中的、于2011年8月23日提交的国际专利申请no.pct/us2011/048861中所描述的)中，产生sdr图像可涉及将可逆算子(或预测算子)应用在vdr数据上。为了保留带宽或出于其他考虑，传输实际获取的vdr内容可能不是最好的方法。

因此，关于初始tmo的逆的逆色调映射算子(itmo，inversetonemappingoperator)或者关于初始预测算子的逆算子可应用于所产生的sdr内容版本，这允许预测vdr内容的版本。所预测的vdr内容版本可与初始获取的hdr内容相比较。例如，从初始vdr版本减去预测的vdr版本可产生残余图像。编码器可将所产生的sdr内容作为基层(bl，baselayer)发送，并且将所产生的sdr内容版本、任意残余图像以及itmo或其他预测算子打包作为增强层(el，enhancementlayer)或作为元数据。

相比于将hdr内容和sdr内容这两者直接发送进比特流所占用的带宽，将el和元数据(具有其sdr内容、残余图像和预测算子)发送进比特流中通常占用更少的带宽。接收由编码器发送的比特流的可兼容解码器可对sdr进行解码并且呈现在传统显示器上。然而，可兼容解码器还可使用残余图像，itmo预测算子或元数据，以根据它们来计算hdr内容的预定版本，以用在更多功能的显示器上。本发明的目的是提供用于产生预测算子的新方法，该预测算子允许利用对应的sdr数据对vdr数据进行有效的编码、传输以及解码。

在这一部分中描述的方法是能够执行的方法，但并不一定是以前所设想或执行的方法。因此，除非另有指示，否则不应认为在这一部分所描述的方法中的任何一种因包括在这一部分中而被限定为现有技术。类似地，关于一种或多种方法所确定的问题不应认为已基于这部分在任何现有技术中确定，除非另有指示。

附图说明

通过示例(但不是通过限制的方式)在附图部分的图中例示了本发明的实施例，附图中相同的附图标记指示类似的元件，其中：

图1描绘了根据本发明的实施例的vdr-sdr系统的示例数据流；

图2描绘了根据本发明的实施例的示例vdr编码系统；

图3描绘了根据本发明的实施例的多变量多元回归预测算子的输入和输出接口；

图4描绘了根据本发明的实施例的示例多变量多元回归预测处理；

图5描绘了根据本发明的实施例的关于确定多变量多元回归预测算子的模型的示例处理；

图6描绘了带有根据本发明的实施例进行操作的预测算子的示例图像解码器。

具体实施方式

在本文中描述基于多变量多元回归建模的颜色间(inter-color)图像预测。给定一对对应的vdr和sdr图像，即，表示相同场景但是在不同的动态范围等级的图像，这部分描述了允许编码器根据多变量多元回归(mmr，multivariatemulti-regression)预测算子和sdr图像对vdr图像进行近似的方法。在下面的描述中，为了解释的目的，陈述了许多特定细节以提供对本发明的充分理解。然而，显然的是，本发明无需这些特定细节仍可实现。在其他情形中，为了避免不必要的掩盖、模糊或者混淆了本发明，没有详尽地描述已知的结构和设备。

概述

本文中所描述的示范实施例涉及具有高动态范围的编码图像。实施例创建了mmr预测算子，该mmr预测算子允许vdr图像关于其对应的sdr表示来进行表达。

示例vdr-sdr系统

图1描绘了在根据本发明的实施例的vdr-sdr系统100中的示例数据流。利用hdr摄像机110获取hdr图像或视频序列。在获取之后，所获取的图像或视频通过灌制处理(masteringprocess)来进行处理以创建目标vdr图像125。灌制处理可包含多个处理步骤，诸如：编辑，一次和二次颜色校正、颜色变换以及噪声过滤。此处理的vdr输出125表示关于所获取的图像将如何在目标vdr显示器上进行显示的负责人的意图。

灌制处理还可输出对应的sdr图像145，其表示关于所获取的图像将如何在合法的sdr显示器上进行显示的负责人的意图。sdr输出145可直接从灌制电路120提供或者sdr输出145可通过分开的vdr至sdr转换器140来产生。

在本示例实施例中，vdr125和sdr145信号被输入进编码器130。编码器130的目的是创建经编码的比特流，其中该经编码的比特流减少了传输vdr和sdr信号所需的带宽并且还允许对应的解码器150进行解码并且呈现sdr信号或者vdr信号。在示例实现方式中，编码器130可以是分层编码器，诸如通过mpeg-2和h.264编码标准定义的那些编码器中的一个，这将其输出表示为基层、可选增强层以及元数据。如本文中所使用的术语“元数据”涉及作为经编码的比特流的一部分被传输并且帮助解码器呈现经解码的图像的任何辅助信息。这种元数据可包括(但是不限于)如下这些数据：色空间或色域信息、动态范围信息、色调映射信息或者mmr预测算子，诸如本文所描述的那些。

在接收器上，解码器150使用所接收的经编码的比特流和元数据，以根据目标显示器的能力来呈现sdr图像或者vdr图像。例如，sdr显示器可仅使用基层和元数据来呈现sdr图像。相比之下，vdr显示器可使用来自所有输入层的信息和元数据来呈现vdr信号。

图2更详细地示出了包括本发明的方法的编码器130的示例实现方式。在图2中，sdr’表示增强的sdr信号。sdr视频现在是8比特、4:2:0、iturec.709数据。sdr’可具有与sdr相同的色空间(原色和白点)，但是，对在全空间分辨率下的所有颜色成分(例如，4:4:4rgb)可使用高精度，比方说每个像素12比特。根据图2，能够利用一组正变换从sdr’信号容易地导出sdr，所述一组正变换可包括从比方说每个像素12比特到每个像素8比特的量化，比方说从rgb到yuv的颜色变换以及比方说从4:4:4到4:2:0的颜色子采样。变换器210的sdr输出施加于压缩系统220。根据应用，压缩系统220可能是有损耗的(诸如h.264或mpeg-2)或者无损耗的。压缩系统220的输出可作为基层225传输。为了减小经编码的信号与经解码的信号之间的偏移，编码器130在压缩处理220之后紧接对应的解压缩处理230和对应于正变换210的逆变换240，这并非罕见。因此，预测算子250可具有下列输入：vdr输入205，以及sdr’信号245(当该信号将由对应的解码器接收时其对应于sdr’信号)或输入sdr’207。使用输入的vdr和sdr’数据的预测算子250将创建信号257，信号257表示输入vdr205的近似或估计。加法器260从初始的vdr205减去经预测的vdr257以形成输出残余信号265。随后(未示出)，残余265也可由另一有损耗或无损耗的编码器进行编码并且可作为增强层传输至解码器。

预测算子250还可提供在预测处理中使用的预测参数，作为元数据255。由于预测参数可在编码处理期间例如逐帧地或者逐场景地变化，所以这些元数据可作为数据中还包括基层及增强层的一部分被传输至解码器。

由于vdr205和sdr’207都表示相同的场景，但针对的是具有不同特征(诸如，动态范围和色域)的不同显示器，所以期望这两个信号具有非常紧密的关联性。在本发明的示例实施方式中，开发了新的多变量、多元回归(mmr)预测算子250，其允许使用与vdr信号对应的sdr’信号和多变量mmr算子来预测输入vdr信号。

示例预测模型

图3示出了根据本发明的示例实现方式的mmr预测算子300的输入和输出接口。根据图3，预测算子330接收输入向量v310和s320，它们分别表示vdr图像数据和sdr图像数据，并且预测算子330输出向量340，其表示输入v的预测值。

示例标记法和命名法

sdr图像320中的第i个像素的三个颜色成分标记为：

si＝[si1si2si3]。(1)

vdr输入310中的第i个像素的三个颜色成分标记为：

vi＝[vi1vi2vi3]。(2)

经预测的vdr340中的第i个像素的经预测的三个颜色成分标记为：

一个颜色成分中的像素总数标记为p。

在等式(1-3)中，颜色像素可以是rgb、yuv、ycbcr、xyz或者任意其他颜色表示。尽管等式(1-3)针对每个图像或视频帧中的每个像素假定三个颜色表示，但还如后面所示，本文所描述的方法可容易地扩展至每个像素具有多于三个颜色成分的图像和视频表示，或者扩展至这样的图像表示，其中输入中的一个可具有颜色表示数量与其他输入不同的像素。

一阶模型(mmr-1)

利用多变量多元回归(mmr)模型，一阶预测模型能够表示为：

其中，是3×3矩阵并且n是1×3向量，定义为：

和n＝[n11n12n13]。(5)

应当注意，这是多颜色通道预测模型。在等式(4)的中，每个颜色成分表示为输入中的所有颜色成分的线性组合。换言之，与其他的单个通道颜色预测算子(其中，针对每个输出像素，每个颜色通道对其自身进行处理并且彼此独立地进行处理)不同，本模型考虑了像素的所有颜色成分并且因此充分利用颜色间关联性和冗余度。

通过使用基于单个矩阵的表示能够将等式(4)简化为：

其中，

和s′i＝[1si1si2si3](7)

通过将帧(或者输入的其他合适片段或部分)的所有p个像素集合在一起，可以具有下面的矩阵表示：

其中，

和

表示输入和经预测的输出数据，s’是p×4数据矩阵，是p×3矩阵，以及m⁽¹⁾是4×3矩阵。如本文中所使用的，m⁽¹⁾可互换地称为多变量算子或预测矩阵。

基于等式(8)的这个线性系统，能够将此mmr系统用公式表示为两个不同的问题：(a)最小二乘问题，或者(b)总体最小二乘问题；两个问题都能使用已知的数值方法求解。例如，使用最小二乘方法，用于求解m的问题可用公式表示为将残余或预测均方误差最小化，或者

其中v是使用对应的vdr输入数据形成的p×3矩阵。

给定了等式(8)和(10)，m⁽¹⁾的最佳解给出为

m⁽¹⁾＝(s′^ts′)^-1s′^tv，(11)

其中，s’^t表示s’的转置矩阵，s’^ts’是4×4矩阵。

如果s’是满列秩，例如，

rank(s′)＝4≤p，

则，还可利用多种替代的数值技术(包括svd、qr或者lu分解)来解出m⁽¹⁾。

二阶模型(mmr-2)

等式(4)表示一阶mmr预测模型。还可以考虑采用如接下来所描述的更高阶预测。

二阶预测mmr模型可表示为：

其中是3×3矩阵，

以及

等式(12)能够通过使用单个预测矩阵来简化，

其中，

并且

通过将所有p个像素集合在一起，可定义下面的矩阵表示：

其中，

能够利用在前面的部分中描述的相同优化和求解法来求解等式(14)。最小二乘问题的m⁽²⁾的最佳解是

其中，s^(2)ts⁽²⁾现在是7×7矩阵。

还能够以类似的方式构建三阶或更高阶的mmr模型。

具有交叉相乘的一阶模型(mmr-1c)

在替代mmr模型中，能够增强等式(4)的一阶预测模型以包括每个像素的颜色成分之间的交叉相乘(cross-multiplication)，如下：

其中，是3×3矩阵并且n是1×3向量，两者都如等式(5)中所定义的，并且

并且sci＝[si1·si2si1·si3si2·si3si1·si2·si3]。(21)

根据如之前一样的方法，等式(20)的mmr-1c模型能够通过利用单个预测矩阵mc简化，如下：

其中，

并且

通过将所有p个像素集合在一起，可以导出简化的矩阵表示，如下：

其中，

和

sc是p×(1+7)矩阵并且能够利用前面描述的相同最小二乘解来求解。

具有交叉相乘的二阶模型(mmr-2c)

一阶mmr-1c能够扩展至还包括二阶数据。例如，

其中，

并且

并且等式(27)的其余分量与之前在等式(5-26)中定义的那些相同。

与前面一样，等式(27)通过使用简单预测矩阵mc⁽²⁾来简化，

其中，

并且

通过将所有的p个像素集合在一起，可以具有简化的矩阵表示

其中，

并且sc⁽²⁾是px(1+2*7)矩阵并且可以应用如之前所描述的相同最小二乘解。

能够以类似的方式构建具有交叉相乘参数的三阶或更高阶模型。替代地，如在“chaper5.4.3of“digitalcolorimaginghandbook”,crcpress,2002,editedbygauravsharma”中所描述的，还能够利用下列的公式描述mmr交叉相乘模型的k阶表示。

并且

其中，k表示mmr预测算子的最高阶。

基于空间扩展的mmr(mmr-c-s)

到目前为止所描述的所有mmr模型中，经预测的像素的值仅取决于对应的、通常配置的输入值si。在基于mmr的预测的情况下，还可以通过考虑来自邻近像素的数据而受益。此方法对应到将空间域中的输入的任意线性类型处理(诸如fir型滤波)集成进mmr模型。

如果在一个图像中考虑所有八个可能的邻近像素，则此方法可将每个颜色成分的多达八个多一阶变量添加进该预测矩阵m中。然而，在实际中，通常仅添加与两个水平邻近像素和两个垂直邻近像素对应的预测变量就足够了，忽略对角邻近像素。这将每个颜色成分的多达四个变量添加进预测矩阵中，即，所述四个变量与上边、左边、下边以及右边像素对应。类似地，还能够添加与邻近的像素值的更高阶数对应的参数。

为了简化这种mmr空间模型的复杂性和计算要求，可以考虑仅针对单个颜色成分，诸如亮度成分(如在亮度-色度表示中)或绿色成分(如在rgb表示中)，将空间扩展添加至传统模型。例如，假定仅针对绿色的颜色成分添加基于空间的像素预测，则根据等式(34-36)，预测绿色输出像素值的一般表示将是

具有空间扩展的一阶模型(mmr-1-s)

如另一示例实现方式，可以再考虑等式(4)的一阶mmr模型(mmr-1)，但是，现在被增强了，以包括在一个或更多个颜色成分中的空间扩展。例如，当应用于第一颜色成分中的每个像素的四个邻近像素时，

其中，是3×3矩阵并且n是1×3向量，两者与等式(5)中定义的一样，

并且

其中，等式(39)中的m表示具有m列和n行的输入帧中的列数，或者m×n＝p总像素。等式(39)能够容易地扩展成将这些方法应用于其他颜色成分和应用于替代的邻近像素构造。

根据与之前相同的方法，等式(38)能够容易地用公式表示为线性等式的系统

其可以如之前描述的一样进行求解。

具有多于三个原色的vdr信号的应用

所有所提出的mmr预测模型能够容易地扩展至具有多于三个原色的信号空间。作为示例，可以考虑这样的情况，其中sdr信号具有三个原色，比方说rgb，但是，vdr信号以具有六个原色的p6色空间来定义。在这种情况下，等式(1-3)能够改写为

si＝[si1si2si3]，(41)

vi＝[vi1vi2vi3vi4vi5vi6]，(42)

以及

如之前一样，在一个颜色成分中的像素的数量表示为p。现在考虑等式(4)的一阶mmr预测模型(mmr-1)，

现在是3×6矩阵并且n是1×6向量，通过下式给出

以及n＝[n11n12n13n14n15n16]。(46)

等式(41)能够使用单个预测矩阵m⁽¹⁾表示为：

其中，

以及s′i＝[1si1si2si3]。(48)

通过将所有p个像素集合在一起，这个预测问题能够描述为

其中，

是p×6矩阵，是p×4矩阵，并且m⁽¹⁾是4×6矩阵。

更高阶的mmr预测模型还能够以类似的方式扩展并且经由之前描述的方法能够获得预测矩阵的解。

多通道、多元回归预测的示例处理

图4示出了根据本发明的示例实现方式的多通道多元回归预测的示例处理。

该处理开始于步骤410，其中，预测算子(诸如预测算子250)接收输入的vdr和sdr信号。给定两个输入的情形下，在步骤420中预测算子决定选择哪个mmr模型。所前面所描述的，预测算子能够在多种mmr模型当中进行选择，这些模型包括(但不限于)：一阶模型(mmr-1)、二阶模型(mmr-2)、三阶或更高阶模型、具有交叉相乘的一阶模型(mmr-1c)、具有交叉相乘的二阶模型(mmr-2c)、具有交叉相乘的三阶模型(mmr-3c)、具有交叉相乘的三阶或更高阶模型、或者添加有空间扩展的上述模型中的任何一种。

能够使用考虑到多个准则的多种方法来进行mmr模型的选择，所述准则包括：关于sdr和vdr输入的现有知识、可获得的计算和存储器资源以及目标编码效率。图5示出了基于残余要比预定阈值低的要求的步骤420的示例实现方式。

如之前所描述的，如下形式的一组线性等式能够表示任意mmr模型

其中，m是预测矩阵。

在步骤430，能够使用多种数值方法来求解m。例如，在使v与其估计之间的残余的均方值最小的约束下，

m＝(s^ts)^-1s^tv。(51)

最后，在步骤440，使用等式(50)，预测算子输出和m。

图5示出了在预测期间用于选择mmr模型的示例处理420。在步骤510中预测算子250可以开始于初始mmr模型，诸如，已在之前的帧或场景中使用的mmr模型，例如，二阶模型(mmr-2)，或最简单的可能模型，诸如mmr-1。针对m进行求解之后，在步骤520中，预测算子计算输入v与其预测的值之间的预测误差。在步骤530中，如果预测误差低于给定的阈值，则预测算子选择现有的模型并且停止选择处理(540)，否则，在步骤550，检查是否使用更复杂的模型。例如，如果当前模型是mmr-2，则预测算子可决定使用mmr-2-c或mmr-2-c-s。如前面所描述的，此决定可取决于多种准则，包括预测误差的值、处理功率要求以及目标编码效率。如果使用更复杂的模型切实可行，则在步骤560中选择新模型并且处理返回步骤520。否则，预测算子将使用现有的模型(540)。

可根据需要以多种间隔来重复预测处理400，以在利用可用的计算资源的同时保持编码效率。例如，当对视频信号进行编码时，针对每一帧、一组帧或者每当预测残余超过特定阈值时，可基于每个预定义的视频片段大小来重复处理400。

预测处理400还能够使用所有可用的输入像素或者这些像素的子采样。在一个示例实现方式中，可以使用来自输入数据的每第k个像素行和每第k个像素列的像素，其中k是等于或大于2的整数。在另一示例实现方式中，可以决定跳过处于特定裁剪阈值(例如，非常接近于0)以下的输入像素或者处于特定饱和阈值(例如，对于n比特数据，非常接近于2ⁿ-1的像素值)以上的像素。在另一实现方式中，可使用这种子采样和阈值化技术的结合，以减小像素采样大小并且适应特定实现方式的计算约束。

图像解码

可在图像编码器或在图像解码器上实现本发明的实施例。图6示出了根据本发明的实施例的解码器150的示例实现方式。解码系统600接收经编码的比特流，该经编码的比特流可兼有基层690、可选的增强层(或残余)665以及元数据645，它们在解压缩630和多种逆变换640之后被提取。例如，在vdr-sdr系统中，基层690可表示经编码的信号的sdr表示，并且元数据645可包括与在编码器预测算子250中使用的mmr预测模型和对应的预测参数有关的信息。在一种示例实现方式中，当编码器使用根据本发明的方法的mmr预测算子时，元数据可包括所使用的模型的识别(例如，mmr-1、mmr-2、mmr-2c等)以及与具体模型相关联的所有矩阵系数。给定基层690和从元数据645提取的颜色mmr相关的参数，则预测算子650能够利用本文所描述的对应等式中的任意等式来计算预测的680。例如，如果所识别的模型是mmr-2c，则能够利用等式(32)计算680。如果不存在残余，或者残余可忽略，则预测的值680能够作为最后的vdr图像直接输出。否则，在加法器660中，预测算子(680)的输出添加至残余665，以输出vdr信号670。

示例计算机系统实现方式

可通过计算机系统、以电子电路和组件配置的系统、集成电路(ic，integratedcircuit)器件(诸如微控制器、现场可编程门阵列(fpga，fieldprogrammablegatearray)或另一可配置或可编程逻辑器件(pld，programmablelogicdevice))、离散时间或数字信号处理器(dsp，digitalsignalprocessor)、专用ic(asic，applicationspecificic)和/或包括一个或多个这样的系统、器件或组件的装置来实现本发明的实施例。计算机和/或ic可执行、控制或运行与基于mmr的预测(诸如，如本文中所描述的那些)有关的指令。计算机和/或ic可计算与如本文所描述的mmr预测有关的多种参数或值中的任一个。可以以硬件、软件、固件以及它们的多种组合来实现图像和视频动态范围扩展实施例。

本发明的特定实现方式包括计算机处理器，其运行软件指令，该软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、代码转换器等中的一个或多个处理器可通过运行处理器可访问的程序存储器中的软件指令来实现如上所述的基于mmr的预测方法。本发明还以程序产品的形式提供。程序产品可包括任意介质，所述任意介质承载包括指令的一套计算机可读信号，所述指令在通过数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以是多种多样的形式中的任意一种形式。程序产品可包括例如物理介质，诸如包括软盘、硬盘驱动器的磁性数据存储介质，包括cdrom、dvd的光数据存储介质，包括rom、闪存ram的电子数据存储介质，等。程序产品上的计算机可读信号可选地可以进行压缩或加密。

上面所指的组件(例如，软件模块、处理器、配件、器件、电路等)，除非另有指示，否则对该组件的引用(包括对“装置”的引用)应被解释为包括作为那个组件的等同物的、执行所描述的组件的功能(例如，功能上等同)的任意组件，包括结构上不等同于执行本发明的所例举示例实施例中的功能的被公开结构的组件。

等同、扩展、替代以及多样化

因此描述了涉及在对vdr和sdr图像进行编码的过程中应用mmr预测的示例实施例。在前述的说明中，已参考会因实现方式不同而变化的很多具体细节来描述了本发明的实施例。因此，本发明的技术方案以及申请人认为发明所涉及的技术方案的唯一指示是一套权利要求，所述一套权利要求源于本申请、按照公布这样的权利要求所遵循的特定形式、包括后续的修正。本文针对在这样的权利要求中所包含的术语所给出的任何明确定义应涵盖如权利要求中所使用的这种术语的含义。因此，权利要求中没有明确陈述的限制、元件、属性、特征、优点或标志不应以任何方式限制这种权利要求的范围。因此说明书和附图被看作是说明性的而没有限制的意思。

第一组附记：

1.一种方法，包括：

接收第一图像和第二图像，其中，所述第二图像具有与所述第一图像不同的动态范围；

从mmr模型的族中选择多通道、多元回归(mmr)预测模型；

求解所选择的mmr模型的预测参数；

利用所述第二图像和所述mmr模型的预测参数来计算表示所述第一图像的预测值的输出图像；

输出所述mmr模型的预测参数和所述输出图像。

2.根据附记1所述的方法，其中，所述第一图像包括vdr图像并且所述第二图像包括sdr图像。

3.根据附记1所述的方法，其中，所述mmr模型是一阶mmr模型、二阶mmr模型、三阶mmr模型、具有交叉相乘的一阶mmr模型、具有交叉相乘的二阶mmr模型或者具有交叉相乘的三阶mmr模型中的至少一个。

4.根据附记3所述的方法，其中，所述mmr模型中的任意一个进一步包括涉及相邻像素的预测参数。

5.根据附记4所述的方法，其中，所考虑的相邻像素包括左边相邻像素、右边相邻像素、上边相邻像素以及下边相邻像素。

6.根据附记2所述的方法，其中，在所述vdr图像中的像素具有比所述sdr图像中的像素更多的颜色成分。

7.根据附记1所述的方法，其中，求解所选择的mmr模型的预测参数进一步包括应用使所述第一图像与所述输出图像之间的均方误差最小化的数值方法。

8.根据附记1所述的方法，其中，从mmr模型的族中选择mmr预测模型进一步包括迭代选择处理，包括：

(a)选择并应用初始mmr模型；

(b)计算所述第一图像与所述输出图像之间的残余误差；

(c)如果所述残余误差小于阈值并且无其他mmr模型可用则选择现有mmr模型；否则，选择与先前的模型不同的新mmr模型；并且返回步骤(b)。

9.一种图像解码方法，包括：

接收具有第一动态范围的第一图像；

接收元数据，其中，所述元数据定义mmr预测模型和所述mmr预测模型的对应的预测参数；

将所述第一图像和所述预测参数应用到所述mmr预测模型，以计算表示第二图像的预测值的输出图像，其中，所述第二图像具有与所述第一图像的动态范围不同的动态范围。

10.根据附记9所述的方法，其中，所述mmr模型是一阶mmr模型、二阶mmr模型、三阶mmr模型、具有交叉相乘的一阶mmr模型、具有交叉相乘的二阶mmr模型或者具有交叉相乘的三阶mmr模型中的至少一个。

11.根据附记10所述的方法，其中，所述mmr模型中的任意一个进一步包括涉及相邻像素的预测参数。

12.根据附记9所述的方法，其中，所述第一图像包括sdr图像，并且所述第二图像包括vdr图像。

13.一种装置，包括处理器并且配置成执行附记1-12中所述的方法中的任意一种方法。

14.一种计算机可读存储介质，存储有用于执行根据附记1-12中的任意一项所述的方法的计算机可执行指令。

第二组附记：

1.一种方法，包括：

提供多种多通道、多元回归(mmr)预测模型，每个mmr预测模型适于根据下列项来近似具有第一动态范围的图像，

具有第二动态范围的图像，以及

通过应用颜色间图像预测而获得的所述各个mmr预测模型的预测参数；

接收第一图像和第二图像，其中，所述第二图像具有与所述第一图像不同的动态范围；

从所述多种mmr模型中选择多通道、多元回归(mmr)预测模型；

确定所选择的mmr模型的预测参数的值；

基于所述第二图像和应用于所选择的mmr预测模型的预测参数的所确定值来计算对所述第一图像进行近似的输出图像；

输出所述预测参数的所确定的值和所计算的输出图像，其中，所述多种mmr模型包括根据如下公式的结合每个像素的颜色成分之间的交叉相乘的一阶多通道、多元回归预测模型，

其中，表示所述第一图像的第i像素的所预测的三个颜色成分，

si＝[si1si2si3]表示所述第二图像的第i像素的三个颜色成分，

根据下式，是3×3矩阵并且n是1×3向量

和n＝[n11n12n13]，

sci＝[si1·si2si1·si3si2·si3si1·si2·si3]，并且

其中，通过使所述第一图像与所述输出图像之间的均方误差最小化来在数值上获得所述一阶多通道、多元回归预测模型的预测参数。

2.根据附记1所述的方法，其中，所述第一图像包括vdr图像并且所述第二图像包括sdr图像。

3.根据附记1所述的方法，其中，所选择的mmr预测模型是一阶mmr模型、二阶mmr模型、三阶mmr模型、具有交叉相乘的一阶mmr模型、具有交叉相乘的二阶mmr模型或者具有交叉相乘的三阶mmr模型中的至少一个。

4.根据附记3所述的方法，其中，所述mmr模型中的任意一个进一步包括涉及相邻像素的预测参数。

5.根据附记4所述的方法，其中，所述相邻像素包括左边相邻像素、右边相邻像素、上边相邻像素以及下边相邻像素。

6.根据附记2所述的方法，其中，在所述vdr图像中的像素具有比所述sdr图像中的像素更多的颜色成分。

7.根据附记1所述的方法，其中，从所述多种mmr预测模型中选择mmr预测模型进一步包括迭代选择处理，包括：

(a)选择并应用初始mmr预测模型；

(b)计算所述第一图像与所述输出图像之间的残余误差；

(c)如果所述残余误差小于误差阈值并且无其他mmr预测模型能够选择，则选择所述初始mmr模型；否则，从所述多种mmr预测模型中选择新mmr预测模型，所述新mmr预测模型不同于之前选择的mmr预测模型；并且返回步骤(b)。

8.一种图像解码方法，包括：

接收具有第一动态范围的第一图像；

接收元数据，其中，所述元数据包括

多元回归(mmr)预测模型，所述多元回归预测模型适于根据下列项来近似具有第二动态范围的第二图像，

所述第一图像，以及

通过应用颜色间图像预测而获得的所述mmr预测模型的预测参数，所述元数据进一步包括所述预测参数的先前确定值，以及

将所述第一图像和所述预测参数的先前确定值应用于所述mmr预测模型，以计算用于近似所述第二图像的输出图像，其中，所述第二动态范围不同于所述第一动态范围，其中，所述mmr预测模型是根据如下公式的结合每个像素的颜色成分之间的交叉相乘的一阶多通道、多元回归预测模型，

其中，表示所述第一图像的第i像素的所预测的三个颜色成分，

si＝[si1si2si3]表示所述第二图像的第i像素的三个颜色成分，

根据下式，是3×3矩阵并且n是1×3向量

和n＝[n11n12n13]，

sci＝[si1·si2si1·si3si2·si3si1·si2·si3]，并且

9.根据附记8所述的方法，其中，将所述一阶mmr预测模型扩展成具有像素交叉相乘的二阶mmr预测模型或三阶mmr预测模型。

10.根据附记8或9所述的方法，其中，所述mmr预测模型进一步包括涉及相邻像素的预测参数。

11.根据附记8所述的方法，其中，所述第一图像包括sdr图像和所述第二图像包括vdr图像。

12.一种装置，包括处理器并且配置成执行附记1-11中所述的方法中的任意一种方法。

13.一种计算机可读存储介质，存储有用于执行根据附记1-11中的任意一项所述的方法的计算机可执行指令。

14.一种方法，包括：

提供多种多通道、多元回归(mmr)预测模型，每个mmr预测模型适于根据下列项来近似具有第一动态范围的图像，

具有第二动态范围的图像，以及

通过应用颜色间图像预测而获得的所述各个mmr预测模型的预测参数；

接收第一图像和第二图像，其中，所述第二图像具有与所述第一图像不同的动态范围；

从所述多种mmr模型中选择多通道、多元回归(mmr)预测模型；

确定所选择的mmr模型的预测参数的值；

基于所述第二图像和应用于所选择的mmr预测模型的预测参数的所确定值来计算对所述第一图像进行近似的输出图像；

输出所述预测参数的所确定值和所计算的输出图像，其中，所述多种mmr模型包括根据如下公式的二阶多通道、多元回归预测，

其中，表示所述第一图像的第i像素的所预测的三个颜色成分，

si＝[si1si2si3]表示所述第二图像的第i像素的三个颜色成分，

根据下式，和是3×3矩阵并且n是1×3向量，

n＝[n11n12n13]，

以及

其中，通过使所述第一图像与所述输出图像之间的均方误差最小化来在数值上获得所述二阶多通道、多元回归预测模型的预测参数。

15.根据附记14所述的方法，其中，所述mmr模型中的任意一个包括涉及相邻像素的预测参数。

16.根据附记15所述的方法，其中，所述相邻像素包括左边相邻像素、右边相邻像素、上边相邻像素以及下边相邻像素。

17.根据附记14所述的方法，其中，从所述多种mmr预测模型中选择mmr预测模型进一步包括迭代选择处理，包括：

(a)选择并应用初始mmr预测模型；

(b)计算所述第一图像与所述输出图像之间的残余误差；

(c)如果所述残余误差小于误差阈值并且无其他mmr模型能够选择则选择初始mmr模型；否则，从所述多种mmr预测模型中选择新mmr预测模型，所述新mmr预测模型不同于先前选择的mmr预测模型；并且返回步骤(b)。

18.一种图像解码方法，包括：

接收具有第一动态范围的第一图像；

接收元数据，其中，所述元数据包括

多元回归(mmr)预测模型，所述多元回归预测模型适于根据下列项来近似具有第二动态范围的第二图像，

所述第一图像，以及

通过应用颜色间图像预测而获得的所述mmr预测模型的预测参数，所述元数据进一步包括所述预测参数的先前确定值；以及

将所述第一图像和所述预测参数的先前确定值应用于所述mmr预测模型，以计算用于近似所述第二图像的输出图像，其中，所述第二动态范围不同于所述第一动态范围，其中，所述mmr预测模型是根据如下公式的二阶多通道、多元回归预测，

其中，表示所述第一图像的第i像素的所预测的三个颜色成分，

si＝[si1si2si3]表示所述第二图像的第i像素的三个颜色成分，

根据下式，和是3×3矩阵并且n是1×3向量，

n＝[n11n12n13]，

以及

其中，通过使所述第一图像与所述输出图像之间的均方误差最小化来在数值上获得所述二阶多通道、多元回归预测模型的预测参数。

19.根据附记18所述的方法，其中，将所述二阶mmr预测模型扩展成具有像素交叉相乘的二阶mmr预测模型或三阶mmr预测模型。

20.根据附记18或19所述的方法，其中，所述mmr预测模型进一步包括涉及相邻像素的预测参数。

21.一种装置，包括处理器并且配置成执行附记14-17中所述的方法中的任意一种方法。

22.一种计算机可读存储介质，存储有用于执行根据附记14-17中的任意一项所述的方法的计算机可执行指令。