视频内容的颜色的色调映射的制作方法

本发明涉及图像的色调或颜色的映射。色调映射被理解为包括压缩颜色范围的色调映射和扩展颜色范围的色调映射(通常称为“逆色调映射”)的通用术语。

背景技术：

文献ep3249606公开了为了处理图像，在参考逆色调映射(itm)算法的参考集合中选择itm算法，以及将所选择的itm算法应用于该图像的颜色，特别是将该图像转换为hdr格式。根据该方法，构建了参考itm算法的集合。该集合中的任何参考itm算法都是针对关联参考图像的颜色内容进行了优化的itm算法。根据该方法，基于与该参考itm算法相关联的参考图像的颜色内容，将视觉特征与每个参考itm算法相关联。根据图1所示的该方法，计算要处理的图像imm的视觉特征vfm，并执行itm算法tmfm的选择，使得与该选择的itm算法相关联的视觉特征与要处理的图像的视觉特征最接近(在与集合中其他参考itm算法相关联的视觉特征之中)。然后将所选择的itm算法tmfm应用(“色调映射”操作)于要处理的图像imm，得到处理后的图像tmmimm。另外请参见seulkijang等人发布于2013年spie会议第8652卷的题为“contentdependentcontrastenhancementfordisplaysbasedoncumulativedistributionfunction(基于累积分布函数的显示器的内容相关对比度增强)”的文章。

当将这样的图像处理方法应用于视频内容的图像时，视频内容应被切成镜头，使得在每个镜头内，颜色内容足够均匀，以将相同的所选itm算法应用于镜头的每个图像。

技术实现要素：

为了防止在视频镜头内部过于频繁地改变itm算法而导致在可视化期间的时间不稳定和视觉不适，提出了在针对镜头的图像选择参考itm之后，增加针对该镜头的接下来的图像对该选择进行验证的步骤。

优选地，还提出了一旦itm算法得到验证，就渐进地应用itm算法的任何改变。

注意，文献us9406112公开了仅当先前色调映射(tm)函数和新tm函数之间的差异足够大时才改变tm函数。wo2016192937考虑了应用于先前帧的先前tm曲线的全部历史，以使要应用于当前帧的新tm曲线参数化。在us20170070719中，色调映射系统可以使用先前色调曲线参数值的平均值。

更准确地，本公开的第一方面涉及一种用于根据色调映射函数对视频内容的图像进行色调或颜色映射的方法，包括：在视频内容的多个连续图像上进行迭代，并且针对多个连续图像中的至少一个图像：根据从所述至少一个图像确定的视觉特征，在色调映射函数的参考集合中选择参考色调映射函数；当所选择的参考色调映射函数与针对多个连续图像中的先前图像而先前选择的色调映射函数不同时，根据验证步骤确定参考色调映射函数；以及将所确定的参考色调映射函数应用于所述至少一个图像，得到相应的经色调映射的图像，其中，参考集合包括与参考视觉特征相关联的参考色调映射函数。

在第一方面的变型中，验证步骤使用多个连续图像，并且选择针对连续图像所确定的、最高频率的参考色调映射函数，或者根据相同参考色调映射函数被连续选择的次数来选择参考色调映射函数，或者选择与其他参考色调映射函数相比具有增加的出现次数(occurrence)的参考色调映射函数。

在第一方面的进一步变型中，根据基于图像的视觉特征和与该所选择的参考色调映射函数相关联的参考视觉特征之间的最小距离的选择准则，进行参考色调映射函数的选择。在第一方面的进一步变型中，第一参考色调映射函数和第二参考色调映射函数之间的过渡是通过改变两个函数之间的权重在多个图像上渐进地进行的，第一函数的权重在过渡期间减少，并且第二函数的权重在过渡期间增加。在第一方面的进一步变型中，针对视频的第一图像，所选择的参考色调映射函数不需要任何验证步骤并且被应用于视频的第一图像。

本公开的第二方面涉及一种根据色调映射函数对视频内容的图像进行色调或颜色映射的装置，包括被配置用于实现上述方法的至少一个处理器。优选地，在由以下组成的组中选择该装置：移动装置、通信装置、游戏装置、平板、膝上型计算机、相机、芯片、服务器、电视机和机顶盒。

本公开的第三方面涉及一种可计算的可读存储介质，包括存储的指令，该存储的指令在由处理器执行时执行以上方法。

附图说明

通过阅读以下以非限制性示例的方式并参照附图给出的描述，将更清楚地理解本发明，附图中：

-图1是如ep3249606中所描述的逆色调映射方法的流程图。

-图2是根据本发明的色调映射方法的实施例的流程图。

具体实施方式

可以通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供附图中所示的各个元件的功能。术语“处理器”的明确使用不应解释为排他地指代能够执行软件的硬件，而可以隐含地包括但不限于数字信号处理器(“dsp”)硬件、用于存储软件的只读存储器(“rom”)、随机存取存储器(“ram”)和非易失性存储器。

附图中所示的任何切换仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互、或者甚至手动地实现，如从上下文中更具体地理解的那样，特定技术可由实现者选择。

应当理解，图像处理方法可以以硬件、软件、固件、专用处理器或其组合的各种形式来实现。该方法可以特别地实现为硬件和软件的组合。此外，软件可以实现为有形地体现在程序存储单元上的应用程序。应用程序可以上载到包括任何合适架构的计算机并由其执行。优选地，机器在具有诸如一个或更多个中央处理单元(“cpu”)、随机存取存储器(“ram”)和输入/输出(“i/o”)接口的硬件的设备上实现。该设备还可以包括操作系统和微指令代码。本文所描述的各种处理和功能可以是微指令代码的一部分，也可以是应用程序的一部分，或者可以是它们的任意组合，它们可以由cpu执行。另外，各种其他外围单元可以连接到设备，诸如实际或虚拟键盘、显示装置和附加数据存储单元。

总体上，该设备可以特别是移动装置(诸如，智能电话)、通信装置、游戏装置、平板(或平板计算机)、膝上型计算机、电视机、机顶盒、相机、编码芯片或服务器(例如，广播服务器、视频点播服务器或网络服务器)。

现在将描述图像处理方法的主要实施例，使用如上所述的设备，该设备具有以本身已知方式配置以实现该方法的至少一个处理器和至少一个存储器。

存储器存储参考色调映射算法和关联的视觉特征的参考集合。色调映射是包括压缩颜色范围的色调映射和扩展颜色范围的色调映射(通常称为“逆色调映射”)的通用术语。例如，如ep3249606中所公开的那样如下构建该参考集合：

-利用针对每个图像的优化色调映射函数来收集具有不同视觉特征的图像；术语“函数”是通用的并且包括如“算法”、“查找表”(lut)或“曲线”的任何等同术语；色调映射函数是要色调映射的图像的像素的至少亮度或光亮度的函数；色调映射函数尤其是如文献ep3087730中所描述的亮度的指数函数，其中针对图像的每个像素计算用于该函数的指数值；例如，由调色师使用专用的已知工具针对图像来优化色调映射函数。图像的视觉特征例如表征该图像的颜色的亮度值的分布，并且例如由亮度值的直方图来表示。可以替代地使用其他视觉特征，例如，在mpeg7标准中引用的主要颜色描述符(dominantcolordescriptor)或颜色结构描述符(colorstructuredescriptor)。优选地，视觉特征被定义为取决于亮度。

-然后对具有接近的优化色调映射函数的图像进行聚类，使得任何给定聚类的参考图像具有根据距离准则靠近在一起的色调映射函数；然后，任何聚类的接近的优化色调映射函数在与该聚类相关联的一个参考色调映射函数中取平均；然后，将任何聚类的图像的视觉特征在与该聚类相关联的一个参考视觉特征中取平均。例如，如果视觉特征基于亮度直方图，则计算平均直方图作为参考视觉特征。这意味着每个参考色调映射函数与相同聚类的参考视觉特征相关联。作为变型，聚类可以基于接近的视觉特征。

构建这样的参考色调映射函数和关联的参考视觉特征的集合可以在相同的平台或另一个平台中在初步训练阶段“离线”地执行，包括：

-收集具有不同视觉特征的图像，

-针对每个图像生成优化色调映射函数，

-如上所述，对优化色调映射函数与其关联的视觉特征进行聚类。

现在将参照图2描述用于对视频内容的颜色进行色调映射的图像处理方法。

存储器优选在缓冲器中接收要进行色调映射的视频内容的图像。

对于内容的第一图像，在参考色调映射函数的参考集合中，根据基于与该所选择的参考色调映射函数相关联的参考视觉特征和该第一图像的视学特征之间的最小距离的选择准则，来选择参考色调映射函数。例如，计算集合中每个参考视觉特征与第一图像的视觉特征之间的距离。当视觉特征是如上所述的亮度值的直方图时，计算出的最短距离表示第一图像内亮度值的分布接近集合中亮度值的参考分布，并且选择与亮度值的这种接近的参考分布相关联的参考色调映射函数。然后，将所选择的参考色调映射函数应用于第一图像，得到对应的经色调映射的第一图像。

在内容的图像到图像之间，即从先前图像到在后图像，重复应用所选择的参考色调映射函数，只要针对在后图像所选择的参考色调映射函数与针对先前图像所选择的参考色调映射函数相同即可。

一旦针对在后图像imn所选择的参考色调映射函数tmfn与针对先前图像imp所选择的参考色调映射函数tmfp不同(该情况在图2中用菱形中的符号“≠”表示)，i+1个图像的所谓的当前验证序列形成为imn，imn+1，...，imk，...，imn+i。

然后，如下针对内容的i+1个图像imn，imn+1，...，imk，...，imn+i启动验证步骤。用于验证色调映射函数是改变还是未改变的图像数量i+1多于2。例如，对于每秒25张图像的帧速率，i+1＝5。

该验证步骤旨在决定改变色调映射函数还是不改变色调映射函数，并且在决定改变的情况下，可选地利用其间的过渡步骤(参见以下)来验证要应用于序列的图像的“正确的”新参考色调映射函数。

在验证步骤本身之前，基于与以上相同的选择准则，针对当前验证序列中最后i个图像imn+1，...，imk，...，imn+i中的每个，在参考色调映射函数的集合中选择参考色调映射函数tmfn+1，…，tmfk，..，tmfn+i。

一旦针对当前验证序列的所有图像选择了所有参考色调映射函数tmfn，tmfn+1，tmfn+2，tmfn+3，tmfn+4，tmfn+5，…，tmfk-1，tmfk，tmfk+1，...，tmfn+i，则根据验证准则执行验证步骤，该验证准则优选地基于这些所选择的色调映射函数的分布。

例如，假设i＝9并且k＝n+7，则如下列出了十个参考色调映射函数：tmfn，tmfn+1，tmfn+2，tmfn+3，tmfn+4，tmfn+5，tmfk-1，tmfk，tmfk+1，tmfn+i。

例如，假设在该列表中，只有两个不同的参考色调映射函数：p1和p2，并且分布如下：tmfn＝p2，tmfn+1＝p1，tmfn+2＝p1，tmfn+3＝p2，tmfn+4＝p2，tmfn+5＝p2，tmfk-1＝p1，tmfk＝p2，tmfk+1＝p2，tmfn+i＝p2。

在这种情况下(分布＝p2p1p1p2p2p2p1p2p2p2)，两个不同的参考色调映射函数p1和p2分布在两个位(bin)上，用于p1的值为3的第一个bin，以及用于p2的值为7的第二个bin。

例如，验证准则定义为使得分布中具有最多数量的bin的参考色调映射函数得到验证，在此为特别与tmfk相对应的p2。

作为第一变型，验证准则是基于在验证序列的不同图像内对同一参考色调映射函数的连续选择的最小值。例如，在与以上相同的10张图像(i＝9)的验证序列中，该最小值可以固定为4的值，得到针对先前图像imp所选择的相同参考色调映射函数tmfp的验证(这种情况在图2中用菱形中的“≠”表示)，因为在该序列中没有四个连续的p2选择。

作为第二变型，根据所选择的参考色调映射函数在验证序列的不同图像上的分布的验证图案来定义验证准则。例如，如果在形成验证序列的20张图像上，不同的所选择的参考色调映射函数p1和p2的分布为：p1p1p1p2p2p1p1p1p2p2p2p1p1p1p2p2p2p2p1p1，尽管用于p1的值为11的第一个bin高于用于p2的值为9的第二个bin，但是因为p2在图像上的分布的图案表示与p1在相同图像上的分布的图案相比，p2的权重增加，所以p2将得到验证。

可能发生以下情况：针对当前验证序列所选择的参考色调映射函数中的至少一个与针对先前验证序列已经得到验证的一个tmfm相同，即，例如，tmfm＝p1。如果该参考色调映射函数得到验证(p1是分布中数量最多的)，则应用于当前验证序列的图像的色调映射函数保持与应用于先前的当前验证的图像的参考色调映射函数相同。

当前迭代的最后一步是将得到验证的参考色调映射函数应用于当前验证序列的图像，得到以下色调映射图像tmkimn，tmkimn+1，…，tmkimk，…，tmkimn+i。

然后，对于验证序列的最后一个图像imn+i之后的图像，重复以上针对图像选择参考色调映射函数以及将其应用于该图像，直到针对这些之后图像之一所选择的参考色调映射函数再次不同于针对先前图像所选择的参考色调映射函数，并且针对另一验证序列的每个图像，如上地再次执行新的选择，针对该另一验证序列，如上地执行另一参考色调映射函数的另一验证，然后将其应用于该另一验证序列的图像。

执行这样的迭代直到视频内容结束，得到经色调映射的视频内容。

由于仅在验证针对内容的几幅连续图像的选择之后才改变色调映射函数，因此防止在这种视频内容内部过于频繁地改变色调映射函数，在可视化期间避免时间不稳定和视觉不适。

在优选的变型中，当针对当前验证序列得到验证的参考色调映射函数p2不同于针对先前验证序列得到验证的参考色调映射函数p1时，实现色调映射函数从p1到p2的渐进改变。

色调映射函数的这种渐进改变应用于过渡序列的图像。

例如，过渡序列中的图像数量可以被定义为固定数量，或者可以通过元数据来获得，或者可以是针对当前验证序列得到验证的参考色调映射函数p2与针对先前验证序列得到验证的参考色调映射函数p1之间的差的齐性非递减函数，过渡序列中的图像的最大数量为当前验证序列中的图像数量i。

假设获得过渡序列中的图像的数量j，其中j<i。代替向当前验证序列中首先j个图像中的每一个应用针对当前验证序列得到验证的参考色调映射函数p2，而是向这j图像中的每个imt应用过渡色调映射函数tmtrt，该过渡色调映射函数tmtrt是通过在两个得到验证的参考色调映射函数p1和p2之间进行插值而获得的，优选地根据以下公式：tmtrt＝t/j*p1+(1-t/j)*p2，其中t是该图像imt在过渡序列中的顺序号。沿着过渡序列的图像，在应用于这些图像的过渡色调映射函数tmtrt(其中，t从1到j变化)中，新得到验证的参考色调映射函数p2的权重然后渐进地增加，并且先前得到验证的参考色调映射函数p1的权重然后渐进地减小。

尽管这里已经参照附图描述了本发明的说明性实施例，但是应当理解，本发明不限于那些精确的实施例，并且在不脱离本发明的情况下，相关领域的普通技术人员可以在其中实现各种改变和修改。所有这些改变和修改旨在被包括在如所附权利要求书中阐述的本发明的范围内。因此，如对于本领域技术人员显而易见的，所要求保护的本发明包括本文所描述的特定示例和优选实施例的变型。

虽然一些具体实施例可以被分别描述和要求保护，但是应当理解，本文描述和要求保护的实施例的各种特征可以被组合使用。出现在权利要求中的附图标记仅是示例性的，并且应对权利要求的范围没有限制作用。