对视频序列进行色调映射的方法
【技术领域】
[0001] 本发明一般涉及视频色调映射（tone-mapping)。具体地，本发明的技术领域涉及 视频序列的局部色调映射。
【背景技术】
[0002] 这部分旨在向读者介绍技术的各种方面，其可能涉及在下面描述和/或要求保护 的本发明的各个方面。相信该论述有助于向读者提供背景信息以便于更好地理解本发明的 各个方面的方面。因此，应当理解，这些陈述要从这个角度来阅读，而不是作为对现有技术 的承认。
[0003] 高动态范围（HighDynamicRange，HDR)影像在计算机图形学和图像处理这些领 域中正变得广泛已知，并且由于色调映射算子（ToneMappingOperator，ΤΜ0)，已经可以意 识到使用HDR技术带来的益处。实际上，ΤΜ0在LDR显示器（低动态范围）上再现在HDR图 像中可得到的宽范围的值。注意，LDR帧具有比HDR图像的动态范围更低的动态范围。
[0004] 存在两种主要类型的ΤΜ0 :全局（global)算子和局部（local)算子。
[0005] 全局算子使用HDR帧的特性来针对整体图像计算单调递增的色调映射曲线。因 此，这些算子确保空间亮度相干性（coherency)。然而，它们通常不能再现在HDR帧中包含 的更精细的细节。
[0006] 相反地，局部算子基于其空间邻域对每个像素进行色调映射。这些技术增加局部 空间对比度，从而提供更详细的帧。
[0007] 众所周知的局部ΤΜ0对每个像素的空间邻域进行滤波。经滤波的图像被用于对每 个颜色通道进行缩放（scale)以获得LDR帧（ChiuK.，HerfM.，ShirleyP.，SwamyS.， WangC. ,ZimmermanK.：SpatiallyNonuniformScalingFunctionsforHighContrast Imagesf.Interface，5 月（1993 年））〇
[0008] 更复杂的解决方案使用金字塔形方法，金字塔（pyramid)的每个级别与空间邻域 的不同大小相对应，使用金字塔的每个级别对每个颜色通道进行压缩，并且混合所有级别 的所有结果提供经色调映射的帧。（RahmanZ.，JobsonD.:Amultiscaleretinexfor colorrenditionanddynamicrangecompression，（1996 年）SPIE国际石开讨会）。
[0009] -些其他的通常的解决方案使用频率子带分解以保留更精细的细节。子带被分 开地处理，然后被组合以获得经色调映射的帧（TumblinJ. :LCIS:Aboundaryhierarchy fordetail-preservingcontrastreduction。（I999 年）第 26 届年会的会议记录）。
[0010] 摄影色调再现（PTR) [RSSR)2]算子依赖于拉普拉斯（Laplacian)金字塔分解 (ReinhardΕ·，StarkΜ. ,ShirleyΡ·，FerwerdaJ.：Photographictonereproduction fordigitalimages。ACMTrans.Graph. 21，3 (2002 年 7 月），267 {276)。阈值允许选择最 佳的邻域的大小以用于每个像素而不是混合。
[0011] 其他众所周知的解决方案是使用梯度域压缩（GradientDomainCompression， GDC)以便在梯度域中执行色调映射（FattalR.，LischinskiD.:Gradientdomainhigh dynamicrangecompression。ACMTransactionsonGraphics(2002 年））。根据高其i?金 字塔（gaussianpyramid)的每个级别的像素周围的空间邻域来计算出梯度。基于梯度的 量级对每个像素确定缩放因子。以全分辨率组合所有梯度场，以获得经压缩的梯度场。因 为该梯度场不总是可积分的（integrable)，所以使用接近的近似来计算经色调映射的帧。
[0012] 将ΤΜ0单独地应用于输入的视频序列的每个帧通常导致时间不相干性。存在 两种主要类型的时间不相干性：闪烁伪像（flickeringartifact)和时间亮度不相干性 (temporalbrightnessincoherency)〇
[0013] 闪烁伪像是由于ΤΜ0或者场景。实际上，由于ΤΜ0的闪烁伪像由连续帧中的色调 映射曲线的快速改变而引起。因此，类似的HDR辉度值被映射到不同的LDR值。由于场景 的闪烁与照明条件的快速改变相对应。应用ΤΜ0而不考虑在时间上接近的帧导致映射到类 似的LDR值的不同的HDR值。关于时间亮度不相干性，其在色调映射处理的过程期间没有 保留相关的HDR帧的亮度时发生。因此，在HDR序列中被感知为最亮的帧未必在LDR序列 中是最亮的。和闪烁伪像不同，亮度不相干性未必沿着连续帧而出现。
[0014] 总之，将全局的或局部的ΤΜ0单独地应用于HDR视频序列的每个帧导致时间不相 干性。
[0015] 已经设计出基于色调映射曲线的时间滤波的解决方案（BoitardR.，Thoreau D.，BouatouchΚ·，CozotR.：TemporalCoherencyinVideoToneMapping,aSurvey。 HDRi2013 艮PFirstInternationalConferenceandSMEWorkshoponHDRimaging(2013 年），第1号，1-6页）。然而，这些技术仅对全局ΤΜ0起作用，因为局部ΤΜ0具有非线性的且 在空间上变化的色调映射曲线。
[0016] 对于局部ΤΜ0,保留时间相干性在于防止色调映射在时间和空间上的大的变化。基 于GDC算子的解决方案已经由Lee等人提出（LeeC·，KimC.-S.:GradientDomainTone MappingofHighDynamicRangeVideos〇2007IEEEInternationalConferenceonImage Processing(2007 年），第 2 号，IEEE，III-461-III464 页。）。
[0017] 首先，该技术对连续的HDR帧的每个对执行逐像素（pixel-wise)的运动估计，然 后将得到的运动场用作对应的LDR帧的时间相干性的约束。该约束确保通过运动矢量相关 联的两个像素被进行相似的色调映射。
[0018] 尽管由该技术带来了可见的改进，但是仍然存在若干缺点。首先，该解决方案仅保 留连续帧的对之间的时间相干性。第二，其取决于运动估计的稳健性。当该估计失败时，时 间相干性约束被应用于属于不同对象的像素。该运动估计问题将被称作不相干的运动矢 量。而且，该技术仅对一种局部ΤΜ0即GDC算子而设计，无法扩展到其他ΤΜ0。
【发明内容】
[0019] 为了解决现有技术的上述缺点的至少一个，并且尤其为了使局部ΤΜ0的空间邻域 的计算一直稳定，在要被进行色调映射的帧的经时间滤波的版本上确定被用于对视频序列 进行色调映射的局部ΤΜ0的空间邻域。
[0020] 使用要被进行色调映射的帧的经时间滤波的版本而不是（像往常一样）帧的原始 辉度来确定经色调映射的算子的空间邻域，允许保留空间邻域的时间相干性，并且因此限 制经色调映射的帧中的闪烁伪像。
[0021 ] 根据实施例，方法包含：
[0022] -获得要被进行色调映射的帧的每个像素的运动矢量；以及
[0023]-使用所估计的运动矢量对视频序列的一些帧进行运动补偿，并且对经运动补偿 的帧进行时间滤波，以获得要被进行色调映射的帧的经时间滤波的版本。
[0024] 根据实施例，方法还包括：
[0025]-检测不相干的运动矢量，并且只有在所估计的运动矢量是相干的情况下才使用 该运动矢量对要被进行色调映射的帧的每个像素进行时间滤波。
[0026] 根据实施例，运动矢量在要被进行色调映射的帧与对应于该运动矢量的经运动补