偿的帧之间的误差大于阈值时被检测为不相干。
[0027] 根据本发明的另一个方面，本发明涉及一种包括局部色调映射算子的对视频序列 进行色调映射的设备。该设备的特征在于，它还包括用于获得要被进行色调映射的视频序 列的帧的经时间滤波的版本的部件以及用于确定由所述局部色调映射算子使用的空间邻 域的部件。
[0028] 根据对优选实施例的下面的描述以及附图，本发明的具体性质以及本发明的其他 目标、优点、特征和使用将变得显而易见。
【附图说明】
[0029] 将参考以下附图来描述实施例：
[0030] 图la示出对视频序列进行色调映射的方法的步骤的图；
[0031]图lb示出计算视频序列的要被进行色调映射的帧的经时间滤波的版本的方法的 步骤的图。
[0032]图lc示出计算视频序列的要被进行色调映射的帧的经时间滤波的版本的方法的 变型的步骤的图。
[0033] 图2例示方法的步骤100和200的实施例。
[0034] 图3和4例示方法的步骤100和200的另外的实施例。
[0035] 图5示出包含被配置为实现对视频序列进行色调映射的方法的部件的设备的架 构的示例。
【具体实施方式】
[0036] 帧（也称作图像）包括像素或帧点，其每一个与至少一项帧数据相关联。一项帧 数据例如是一项辉度数据或者一项色度数据。
[0037] -般来说，对视频序列进行色调映射的方法在于将局部色调映射逐帧地应用于视 频序列的每个帧。
[0038] 该方法的特征在于，在要被进行色调映射的帧的经时间滤波的版本上确定由所述 局部色调映射算子使用的空间邻域。
[0039] 于是，局部ΤΜ0的空间邻域的定义遵循时间相干性，亦即它们具有帧到帧的更稳 定的定义，防止在要被进行色调映射的帧的经色调映射的版本上的闪烁伪像。
[0040] 该方法的一个优点是，可以使用任何现有技术的局部色调映射算子，因为要被进 行色调映射的帧的经时间滤波的版本仅被用于确定它们的空间邻域。
[0041] 图la示出对视频序列进行色调映射的方法的步骤的图，其中，对要被进行色调映 射的每个帧H)，获得经时间滤波的版本。
[0042] 例如，输入的视频序列可以是高动态范围序列（HDR)，并且经色调映射的视频序列 V'可以是低动态范围（LDR)，亦即具有比输入的视频序列V更低的动态范围的视频序列。 ΤΜ0指任何现有技术的局部色调映射算子。下面将要被进行色调映射的帧的经时间滤波的 版本称作经时间滤波的帧Ltf。
[0043] 根据本发明的实施例，从存储器或者经由通信网络从远程装备获得经时间滤波的 中贞Ltf〇
[0044] 图lb示出根据视频序列的要被进行色调映射的帧F0来计算经时间滤波的帧Ltf 的方法的步骤的图。
[0045] 在步骤100,获得帧F0的每个元素的运动矢量。
[0046] 根据实施例，从存储器或者经由通信网络从远程装备获得帧F0的每个像素的运 动矢量。
[0047]根据运动估计步骤100的实施例，定义运动矢量（δχ，δy)以便最小化当前块与所 估计的匹配块之间的误差度量。
[0048] 例如，在运动估计中使用的最常见的度量是由下式给出的绝对差值的求和（Sum ofAbsoluteDifference,SAD)：
[0049]
[0050] 其中Ω表示所使用的方形块的所有像素位置（x，y)。
[0051] 在步骤200,使用所估计的运动矢量对视频序列V的一些帧进行运动补偿，并且对 经运动补偿的帧进行时间滤波，以获得经时间滤波的帧Ltf。
[0052] 步骤100和200-起对应于通常的经运动补偿的时间滤波（MotionCompensated TemporalFiltering，MCTF)技术。
[0053] 根据在图lc中例示的步骤200的变型，检测不相干的运动矢量，然后，只有在所估 计的运动矢量是相干的情况下才使用该运动矢量对要被进行色调映射的帧的每个像素进 行时间滤波。
[0054] 这解决不相干的运动矢量问题，因为它避免属于帧F0的不同对象的像素的运动 补偿，其在帧的经色调映射的版本中引起一些重影伪像。
[0055] 根据步骤100和200的实施例，获得时间滤波器的长度N，由于所估计的运动矢量， 通过关于帧F0的当前帧的运动补偿获得（N-1)个经运动补偿的帧，然后，使用所述时间滤 波器，由所述经运动补偿的帧的时间滤波产生经时间滤波的帧Ltf。
[0056]如图2所示，时间滤波器的长度N等于5(N= 5)，并且（N-1)个运动矢量MVn被 估计（ME):-个针对先前的两个帧F-2和F-1中的每个，并且一个针对随后的两个帧F1和 F2中的每个。然后，获得经时间滤波的帧LTF作为长度N的时间滤波器的输出，时间滤波器 具有由于所估计的运动矢量MVn的通过关于帧F0的当前帧的运动补偿而获得的（N-1)个 经运动补偿的帧CF-n作为输入。这样的输入是由于运动矢量MV-2而获得的经运动补偿的 帧CF-2、由于运动矢量MV-1而获得的经运动补偿的帧CF-1、由于运动矢量MV1而获得的经 运动补偿的帧CF1以及由于运动矢量MV2而获得的经运动补偿的帧CF2。因此，根据该示例 获得四个经运动补偿的帧。
[0057] 可以使用许多类型的时间滤波，简单的一个是由下式给出的平均：
[0058]
[0059] 其中CFn表示第η个经运动补偿的帧。
[0060] 本发明不局限于任何类型的时间滤波，并且也可以使用通常在信号处理中使用的 任何其他时间滤波。时间滤波器的长度的具体值不是对本发明的范围的限制。
[0061] 根据参照图2描述的步骤100和200的实施例的图lc中例示的变型的实施例，当 帧F0与对应于该运动矢量的经运动补偿的帧CFn之间的误差εη(χ，y)大于阈值时，运动 矢量被检测为不相干。
[0062] 根据实施例，误差εn(x，y)由下式给出：
[0063]
[0064] 根据实施例，阈值与当前帧F0的像素的值成比例。
[0065] 例如，在如下情况下，运动矢量被检测为不相干
[0066] εη(χ,y) >Τ
[0067] 其中Τ是用户定义的阈值，（χ，y)是像素位置。
[0068] 在时间滤波中使用经运动补偿的帧CFn中的与相干的像素相对应的每个像素，以 便获得帧LTF。如果在给定的位置处不存在相干的运动矢量，则仅使用帧F0的像素值（不 进行时间滤波）。
[0069] 根据图3和4中例示的步骤100和200的另一个实施例，对帧R)应用与双值小波 分解结合的向后和向前的运动补偿，以便获得若干低频子带。对于帧的每个像素，选择 分解的后向部分的至少一个低频子带，并且选择分解的前向部分的至少一个低频子带，并 且帧LTF的像素是属于两个所选择的低频子带的两个像素的混合。
[0070] 通常的双值小波分解建立金字塔，其中每个级别对应于时间频率。如图3所示，使 用预测和更新步骤来计算每个级别。为了执行经运动补偿的分解，在预测步骤中使用由运 动估计所产生的运动矢量。根据帧Ft+1与帧Ft的经运动补偿的版本（MC)之间的差异来获 得帧Ht+1。在更新步骤的过程中，通过帧Ft与帧Ht+1的经逆运动补偿的版本相加来获得低 频帧Lt。那可能导致低频子带Lt中的不连通的像素（图3中的暗点）或者多连通的像素 (图3中的灰点）。不连通或多连通的像素分别是在运动矢量被反转（revert)时不具有相 关联的像素和具有多连通的像素的像素。
[0071] 为了避免这个缺点，在2级分解的情况下，如图4所示，对帧F0应用用于分解成多 个级别的具体结构。
[0072] 帧F0的这样的分解使用正交变换，其使用后向和前向运动矢量：
[0073]
[0074] Lt (p) =Ft (p) -Ht (p+vf)
[0075] 其中氏和、分别是高频子带和低频子