专利名称：利用颜色分量对运动和/或场景变化的检测的制作方法
技术领域：
本发明涉及运动检测、场景变化检测和时域噪声削弱的领域。尤其涉及检 测在一系列图像帧中的运动和域场景变化的装置、方法和软件。
背景技术：
时^^波器和时空域滤波驗图像序列中被广泛用于抑制噪声。因此，图 像帧在时域中被滤除。为了处理运动和场景的变化，众所周知的方法是以合适 的方式操作时域噪声縮减滤波器，这样当检测到运动或场景变化时，滤波操作 的效力可以被暂时减弱甚至切断。这种调整一般基于像素间的亮度值差异，这 些差异的绝对值与一个阈值进行比较，然后决定用于每帧的每个像素的滤波 量。或者，Jl供一个查询表，^S象素值差异的纟M值对应一个滤波量。
但是，这些场景变化和运动检测手段并不肖,令人满意，仍然会产生显而 易见的假运动，并且噪声缩减量也没有所期望的高。现有技术遇到尤其对于低 对比度图象，例如像低亮度图像和具有高噪音级的图像的问题(由于例如一个 图像获取设备的高敏感性，例如可以在高分辨率的数字但压縮的图像获取设备 中遇到)，这样在两种相反条件的结合下，加重了该问题。
本发明的目的在于提供一种方法、装置和软件产品，其可以在一系列图像 帧中更好地检测运动和/或场景变化，尤其用在低对比度和/或高噪音级图像的 帧序列中。
发明内容
分别m根据权利要求l， 13， 24的用于检测在一系列图像帧中的运动和 /或旸景变化的装置、方法和软件产品来实现这个目标。
根据本发明的检测一系列图像帧中的运动和/或场景变化的装置包括一个 差值发生器，其用于计算分离图像帧的像素值之间的像素值差，所述像素值包 含了颜色信息，并且根据计算得到的像素差值提供色差；以及一个鉴别器，其
根据色差值给出该计算得到的所述像素值差对应着噪声还是图像内容的指示。
地，所述指示包括从多于两个的有序值中选出的至少一个指示值，其 中第一个极值表示计算得到的像素值差最可能被噪声弓胞，第二个极值表^i十 算得到的像素值差最可能与图像内容有关，并且在这两个极值中的某个值或某
對直表示该两樹舒; 代表的含义之间的含义。
ttiMk，所述指示包括从上多于两个的有序值中选出的至少一个指示值， 其中为色差的相对高的绝对值选择一个相对高的指示值，为色差的相对低的绝 对值选择一个相对低的指示值。
地，所，值发生器适于计算具有第一类颜色信息的像素值之间的第 一类像素ffi，并计算具有第二 色信息的像素值之间的第二类像素值差以 及结合的差值，其中所述结合的差值是第一像素值差和第二像素值差的标量结 合，这样所述结合的差值就给出了所述色差值。
^i也，所，皿生器包括一刊氐通滤波器，滤除所述像素值。在这禾中 情况下，当所述低通滤波器调整到在空间域滤除所述像素值，并且所述低通滤 波器的截止频率和构成图像帧的视频信号的采样率之间的比例在O.l至U0.25的
范围内时是有利的。
iW:也，所述像素值对应于可感知线性颜色空间的坐标值。在这种情况下， 当所,值发生器包括一个坐标转换装置，其适于将像素值信息从第一颜色空 间表示转换到第二颜色空间表示时是有利的。
4，地，所述鉴别器适于提供基于颜色恒定规则的指示。 4，地，所,tffi生器适于计算亮度差值，其中所述亮度差值是分离图 像帧的像素值之间的差，所述像素值包括亮度信息，其中的所述鉴别器也适于 提供基于所述亮度信息的指示。在这种情况下，当所述差值发生器适于用相应 的亮度差^動卩权所述色差值，由此所述鉴别器适于提供基于所述加权后的色差 值的指示；或者所，值发生^l适于用相应的所述色差ffl卩^^述亮度差值， 由此所述鉴别器适于提供基于所述加权后的亮度差值提供附旨示的时候是有利 的。
可以同样地在检测一系列图像帧中的运动和/或场景变化的相应方法中应 用本发明。该方法包括以下步骤计算分离图像帧的像素值之间的像素值差， 其中所述像素值包括颜色信息，提供基于计算得到的所述像素值差的色差值，
并且基于所述色差值提供判断计算得到的像素值差对应噪声或者对应图像内容 的指示。在各从属权利要求中限定本方法的 实施例。
一种包含程序信息的软件产品同样被弓i入本发明，当程m言息在信息处理
设备中执行时，系统能适于执行本发明的方法。
图1示出本发明第一实施例的方框图。
图2示出在用于一系列图象的时域噪声抑审啲装置中所用的本发明的具体实施。
图3示出了在用于图象序列的时域噪声抑制的装置中所用的本发明的具体 实施。
具体实施例方式
现在参考附图1的示意性方框图解释本发明的第一实施例。在一个序列中 的每个图像帧执行一次所有下列过程，并且是按照像素 行，也就是说针对 每一帧的*像素执行以下步骤。当然将该方法仅应用于一个图象序列中的几 帧和每一帧的几个像素也是可能的。例如，图像帧序列由包含在视频信号或者 电视信号中的图象序列提供，或者由一个视频摄像机产生的图象序列提供，但 不仅限于此。其他非限制性示例是由例如用于医学目的或成像或在科学试验中 的测量目的的X射线成像装置获得的一系列图像帧。
在附图中，"cdorl"和"color2" fW—幅图象的两种颜色成分，其例如， 但不限于此，对应于在YUV的颜色空间中表示的图象的U和V成分。因此， "t" 1 给定的当前图像帧，"t-l"代表之前的图象帧。这样，步骤S2-2提供 当l^贞的第一颜色成分，步骤S2-l提供先前帧的第一颜色成分，以及步骤S2-4提供当前帧的第二颜色成分，步骤S2-3提供先前帧的第二颜色成分。
在步骤S4-l， S4-2， S4-3 ， S44中这些成分被转换成另一个颜色空间中 的颜色成分，以下称作第一转换颜色成分和第二转换颜色成分。因此，这个目 标颜色空间以及颜色空间转换过程可以取决于显示设备，例如一台打印机或者 显示器，禾拥它们显示图象序列。更有利的是，该目标颜色空间是可感知的线 性的，或者至少比原颜色空间要更加统性。可感知的线性的颜色空间可以利用在颜色空间中的坐标提供一个颜色的描述，这样的好处是，如果任意一个坐标 变化了一定量，主体就会感知到颜色的同样变化量，而不需要了解哪个坐标发 生了变化以及坐标的原始值是什么值。颜色感知取决于很多特殊条件，其根据 不同的应用情节而变化，并且甚至可能取决于颜色感知主体。这样感知的线性 颜色空间就某些种类的通常或流行的颜色感匆来说可以仅仅是线性的。多种感
知统性颜色空间并没有进行实践。C正L*a*b和C正L*u*v颜色空间用了很久， 除非有近期研究表明找到了更好的空间的事实，否则它们是最经常使用的线性 空间。取决于源和目标颜色空间，为了实现转换还需要除了第一和第二颜色成 分外的其他图象成分。例如，假设输入的图象用YUV或者YCbG空间编码， 而目标颜色空间是C正1/a^或C正LV^v颜色空间，这样就需要增加亮度成 分Y (C正代表国际照明委员会)。颜色空间之间的转换是公知技术，不再进 一步i爐。
需要注意的是，为了减少计算复杂度，转换步骤S4-l到S44可以省略。 在这种情况下，转换颜色成分等于第一和第二颜色成分。这是有效的资源实施， 例如，当第一和第二颜色成分的颜色空间由YUV或者YCbCr颜色空间提供。
在步骤S6-1， S6-2 ， S6-3和S64中，所转换的颜色成分在空间域被低通 滤除。可以采用简单的低通滤波器，例如高斯滤波器，因为人类的视觉系统对 高频颜色成分不敏感，并且颜色成分的带宽通常很窄。禾拥这样的滤波器，图 象的噪声可以被抑制，有利于区分所需的图像内容和噪声干扰。低通滤波器的 截止频率最好是0.15*^其中fs是视劍言号的采样率。在0.1*《和0.25*《之间 的截止频率值提供低通滤波器的可用结果。在很多情况下，fs要被赋予两倍于 视频信道的带宽值的值，例如在欧洲很多部分是6MHz (PAL电视标准)，在 日本6.5MHz (NTSC电视标准)和即将出现的HDTV电视标准的27MHZ。 A^f周知的，截止频率^该达到3dB的衰减的信号频率。
在步骤S8-l中，计算当前视频帧和先前视频帧的第一转换颜色成分的差 值，产生第一色差值，在图l中用"diffl"表示。在步骤S8-2中，计算当前视 频帧和先前视频帧的第二转换颜色成分的差值，产生第二色差值，在图1中用 "diffi"表示。为相应的像素计算每个差值，相应的像素可以在同样的图像位 置处，例如由横向位置x，和纵向位置y指定，或者也可以在不同的图象位置 处。例如从运动向量检测可能产生不在同一图像位置处，但是由确定的运动向
量指定它们互相相对移动的相应像素。
在步骤S10-l和S10-2中，确定在步骤S8-l和S8-2得到
的差值的纟fe^t值。
在步骤S12中结合在步骤S10-l和S10-2中得至啲纟舰值，为每个像素产 生正的整体色差值。这样，对应于同一像素的两个不同差值的绝对值就结合起 来。在简单的实施方式中，通过对差值绝对值求加实现所述结合。通过计算差 值的平方和的根给出更复杂的实施方式。 色成分 色空间C正L*a*b或 C正L*u*v中转换的情形中，这相应于对色差值的C正(1￡*度量(也叫C正 DeltaE)，也就是，用C正L*a*b或C正L*u*v坐标表示的两颜色之间的欧几里 得距离。与目标相反，C正L*a*b和L*u*v颜色空间仍然存在一些可感知的非 线性。存在变量亚*包括例如C正dE^，也指C正94， C正dEoo，也被称作 C正DE2000和DeltaE CMC，它们可以对一些非线性作出补偿，但是增加计算 复杂度。这些变量也可以用在本发明中。即使希望得到感知线性效果，也不一 定要将其用在整个颜色空间。
步骤S14中，计算由步骤S12得到的整体色差值与一个阈值之间的差。 对于基于C正标准的系统，该阈值可以由C正定义的可感知颜，巨离赋予。对 于不是基于C正标准的系统，阈值可以例如由采用的颜色空间到C正L*a*b或 C正L*u*v颜色空间之间的差决定，和/或者通脏观测试决定。需要注意的是 假使省略颜色空间转换的步骤(或者假设颜色空间转换不需要亮度信号)，则 该实施例的实现无需亮度信号信息。U和V信号成分包括亮度信息，这样阈值 可以通过主观测试调整，指"调整的阈值"。虽然省略亮度成分可能导致非最 佳的解决方案，但是实验表明对于YUV和YCbCr格式的信号是可接受的。
在步骤S16中，整体色差和阈值之间的差值用于区分所需的图像内容和噪 声干扰。柔和地实施该区分，除了在很明显差值是由噪声(在图1的曲线中用 0表示)或者由图象内容(在曲线中用1标)弓胞的差值的范围。fflil模糊 方式在噪声和图像内容之间决定其他所有的范围。噪声和图像内容之间的模糊 决策有时选择噪声，有时选择图像内容，取决于色差值和阈值之间测量的比较 结果。采用这种模糊决策的理由之一是没有公差就无法对噪声等级进行估计。 coeff^。r表示决策结果，且其在0到1之间变化。当整体色差值最大可能是由噪 声引起的时，coeff。。,。r值为0;当整体色差值最大可能是由图像内容引起的时， 也就是在整体色差值非常大时，coefiU值为1。其中"大"和"小"必须被看
作相对于阈值来说的。假使无法作出清楚的决策时，也就是对于整体色差值的
中间值，coefi^选择0和1之间的值，由此coeff*的相对副I^应着相对高 的整体色差值。需要注意的是，实施上述区分的方法无需基于图像素材。可以 使用将整体色差值映射到coeff。。,。r值的査询表来完成上述教导。这样，步骤S14 可以省略。同样也支持其他不需要基于查询表的实现方式。实现上述教导的其 他可能性可以借助于模糊逻辑的方法。也就是基于模糊逻辑理论将整体色差值
现在将联系图2解释如上所述的本发明方法的具体实施，其中包括装置1 ， 用于检测在一系列图像帧和适应性滤波器6中的运动和/或场景变化。装置1包 括一个差值发生器2，其适于计算分离图像帧的像素值之间的像素值的差，其 中像素值包含了颜色信息，并且适于基于计算得到像素值的差提供色差值；还 包括一个鉴别器3，其根据色差值给出该计算得到的像素值差异对应于噪声还 是对应于图像内容的指示。在图2所示的应用例中，指示从装置1传给适应滤 波器6，滤波器6基于该指示滤除时域中的图像帧。装置1和适应性滤波器6 的组合是用于一系列图象中的时域噪声抑制的装置10。适应性滤波器6可以是 例如一个递归滤波器。差戯生器2包括一个滤除像素值的低通滤波器4和一 个坐标转换装置5，用于将像素值信息从第一颜色空间表示转换至悌二颜色空 间表示。差微生器2和鉴别器3适于执行第一实施例中的方法。当在步骤S12 中获得的整体色差值很大概率上是由于噪声引起的，则适应性熗波器6的强度 相对较强，也就是说设想产生一个相对高噪声抑制。当在步骤S12中获得的整 体色差働艮大概率上是由于图像内容弓跑的，则适应性、搶波器6的强度相对较 低，也就是说设想产生一个相对低的噪声抑制。
为了提供更加优化的检观U运动和域场景变化的方法，可以在作出区分图 像内容和噪声的决策时考虑光度或整体亮度信号的信息，例如YUV颜色空间 中的亮度信号。这可以在不同的位置中实现，例如，在结合步骤S10过程中， 或者在结合步骤S10之后在区分步骤S16之前，或者在区分步骤S16过程中， 或者在区分步骤S16之后在滤波步骤S18之前。随后的第二至第四实施例中给 出对此的示例。其中第二到第四实施例的每一个都具有实施例一的所有特征， 省略对这對寺征的描述。
在第二实施例中，对应于步骤S8-l和S8-2色差值的差值还对亮度信号进 4fi十算。从这个亮度差值得到会树值，瓶着在步骤S12中与另两个差值结合 得到整体色差值。这里可再用简单加运算或者亚*的变量，例如fOT包括亮度 差值和色差值的平方和的根。
在第二实施例的具体实施中，差戯生器2适于计算亮度差值和亮度差值 的乡树值，并结合两个色差值和亮度差,缠体色差值。
在第三实施例中，对应于步骤S8-l和S8-2的色差值的差值还另外对亮度 信号进行计算，并且在步骤S12中得到的整体色差值用该亮度差值的绝对值进 行加权。其受到下列因素的影响。如果两个时间相邻的像素之间的亮度差大， 运动或者场景转换的可能性就大。这样，亮度差值就用于加权两个时间相邻的 像素间的整体色差值。如果亮度差值大，贝U色差值就被放大，如果亮度差值小， 则色差值就被削弱。因此，在下面的区分步骤中，分别作出偏向图像内容或者 噪声的决策。如同用亮度差值的方式对色差值进行加丰又一样，也可以用整体色 差值的方式对亮度差值进行加权。这种情况下，加权的亮度差值替代了 (加权 的)整体色差，这样步骤S16基于加权的亮度差值。
在该第三实施例的具体实施中，差值发生器2适于计算亮度差值，亮度差 值的绝对值，并且还要适于将亮度差值的绝对值加权整体色差值或者将整体色 差働口权亮度差值的绝对值。
在第四实施例中，步骤S16中的决策结果coeffrolOT与相应的结果coeff, 结合得到整体运动和/戯汤景变化检测结果，其中结果coefif^^从基于亮度信息 的噪声和图像内容之间的区分得到。这样的结合可以通过例如将coeff^。r与 coefi^。r相乘得到。
该实施例的实际完成如图3所示。图2和图3中相同的附图标记代表相同 的内容，对它们的描述在此省略。在该实施例中，检测运动禾口/或场景变化的装 置更包括运动检测器7，由其提供coeff一的值。该装置另外还包括结合器8， 由其结合coeff一t和coeff*的值以提供整体运动禾口/或场景检测结果。
差值发生器2、鉴别器3、滤波器4、坐标转换器5、适应性滤波器6、运 动检测器7和结合器8可以禾,例如软件，在可编程的处理器或者普通目的处 理器上，通过专用或硬有线连接分离或者集成电路或者它们的组合的方式实 现。组成部分2到8可以共享资源(例如普通目的，帧存储器，总线)和不同
的中间计算结果(例如像素值差)。
虽然在实施例中^fip(吏用的是YUV， YCbCr， C正L*a*b和C正L*u*v颜 色空间，但是本发明也可以使用其它的颜色空间实施，包括例如RGB， HSV， HSL和HSB颜色空间。虽然已经参照特定的实施例解释了本发明，这只是一 种阐述的方式，且对于本领域的技术人员来说，凡在随后权利要求保护范围之 内所做的任何修改均是显而易见的。
权利要求
1、用于检测在一系列图像帧中的运动和/或场景变化的装置，该装置包括差值发生器，该差值发生器用于计算分离图像帧像素值之间的像素值差，其中所述像素值包含了颜色信息，差值发生器根据计算得到的像素差值提供该色差值；和鉴别器，该鉴别器根据所述色差值给出该计算得到的所述像素值差对应于噪声还是对应于图像内容的指示。
2、 根据权利要求1所述的用于检测在一系列图像帧中的运动称或场景变 化的装置，其中所述指示包括从上多于两个的有序值中选出的至少一个指示值,其中第一 个极值表示计算得到的像素值差最可能由噪声弓l起，第二个极值表示计算得到 的像素值差最可能由图像内容引起，在所述极值之间的一个值或一些值表示该 极ft^代表的含义之间的含义。
3、 根据权利要求1或2中所述的用于检测在一系列图像帧中的运动柳或 场景变化的装置，其中所述指示包括从多于两个的有序值中选出的至少一个指示值，其中为色差 值的绝对值相对高的选择一个相对高值，为色差值的绝对值相对低的选择一个 相对低值。
4、 根据权利要求1至3任一权利要求中所述的用于检测在一系列图像帧 中的运动和/或场景变化的装置，其中所述差值发生器适于计算具有第一类颜色信息的像素值之间的第一类像素 值差，并计算具有不同的第二，色信息的像素值之间的第二类像素值差以及 计算结合的差值，其中所述结合的差值是第一类像素值差和第二类像素值差的 标量结合，这样由所述结合的差值给出所述色差值。
5、 根据上述任一权利要求中所述的用于检观依一系列图像帧中的运动和/ 或场景变化的装置，其中所,值发生器包含一个低通滤波器^61滤所述像素值。
6、 根据权利要求5所述的用于检测在一系列图像帧中的运动称或场景变 化的装置，其中所述低通滤波器适于过滤空间域中的像素值。
7、 根据权利要求5或6中所述的用于检测在一系列图像帧中的运动秋或场景变化的装置，其中所述低通滤波器的截止频率与包括图像帧的视频信号的采样率之间的比例在0.1到0.25的范围内。
8、 根据上述任一权利要求中所述的用于检湖赃一系列图像帧中的运动和/或场景变化的装置，其中所述像素值对应于可感知线性颜色空间的像素坐标值。
9、 根据权利要求8中所述的用于检测在一系列图像帧中的运动种或场景变化的^S，其中所i^值发生器包括坐标转换装置，该坐标转换装置适于将像素值信息从 第一颜色空间表示转换至'傑二颜色空间表示。
10、 根据J^任一权利要求中所述的用于检测在一系列图像帧中的运动和/或场景变化的装置，其中-所述鉴别^^于提供基于颜色恒定规则给出指示。
11 、根据上述任一权利要求中所述的用于检测在一系列图像帧中的运动和/或场景变化的装置，其中所^M值发生器适于计算亮度差值，其中所述亮度差值是分离图像帧的像 素值之间的差，所述像素值包括亮度信息，其中所述鉴别器也适于基于所述亮 度信息提供所述指示。
12、 根据权利要求11中所述的用于检测在一系列图像帧中的运动和/或场景变化的装置，其中所體值发生器适于用相应的亮度差微对所述色差值进行加权，其中所 述鉴别器适于基于所述加丰又后的色差值提供所述指示；或者所體值发生器适于用相应的所述色差值舰所述亮錢值进行加权，其 中所述鉴别器适于基于所述加权后的亮^M值提供所述指示。
13、 用于检测在一系列图像帧中的运动和/或场景变化的方法，该方法包顿骤计算分离图像帧像素值之间的像素值差，其中所述像素值包含了颜色信 根据计算得到的所述像素差值提供色差值，根据所述色差值给出该计算得至啲所述像素值差对应于噪声还是对应于图 像内容的指示。
14、 根据权利要求13所述的用于检测在一系列图像帧中的运动和/或场景变化的方法，其中所述指示包括从多于两个的有序值中选出的至少一个指示值。其中第一个 极值^计算得到的像素值差最可能由噪声弓l起，第二个极值表示计算得到的 像素值差最可能由图像内容引起，在所述极值之间的一个值或一些值表示该极 €^代表的含义之间的含义。
15、 根据权利要求13或14中所述的用于检测在一系列图像帧中的运动和/或场景变化的方法，其中所述指示包括从多于两个的有序值中选出的至少一个指示值，其中为色差 值绝对值相对高的选择一个相对高值，为色差值绝对值相对低的选择一个相对 低值。
16、 根据权利要求13至15中的任一权利要求所述的用于检观赃一系列图像帧中的运动和/或场景变化的方法，其中^j^述计算像素f趕的步骤中，计算具有第一鄉色信息的像素值之间的 第一类像素值差，计算具有不同的第二类颜色信息的像素值之间的第二类像素值差；在提供色差值的步骤中计算结合的差值，其中所述结合的差值是第一类 像素值差和第二类像素值差的标量结合，这样所述结合的差值就表示所述色差 值。
17、 根据权利要求13至16中的任一权利要求所述的用于检观岐一系列图 像帧中的运动和/或场景变化的方法，该方法包括步骤4ra低通滤波器过滤空间域中的像素值。
18、 根据权利要求17中所述的用于检测在一系列图像帧中的运动禾n/或场景变化的方法，其中过滤在空间域中进行。
19、 根据权利要求17或18中所述的用于检测在一系列图像帧中的运动和/^^景变化的方法，其中所述低通滤波器的截止频率与构成图像帧的视频信号的采样率之间的比例 在0.1到0.25的范围内。
20、 根据权利要求13至19中任一权禾腰求所述的用于检测在一系列图像 帧中的运动和/或场景变化的方法，其中所述像素值对应于可感知线性颜色空间的像素坐标值。
21、 根据权利要求13至20中的任一权利要求中所述的用于1t测在一系列 图像帧中的运动和/或场景变化的方法，其中所述提供指示这一步骤基于颜色恒定规则。
22、 根据权利要求13至21中的任一权利要求中所述的用于检测在一系列 图像帧中的运动和/敬汤景变化的方法，包括步骤计算亮度差值，其中所述亮度差值是分离图像帧的像素值之间的差，所述 像素值包括亮度信息，其中提供所述指示的步骤基于所述亮度差值。
23、 根据权利要求22中所述的用于检测在一系列图像帧中的运动称或场 景变化的方法，包括步骤用相应的亮度差值对所述色差值进行加权，并且提供所述指示的步骤基于 所述加权后的色差值；或者用相应的色差值对所述亮度差值进行加权，并且提供所述指示的步骤基于 所述加权后的亮度差值。
24、 包含程萌言息的软件产品，当在信息鹏设备中执行时，所述禾聘信 息能适于执行权利要求13至23中的任一种方法。
全文摘要
本发明涉及运动检测、场景变化检测以及时域降噪领域。尤其是，本发明提出一种设备、方法和一套软件程序，用于检测一系列图像帧中的运动和/或场景变化。这种检测一系列图像帧中的运动和/或场景变化的装置包括差值发生器适于计算分离图像帧的像素值之间一个或多个的差，其中所述像素值包含了颜色信息；以及鉴别器根据一个或多个像素值差给出该计算得到的所述像素值差对应着噪声还是图像内容的指示。
文档编号H04N5/14GK101188670SQ20071030516
公开日2008年5月28日 申请日期2007年11月14日 优先权日2006年11月14日
发明者克劳斯·齐默尔曼, 穆罕默德·希迪基, 雷志春 申请人:索尼德国有限责任公司